파이토치 한국 사용자 모임에서는 TLDR 뉴스레터의 승인을 받아 AI 소식을 DeepL로 번역하여 전합니다. 
더 많은 AI 소식 및 정보를 공유하고 함께 성장하고 싶으신가요? 지금 파이토치 한국어 커뮤니티에 방문해주세요! 
(광고) 휴먼루프: 차별화된 LLM 기능 및 앱 출시 / Humanloop: Ship differentiated LLM features and apps (Sponsor)
빠르고 정확하며 고유한 AI 제품을 출시하려면 OpenAI API 키 이상의 것이 필요합니다. 대규모 언어 모델은 확인하지 않으면 '환각'을 일으키거나 반복적인 결과를 생성할 수 있습니다. 또한 모두가 같은 기술을 사용하는 상황에서 차별화된 제품을 개발하기란 쉽지 않습니다.
You’ll need more than an OpenAI API key to ship AI products that are fast, accurate, and unique.Large language models can ‘hallucinate’ or produce repetitive results if left unchecked. What’s more, it’s hard to build something that feels differentiated when everyone is using the same tech.
주요 뉴스 & 신규 출시 소식 / Headlines & Launches
OpenAI, 규제 완화를 위해 EU에 로비 / OpenAI Lobbied EU To Water Down Regulation (5 minute read)
OpenAI는 세계에서 가장 포괄적인 인공지능 법안인 EU의 인공지능 법안의 주요 요소를 규제 부담을 줄이는 방식으로 완화하기 위해 로비를 벌였습니다.
OpenAI has lobbied for significant elements of the most comprehensive AI legislation in the world—the E.U.’s AI Act—to be watered down in ways that would reduce regulatory burden on the company.
OpenAI, 앱 스토어 계획 중 / OpenAI Plans An App Store (2 minute read)
OpenAI는 개발자가 자체 AI 기술을 기반으로 구축한 AI 모델을 판매할 수 있는 마켓플레이스를 출시할 계획입니다.
OpenAI plans to launch a marketplace that will allow developers to sell their AI models built on top of its own AI technology.
LLM 애플리케이션을 위한 새로운 아키텍처 / Emerging Architectures For LLM Applications (8 minute read)
A16z가 작성한 이 문서에서는 연합 학습, 엣지 컴퓨팅, 서버리스 컴퓨팅을 비롯한 LLM 애플리케이션을 위한 몇 가지 새로운 아키텍처에 대해 설명합니다. 이러한 아키텍처는 LLM을 확장하고 더 효율적으로 만드는 새로운 방법을 제시하며, 향후 LLM의 광범위한 채택으로 이어질 수 있습니다.
This article by a16z discusses some of the emerging architectures for LLM applications, including federated learning, edge computing, and serverless computing. These architectures offer new ways to scale LLMs and make them more efficient, which could lead to wider adoption of LLMs in the future.
연구 & 혁신 관련 소식 / Research & Innovation
LOMO: 효율적인 LLM 트레이닝 / LOMO: Efficient LLM Training (GitHub Repo)
이 연구에서는 현재 막대한 GPU 리소스를 필요로 하는 대규모 언어 모델(LLM) 학습에 필요한 리소스를 획기적으로 줄이기 위해 설계된 최적화 도구인 로우 메모리 최적화(LOMO, Low-Memory Optimization)를 소개합니다. LOMO의 혁신적인 접근 방식을 사용하면 각각 24GB 메모리를 갖춘 8개의 RTX 3090 GPU가 장착된 단일 머신만으로 650억 개의 파라미터 모델을 미세 조정할 수 있어 메모리 사용량을 표준 방법의 10.8%로 줄일 수 있습니다.
This research introduces LOw-Memory Optimization (LOMO), an optimizer designed to dramatically decrease the resources needed for Large Language Models (LLMs) training, a process that currently requires extensive GPU resources. LOMO's innovative approach allows the fine-tuning of a 65 billion parameter model using just a single machine with 8 RTX 3090 GPUs, each with 24GB memory, reducing memory usage to just 10.8% of the standard method.
Clip2Protect: 얼굴 프라이버시를 보호하는 방법 / Clip2Protect: A Method for Protecting Facial Privacy (GitHub Repo)
Clip2Protect 프로젝트는 특히 강력한 얼굴 인식 시스템의 시대에 얼굴 프라이버시를 보장하기 위한 혁신적인 2단계 접근 방식을 도입합니다. 자연스러우면서도 얼굴 인식 소프트웨어를 속일 수 있는 '메이크업' 얼굴을 생성하여 이전의 개인 정보 보호 강화 방법보다 훨씬 더 나은 성능을 보여줍니다.
The Clip2Protect project introduces an innovative two-step approach to ensure facial privacy, especially in an age of powerful face recognition systems. It creates 'makeup' faces that look natural, yet fool facial recognition software, showing significantly better performance than previous privacy-enhancing methods.
Autolabel (GitHub Repo)
오토라벨은 원하는 대규모 언어 모델(LLM)로 텍스트 데이터셋에 라벨을 붙이고, 정리하고, 보강할 수 있는 Python 라이브러리입니다.
Autolabel is a Python library to label, clean and enrich text datasets with any Large Language Models (LLM) of your choice.
엔지니어링 및 리소스 관련 소식 / Engineering & Resources
딥마인드의 새로운 로보틱스 컨트롤러 / DeepMind's new robotics controller (12 minute read)
Gato는 약 1년 전에 출시되어 즉시 화제가 되었습니다. Gato를 기반으로 구축된 시스템인 RoboCat은 새로운 작업을 100단계 만에 학습할 수 있는 구현된 에이전트입니다. 언어 지원 로봇공학의 새로운 단계로, 흥미진진해 보입니다.
Gato came out about a year ago and was immediately the talk of the town. RoboCat, a system built on top of Gato, is an embodied agent that can learn in as few as 100 steps for a new task. It seems like an exciting new step in language enabled robotics.
협업 이미지 인식에 대한 새로운 접근 방식 / A Novel Approach to Collaborative Image Recognition (9 minute read)
포토북은 두 명의 플레이어가 각자의 개인 세트에서 공통된 이미지를 찾아내는 인터랙티브 게임으로, 기계가 시각적 맥락을 중심으로 인간과 같은 의사소통을 학습하도록 유도합니다. 이 접근 방식은 DeBERTa 모델과 CLIPScore 기능을 기반으로 하며, 참조 체인의 필요성을 우회하여 이미지의 공유 여부를 직접 예측합니다.
PhotoBook is an interactive game in which two players find common images from their own private sets, pushing machines to learn human-like communication around visual context. The approach, based on the DeBERTa model and CLIPScore features, bypasses the need for reference chains, directly predicting whether an image is shared.
그 외 소식 / Miscellaneous
자산운용사, AI 오용에 대해 기술 기업에 압박 / Asset Managers Pressure Tech Companies Over AI Misuse (3 minute read)
기관 투자자들은 소프트웨어와 관련된 인권 문제에 대한 책임에 대해 우려하면서 기술 기업에 인공지능의 잠재적 오용에 대한 책임을 지라는 압력을 높이고 있습니다.
Institutional investors are increasing pressure on technology companies to take responsibility for the potential misuse of artificial intelligence as they become concerned about the liability for human rights issues linked to the software.
많은 데이터를 중복 제거해야 하나요? / Need to Dedup lots of data? (14 minute read)
AI 모델에 대한 학습 믹스의 품질은 좋은 성능을 얻기 위한 핵심 요소입니다. 코드 모델에서 데이터 중복 제거는 상당히 중요한 경향이 있습니다. 텍스트에서도 데이터 중복 제거가 중요한지는 확실하지 않습니다. 하지만 어쨌든 이 블로그에서는 텍스트와 같은 대규모 데이터셋의 중복을 제거하는 데 사용되는 기술에 대한 훌륭한 설명을 제공합니다.
The quality of the training mix for AI models is key to getting good performance. In code models, deduplication of data tends to matter quite a bit. It's not clear if it matters as much for text. However, in any case, this blog presents a great description of the techniques used to deduplicate large data sets of text-like data.
AI를 사용하여 25개 이상의 기사를 작성한 후 배운 것 / What I Learnt After Writing 25+ Articles by Using AI (6 minute read)
AI는 자동화의 수단이 아니라 생산성, 상상력, 창의성을 향상시키는 도구로 사용해야 합니다. 이 글은 품질 저하 없이 AI를 사용하는 방법에 대한 인사이트를 제공합니다.
AI should be used as a tool to enhance productivity, imagination, and creativity, and not as a means of automation. This article provides insights on how to use AI without sacrificing quality.
더 읽어보기 / Quick Links
허깅페이스 트랜스포머의 EnCodec / EnCodec in HuggingFace Transformers (2 minute read)
최근 메타에서 고품질 오디오에 대한 연구가 잇달아 발표되고 있습니다. 이 중 많은 부분이 메타의 오디오 인코더 모델인 EnCodec을 통해 가능했습니다. 이 모델은 이제 허깅페이스 트랜스포머에 포함되어 다양한 오디오 모델을 훈련하는 데 사용할 수 있습니다.
There has been a recent string of high quality audio research coming out of Meta. Much of this was enabled by their audio encoder model, EnCodec. This model is now included in HuggingFace transformers and can be used to train various audio models.
Opera, AI 탑재 브라우저 준비 / Opera Prepares AI-Infused Browser (1 minute read)
Opera는 생성형 AI가 탑재된 브라우저를 대중에게 공개할 준비가 되었다고 밝혔습니다.
Opera says its generative AI-infused browser is ready for public consumption.
Typefully 2.0 (Product Launch)
AI를 통해 트위터와 LinkedIn에 콘텐츠를 손쉽게 게시할 수 있습니다.
Effortlessly publish content on Twitter and LinkedIn with AI.
Quivr (GitHub Repo)
모든 파일과 생각을 GenerativeAI 보조 두뇌에 저장하고 채팅하세요.
Dump all your files and thoughts into your GenerativeAI Second Brain and chat with it.
