파이토치 한국 사용자 모임에서는 TLDR 뉴스레터의 승인을 받아 AI 소식을 DeepL로 번역하여 전합니다. 
더 많은 AI 소식 및 정보를 공유하고 함께 성장하고 싶으시면 파이토치 한국 사용자 모임에 방문해주세요! 
주요 뉴스 & 신규 출시 소식 / Headlines & Launches
100만 달러 AI 보안 보조금 / $1M AI security grant (6 minute read)
OpenAI는 AI를 사용하는 사이버 보안 전문가와 AI 지원 시스템에 대항하는 사이버 보안 전문가를 지원하는 보조금 프로그램을 시작합니다. 현재 신청서를 접수하고 있으며 지원하고자 하는 프로젝트 유형을 보여주는 다양한 아이디어가 있습니다.
OpenAI is launching a grant program to support cyber security professionals using AI and combating AI enabled systems. They are accepting applications and have a number of ideas to show the types of projects they're looking to support.
바이두, AI 벤처 펀드 출시 / Baidu Rolls Out AI Venture Fund (1 minute read)
중국의 거대 기술 기업인 Baidu가 10억 위안(1억 4,500만 달러) 규모의 AI 벤처 펀드를 출시하여 인공지능 애플리케이션으로 생성된 콘텐츠에 중점을 둔 스타트업을 지원합니다. 이 펀드는 또한 바이두의 대규모 언어 모델(LLM)을 기반으로 애플리케이션을 구축하거나 기존 제품에 이 모델을 통합하는 개발자를 위한 경진대회도 개최할 예정입니다.
Chinese tech giant Baidu is rolling out a 1 billion yuan ($145 million) AI venture fund to back startups focused on content generated by artificial intelligence applications. The fund will also launch a competition for developers who build applications off Baidu's ERNIE large language model (LLM) or integrate the model into their existing products.
Google의 코드 기록을 사용하여 더 많은 코드 작성하기 / Using Google’s code history to write more code (12 minute read)
Google은 수십 년 동안 풍부한 설명, 변경 사항 및 수정 사항을 포함하여 코드 베이스의 모든 변경 사항을 기록해 왔습니다. 이를 시퀀스 모델링 문제로 간주하고 소프트웨어 엔지니어의 생산성을 높이는 데 도움이 되는 강력한 내부 도구 세트를 만들었습니다. 이 도구는 '역사 정보 기반 생성'과 같은 새로운 작업에서도 놀라울 정도로 효과적이라는 것을 알게 되었습니다.
Google has recorded every change to its code base for decades, including rich descriptions, changes, and fixes. They treat this as a sequence modeling problem and create a set of robust internal tools that can help software engineers be more productive. They find it to be surprisingly effective, even at novel tasks like “history informed generation”.
연구 & 혁신 관련 소식 / Research & Innovation
멀티 카메라 통합 사전 학습을 통한 자율주행 / Autonomous Driving with Multi-Camera Unified Pre-training (GitHub Repo)
이 연구는 하나의 카메라가 아닌 여러 대의 카메라 뷰를 활용해 주변 환경을 보다 정확하게 파악하는 데 초점을 맞춘 새로운 자율주행 사전 학습 방법인 'Occ-BEV'를 소개합니다. 이 기술은 고유한 3D 디코더를 사용하여 환경의 3D 지오메트리를 예측합니다.
This research introduces 'Occ-BEV', a new pre-training method for autonomous driving that focuses on making better use of multiple camera views, rather than just one, thus capturing a more accurate understanding of the surrounding environment. The technique uses a unique 3D decoder to predict the 3D geometry of the environment.
GPT4Tools: 비주얼 파운데이션 모델 제어 / GPT4Tools: Controlling Visual Foundation Models (GitHub Repo)
새로운 GPT4Tools 시스템은 언어 콘텐츠를 분석하여 여러 개의 시각적 기초 모델을 관리할 수 있으며, 대화 중 사용자의 필요에 따라 다양한 모델을 자동으로 결정, 제어 및 사용할 수 있습니다. 특히 사용자가 간단한 자가 교육 및 LoRA 접근 방식을 사용하여 자신의 언어 모델에 도구를 보다 효과적으로 사용하는 방법을 가르칠 수 있어 이미지 관련 작업에 대한 대화를 훨씬 더 원활하고 효율적으로 진행할 수 있습니다.
The new GPT4Tools system can manage multiple visual foundation models by analyzing language content, allowing it to automatically decide, control, and use different models based on the user's needs during a conversation. Uniquely, it enables users to teach their own language model how to use tools more effectively using a simple self-instruction and LoRA approach, making conversations about image-related tasks much smoother and more efficient.
SmartGPT (GitHub Repo)
플러그인을 사용하여 복잡한 작업을 완료할 수 있는 기능을 LLM에게 제공하는 프로그램입니다.
A program that provides LLMs with the ability to complete complex tasks using plugins.
(광고) LLM in Production - AI 최전선에서 바라본 가상 컨퍼런스 / LLMs in Production — A Virtual Conference From the Forefront of AI (Sponsor)
필요한 소프트웨어 설계 빌딩 블록을 희생하지 않고 가능한 최선의 방법으로 이러한 망할 확률 모델을 사용하는 방법을 알아봅시다.Stripe, Meta, Canva, Databricks, Anthropic, Cohere, Redis, Jasper, Salesforce, Langchain에서 LLM을 실제로 사용하고 있는 50명 이상의 발표자와 MLOps 커뮤니티에 참여하세요. 또한, 달콤한 경품도 준비되어 있습니다.
무료 온라인 컨퍼런스 또는 샌프란시스코에서 진행되느 오프라인 워크샵에 등록하세요.
Let's discover how to use these damn probabilistic models in the best ways possible, without sacrificing the necessary software design building blocks.Join the MLOps Community and >50 speakers who are using LLMs in the wild at Stripe, Meta, Canva, Databricks, Anthropic, Cohere, Redis, Jasper, Salesforce, and Langchain. Also: sweeeet sweet giveaways.
Register for the virtual conference for free, or join in-person workshops (SF).
엔지니어링 및 리소스 관련 소식 / Engineering & Resources
소규모 모델의 비용 효율적인 미세 조정 / Cost-Efficient Fine-Tuning of Compact Models (17 minute read)
대규모 AI 모델은 비용이 많이 들고 환경에 좋지 않을 수 있으므로 연구자들은 지식 증류라는 방법을 사용하여 더 작은 모델을 만드는 더 효율적인 방법을 찾았습니다. 이 접근 방식은 종종 추가 데이터에 돈을 쓰는 것보다 낫고 다양한 언어 작업에서 여전히 잘 작동하는 소형 모델을 만드는 데 도움이 됩니다.
Large AI models can be expensive and bad for the environment, so researchers have found a more efficient way to create smaller models using a method called knowledge distillation. This approach is often better than spending money on extra data and helps create compact models that still perform well in various language tasks.
GeneFace++: 일반화되고 안정적인 실시간 오디오 기반 3D 말하는 얼굴 생성 / GeneFace++: Generalized and Stable Real-Time Audio-Driven 3D Talking Face Generation (13 minute read)
어떤 음성 오디오와도 동기화되는 사실적인 말하는 디지털 인물을 만드는 것은 디지털 세계에서 중요한 과제입니다. GeneFace++는 립싱크, 비디오 품질 및 시스템 효율성을 개선하는 새로운 방법으로, 동종 업계 최초로 실시간 말하는 얼굴 생성을 실현했습니다.
Creating realistic talking digital people that sync with any speech audio is an important challenge in the digital world. GeneFace++ is a new method that improves lip-syncing, video quality, and system efficiency, making it the first of its kind to achieve real-time talking face generation.
규모에 따른 양자화의 흥미로운 특성 / Intriguing properties of quantization at scale (28 minute read)
앞서 숫자를 저장하는 데 얼마나 많은 공간(메모리)이 필요한지, 즉 정밀도(precision)에 대해 이야기한 적이 있습니다. 그리고 그 숫자가 나타낼 수 있는 고유한 값의 수입니다. 정밀도를 낮추면 AI 모델이 컴퓨터에서 차지하는 공간은 줄어들지만, 매개변수에 대해 더 적은 숫자를 표현하기 때문에 이상한 일이 일어나기 시작합니다. 이 논문에서는 대규모로 학습하기 전에 정량화하면 어떤 일이 발생하는지 연구합니다. 그들은 마법의 6B 매개변수 성능 장벽에 부딪히기 시작합니다.
We’ve talked about precision before, that’s how much space it takes to store a number. And how many unique values that number can represent. When you reduce the precision, AI models take less space on the computer, but weird things start to happen because you represent fewer numbers for the parameters. This paper studies what happens when you quantize before training at scale. They start to poke at the magical 6B parameter performance barrier.
그 외 소식 / Miscellaneous
CEO를 자동화하라 / Automate The CEOs (5 minute read)
해밀턴 놀란은 인공지능이 점점 더 정교해짐에 따라 CEO가 점점 더 불필요해지고 있다고 주장합니다. 그는 CEO 직책을 자동화하고 현재 CEO가 통제하고 있는 권력과 부를 근로자와 주주 등 다른 이해관계자에게 분배해야 한다고 제안합니다.
Hamilton Nolan argues that CEOs are becoming increasingly unnecessary as AI becomes more sophisticated. He proposes that we should automate the CEO position and distribute the power and wealth that CEOs currently control to other stakeholders, such as workers and shareholders.
끔찍한 범죄 딥페이크의 세계 / Inside The Horrifying World Of True Crime Deepfakes (4 minute read)
틱톡 계정에는 대부분 어린이인 살인 피해자가 자신의 끔찍한 죽음을 묘사하는 끔찍한 인공지능 생성 클립이 게시되고 있습니다.
TikTok accounts are posting horrifying artificial intelligence-generated clips of murder victims — mostly children — describing their own ghastly demise.
MPT 65K 컨텍스트 모델 속도 향상 / Speeding up the MPT 65K context model (3 minute read)
최근의 MosaicML MPT 모델은 여전히 인기를 얻고 있습니다. 큰 기여를 한 것 중 하나는 컨텍스트에서 최대 65,000개의 토큰을 사용할 수 있는 "스토리라이터" 모델입니다. 이 모델을 사용한 추론은 고통스러울 정도로 느렸습니다. 키/값 캐시를 추가함으로써 생성 속도를 거의 10배까지 높일 수 있었습니다.
The recent MosaicML MPT models are still gaining popularity. One of the big contributions was the “Storywriter” model which could use up to 65k tokens in context. Inference with this model was painfully slow. By adding a Key/Value cache we can speed up generation by almost 10x.
더 읽어보기 / Quick Links
Amazon, 손상된 상품을 걸러내기 위해 AI로 전환 / Amazon Turns To AI To Weed Out Damaged Goods (3 minute read)
아마존은 주문이 고객에게 배송되기 전에 품목의 손상 여부를 선별하기 위해 가장 큰 창고 12곳에 인공 지능을 도입하고 있습니다.
Amazon is rolling out artificial intelligence across a dozen of its largest warehouses to screen items for damage before orders are shipped to customers.
Facon 40B 모델, Apache 2.0 라이선스로 변경 / Apache 2 (Tweet)
Falcon 40B 모델의 라이선스가 아파치 2로 변경되어 이제 이 모델은 상업적 용도를 포함한 모든 용도에서 무료로 사용할 수 있습니다(7B도 마찬가지).
The license of the Falcon 40B model has just been changed to Apache-2 which means that this model is now free for any usage including commercial use (and same for the 7B).
SuperAGI (GitHub Repo)
유용한 자율 AI 에이전트를 구축, 관리, 실행하기 위한 인프라.
Infrastructure to build, manage, and run useful Autonomous AI Agents.
Speechki: ChatGPT 플러그인 / Speechki ChatGPT Plugin (Product Launch)
Speechki는 실제와 같은 음성 응답으로 ChatGPT 경험을 혁신합니다. 사용하기 쉬운 이 플러그인은 ChatGPT와 원활하게 연결하여 사실적인 텍스트 음성 변환 출력을 제공합니다. ChatGPT를 단순히 대화하는 것이 아니라 말하게 하세요!
Speechki transforms your ChatGPT experience with lifelike voice responses. This easy-to-use plugin seamlessly connects with ChatGPT, providing realistic text-to-speech output. Let ChatGPT not just talk, but speak!