파이토치 한국 사용자 모임에서는 TLDR 뉴스레터의 승인을 받아 AI 소식을 DeepL로 번역하여 전합니다. 
더 많은 AI 소식 및 정보를 공유하고 함께 성장하고 싶으신가요? 지금 파이토치 한국어 커뮤니티에 방문해주세요! 
주요 뉴스 & 신규 출시 소식 / Headlines & Launches
백악관의 'AI 사이버 챌린지', 국가 보안 솔루션 크라우드소싱 목표 / The White House's 'AI Cyber Challenge' aims to crowdsource national security solutions (3 minute read)
백악관은 소프트웨어 취약점을 발견하고 수정할 수 있는 AI를 개발하기 위해 Google 및 OpenAI와 같은 거대 기술 기업들과 협력하여 "AI 사이버 챌린지"를 시작했습니다. 이 대회는 2천만 달러의 상금을 제공합니다. 우승한 팀은 솔루션을 오픈소스로 공개하도록 장려됩니다.
The White House, in collaboration with tech giants like Google and OpenAI, has initiated the "AI Cyber Challenge" to develop AI that can spot and fix software vulnerabilities. The competition is offering $20 million in prizes. Winning teams will be encouraged to open-source their solutions.
메타, 코드 라마 출시 / Meta launches Code Llama (6 minute read)
Meta는 코딩을 위한 라마 2 기반의 대규모 언어 모델인 Code Llama를 출시했습니다. 이제 7B, 13B, 34B 매개변수 모델을 사용할 수 있습니다. 이 모델들은 HumanEval(53.7)과 MBPP(56.2)에서 강력한 성능을 발휘했습니다. 코드 라마 모델은 코드를 생성하고 디버깅할 수 있으며, 명령어 튜닝이 가능하고, 최대 10만 개의 토큰에 달하는 매우 긴 컨텍스트를 지원합니다.
Meta has released Code Llama, a Llama 2-based large language model for coding. The 7B, 13B, and 34B parameter models are now available. They performed strongly on HumanEval (53.7) and MBPP (56.2). Code Llama models can generate and debug code, are instruction-tuned, and have extremely long context - as much as 100k tokens.
(더 읽어보기 
[GN] Code Llama - 코딩을 위한 최첨 거대 언어 모델 llama code-llama )
허깅페이스, 2억 3,500만 달러 모금 / Hugging Face Raises $235 Million (3 minute read)
Hugging Face는 구글, 아마존, 엔비디아, 인텔, AMD, 퀄컴, IBM, 세일즈포스, 사운드 벤처스 등이 참여한 시리즈 D 펀딩 라운드에서 2억 3,500만 달러를 모금했습니다. 이 스타트업의 기업 가치는 현재 45억 달러에 달합니다.
Hugging Face has raised $235 million in a Series D funding round, with participation from Google, Amazon, Nvidia, Intel, AMD, Qualcomm, IBM, Salesforce, and Sound Ventures. The startup is now valued at $4.5 billion.
(더 읽어보기 [GN] Salesforce, 5.3조원 가치로 AI스타트업 HuggingFace에 투자 ~~진행중~~ 완료 huggingface )
연구 & 혁신 관련 소식 / Research & Innovation
저정밀 학습을 위한 유닛 스케일링 / Unit Scaling for low precision training (6 minute read)
Graphcore는 fp8에서 매우 쉽고 안정적으로 학습할 수 있는 우수한 PyTorch
라이브러리를 출시했습니다. 단일 모델 래퍼와 토치 컴파일만 있으면 됩니다!
Graphcore released an excellent Pytorch library that makes training in fp8 super easy and stable. A single model wrapper and torch compile is all you need.
(더 읽어보기 Unit Scaling: 저정밀도의 학습을 위한 PyTorch 라이브러리 (Beta release) )
Prompt2Model: 간단한 지침을 사용하여 더 스마트하고 작은 모델을 만드는 멋진 방법 / A Cool Way to Make Smarter and Smaller Models Using Simple Instructions (GitHub Repo)
크고 리소스를 많이 사용하는 AI 모델을 사용하는 대신 Prompt2Model을 사용하면 원하는 작업을 간단한 단어로 설명한 다음 해당 작업을 위한 더 작고 효율적인 AI 모델을 만들 수 있습니다. 널리 사용되는 일부 대형 모델보다 더 잘 작동하는 모델을 만들 수 있습니다.
Instead of using big and resource-heavy AI models, Prompt2Model lets you describe what you want in simple words and then makes a smaller, efficient AI model for that task. It can make models that work better than some popular big models.
(더 읽어보기 Prompt2Model - 명령어로 배포 가능한 모델을 생성 )
Cheetah(치타): 비전 언어 작업을 위한 획기적인 멀티모달 LLM / Cheetah: A Groundbreaking Multimodal LLM for Vision-Language Tasks (GitHub Repo)
최근 모델들은 이미지와 텍스트가 혼합된 컨텍스트를 이해하는 데 한계가 있어 복잡한 비전 언어 작업에 어려움을 겪는 경우가 많습니다. 이러한 작업을 평가하기 위해 I4 벤치마크가 도입되었습니다. 그 결과 시각적 프롬프트 생성기의 주의력에 결함이 있는 것으로 나타났습니다. 이 문제를 해결하기 위해 연구원들은 복잡한 인터리브 지침을 이해하는 데 탁월한 고유한 모듈과 학습 전략을 갖춘 모델인 치타(Cheetah)를 개발했습니다. 치타는 I4 벤치마크에서 최고의 성능을 달성했습니다.
Recent models often struggle with complex vision-language tasks due to limitations in understanding mixed image-text context. The I4 benchmark was introduced to evaluate these tasks. Results showed a flaw in the Visual Prompt Generator's attention. To fix this, researchers developed Cheetah, a model with a unique module and training strategy that excels in understanding complex interleaved instructions. Cheetah achieved top performance on the I4 benchmark.
엔지니어링 및 리소스 관련 소식 / Engineering & Resources
LegalBench: 법률 분야의 추론 벤치마크 / Legal reasoning benchmark (12 minute read)
법률 프레임워크에서 언어 모델의 추론 능력을 측정하기 위한 벤치마크를 구축하기 위한 대규모의 협력적 노력입니다. 이미 학습된 모델의 오염에 주의하세요.
A pretty large and collaborative effort at constructing a benchmark for measuring language models' ability to reason in a legal framework. Watch out for contamination in already trained models.
StoryBench: 비디오 생성 벤치마크 / Video generation benchmark (26 minute read)
자동 비디오 생성을 통한 스토리텔링은 새롭게 떠오르는 연구 분야입니다. 스토리 연속성, 스토리 리믹스 등의 작업은 측정하기 어렵습니다. 이 새로운 Google 벤치마크가 이 분야의 발전에 도움이 되기를 바랍니다.
Storytelling via automatic video generation is an emerging area of research. The tasks of story continuation, story remixing, and others are tough to measure. Hopefully, this great new Google benchmark helps the field make progress.
MTM-Tracker: LiDAR 포인트를 사용하여 3D 물체를 추적하는 새로운 방법 / A New Way to Track 3D Objects Using LiDAR Points (12 minute read)
대부분의 컴퓨터 비전 도구는 산만하거나 장기적인 움직임을 감지하지 못하기 때문에 LiDAR 포인트를 사용하여 3D 물체를 추적하는 데 어려움을 겪습니다. MTM-Tracker는 이러한 문제를 해결하기 위해 두 가지 방법을 혼합하여 두 단계로 작동합니다.
Most computer vision tools have trouble tracking 3D objects using LiDAR points because of distractions or not noticing long-term movements. MTM-Tracker mixes two methods and works in two stages to solve these problems.
그 외 소식 / Miscellaneous
[라마 2의 DPO(Direct Preference Optimization) / DPO on Llama 2 (6 minute read)](Fine-tune Llama 2 with DPO)
사람의 피드백(HF)은 언어 모델 정렬과 전반적인 성능을 개선하는 데 핵심적인 역할을 합니다. 하지만 근사치 정책 최적화(PPO; Proximal Policy Optimization)를 통한 학습 과정에는 몇 가지 어려움이 있습니다. 최근 연구에 따르면 사람의 선호도에 직접 최적화하고 보상 모델을 우회할 수 있다는 사실이 밝혀졌습니다. 텍스트 기반 강화 학습을 사용하면 최신 개방형 모델에서 이 작업을 수행할 수 있습니다.
Human feedback is key to improving language model alignment and overall performance. However, the process of training with Proximal Policy Optimization has some challenges. Recent work showed that you can optimize directly against human preference and bypass the reward model. With Text-based Reinforcement Learning, you can do this on state-of-the-art open models.
AGI를 향해 - 무엇이 부족한걸까? / Toward AGI - What Is Missing? (23 minute read)
현재의 LLM이 AGI로 이어질 가능성이 낮은 이유와 물리학 자체의 한계로 인해 현재 위치에서 AGI로의 급격한 도약이 불가능한 이유에 대한 탐구입니다.
An exploration into why the current crop of LLMs are unlikely to lead to AGI and why physics itself will prevent any sudden leaps from where we are now to AGI.
AI는 충분하지 않다 / AI Isn’t Good Enough (10 minute read)
AI는 매우 훌륭하지만 경제에 필요한 자동화를 제공하기에는 아직 충분하지 않습니다.
While AI is very good, it’s not yet good enough to provide the automation that the economy needs.
더 읽어보기 / Quick Links
Instructor: 명령줄에서 원클릭으로 GPT-3.5 모델 미세 조정 / One click fine-tune from the command line (5 minute read)
디스크의 로컬 파일로 새로운 gpt-3.5 터보 튜닝 프로세스를 자동화하는 멋진 도구입니다.
A cool tool that automates the new gpt-3.5-turbo tuning processes with local files from disk.
AutoML-App: AutoML 웹 앱 / AutoML Web App (GitHub Repo)
MLJAR AutoML로 머신러닝 파이프라인을 학습하기 위한 웹 앱입니다.
A web app for training Machine Learning pipelines with MLJAR AutoML.
Bloc (Product)
Bloc은 영업, 고객 지원, 긴 콘텐츠를 훑어보는 작업을 지원하는 AI 챗봇입니다.
Bloc is an AI chatbot that assists you with sales, customer support, and skimming through long content.