파이토치 한국 사용자 모임에서는 TLDR 뉴스레터의 승인을 받아 AI 소식을 DeepL로 번역하여 전합니다. 
더 많은 AI 소식 및 정보를 공유하고 함께 성장하고 싶으시면 파이토치 한국 사용자 모임에 방문해주세요! 
주요 뉴스 & 신규 출시 소식 / Headlines & Launches
OpenAI, EU에서 철수 고려 중 / OpenAI May Leave The EU (1 minute read)
OpenAI의 CEO인 샘 알트먼은 수요일에 회사가 곧 시행될 유럽연합의 인공지능 규정을 준수할 수 없다면 유럽을 떠나는 것을 고려할 수 있다고 말했습니다.
OpenAI CEO Sam Altman said on Wednesday the company might consider leaving Europe if it could not comply with the upcoming AI regulations by the European Union.
Microsoft, AI 규제 촉구 / Microsoft Calls For AI Regulation (2 minute read)
Microsoft Corp.는 가장 강력한 AI 도구를 운영하기 위한 인공 지능 및 라이선스 요건을 규제하기 위해 새로운 미국 기관을 요구하고 있다고 회사 사장 Brad Smith가 목요일에 말했습니다.
Microsoft Corp. is calling for a new US agency to regulate artificial intelligence and licensing requirements to operate the most powerful AI tools, company President Brad Smith said Thursday.
AI Canon (Resources)
최신 AI에 대해 더 똑똑해지기 위해 a16z에서 사용하는 엄선된 리소스 목록입니다.
A curated list of resources used by a16z to get smarter about modern AI.
연구 & 혁신 관련 소식 / Research & Innovation
TWIST: 텍스트 웜스타트로 음성 언어 모델 개선하기 / TWIST: Improving Speech Language Models with Textual Warm-Start (4 minute read)
이 연구에서는 사전 학습된 텍스트 모델로부터 웜스타트를 사용하여 음성 언어 모델(SpeechLM)을 학습하는 방법인 TWIST를 소개합니다. TWIST는 모델과 데이터 세트 규모의 중요성을 강조하는 경험적 분석을 통해 처음부터 시작하는 것보다 성능이 뛰어납니다. 이 연구는 현재까지 가장 큰 규모의 SpeechLM을 제시하고 평가 개선 및 향후 연구 발전을 위해 텍스트 벤치마크의 음성 버전을 소개합니다.
This work introduces TWIST, a method for training Speech Language Models (SpeechLMs) using a warm-start from pretrained textual models. TWIST outperforms starting from scratch, with empirical analysis emphasizing the significance of model and dataset scale. The study presents the largest SpeechLM to date and introduces spoken versions of a textual benchmark for improved evaluation and future research advancements.
Gorilla (GitHub Repo)
고릴라를 사용하면 LLM이 API를 호출하여 도구를 사용할 수 있습니다. 자연어 쿼리가 주어지면 Gorilla는 호출할 의미론적, 구문론적으로 올바른 API를 제시합니다.
Gorilla enables LLMs to use tools by invoking APIs. Given a natural language query, Gorilla comes up with the semantically- and syntactically- correct API to invoke.
사용자 지정 데이터셋으로 LLM 미세 조정하기 / How To Finetune LLMs On Custom Datasets (10 minute read)
StableLM, Pythia 및 RedPajama-INCITE 모델 가중치를 지원하는 GPT-NeoX 모델의 nanoGPT 기반 구현인 Lit-Parrot을 사용하여 사용자 정의 데이터 세트에서 LLM을 미세 조정하는 방법에 대한 가이드입니다.
A guide to fine-tuning LLMs on custom datasets using Lit-Parrot, a nanoGPT based implementation of the GPT-NeoX model that supports StableLM, Pythia, and RedPajama-INCITE model weights.
엔지니어링 및 리소스 관련 소식 / Engineering & Resources
강화 학습으로 디퓨전 모델 강화하기 / Enhancing Diffusion Models with Reinforcement Learning (18 minute read)
이 논문에서는 강화 학습을 사용하여 이미지 품질과 같은 다운스트림 목표에 대한 확산 모델을 최적화하는 방법을 살펴봅니다. 제안된 접근 방식인 노이즈 제거 디퓨전 정책 최적화(DDPO)는 텍스트-이미지 모델을 까다로운 목표에 맞게 조정하고 추가 데이터나 사람의 주석 없이도 즉각적인 이미지 정렬을 개선하는 데 효과적임을 입증합니다.
This paper investigates the use of reinforcement learning to optimize diffusion models for downstream objectives like image quality. The proposed approach, Denoising Diffusion Policy Optimization (DDPO), proves effective in adapting text-to-image models to challenging objectives and improving prompt-image alignment without additional data or human annotation.
Goat: 산술 연산에서 GPT4보다 나은 소형 모델 / Goat: small models beat GPT4 on arithmetic (23 minute read)
공정하게 말하자면, 수학 연산에서는 계산기조차도 GPT4를 이기고 있습니다 - 여기서 흥미로운 발견은 llama 토큰화(숫자를 개별 숫자로 분할)가 동일한 작업에서 미세 조정된 다른 유사하게 강력한 기본 모델보다 산술에 이점을 제공한다는 것입니다.
To be fair, calculators also beat GPT4 on arithmetic. The interesting discovery here is that the llama tokenizer (which splits numbers into individual digits) provides benefits for arithmetic even over other similarly powerful base models fine-tuned in the same task.
언어 기반 반복으로 임의 길이의 텍스트 생성 / Enabling Arbitrary-Length Text Generation with Language-Based Recurrence (GitHub Repo)
이 프로젝트는 ChatGPT와 같은 대규모 언어 모델에 통합된 언어 기반 재귀 메커니즘인 RECURRENTGPT를 소개합니다. 장단기 기억 메커니즘을 시뮬레이션함으로써 RECURRENTGPT는 장기기억을 보존하면서 임의의 길이의 텍스트를 생성할 수 있습니다. 이는 대화형 글쓰기 시스템과 개인화된 대화형 소설의 잠재력을 보여주며, 인지 과학과 딥 러닝에서 아이디어를 차용하는 것의 유용성을 보여줍니다.
This project introduces RECURRENTGPT, a language-based recurrence mechanism incorporated into large language models like ChatGPT. By simulating the Long Short-Term Memory mechanism, RECURRENTGPT enables arbitrary-length text generation while preserving long-term memory. It demonstrates potential for interactive writing systems and personalized interactive fiction, showcasing the utility of borrowing ideas from cognitive science and deep learning.
그 외 소식 / Miscellaneous
Grimes, AI Grimes 노래 리뷰 / Grimes Reviews AI Grimes Songs (7 minute read)
인공지능 음악 지지자 Grimes가 인공지능이 생성한 Grimes 노래를 리뷰하는 시간을 가졌는데, 꽤 인상적이었다고 합니다.
AI-music proponent Grimes takes some time to review AI-generated Grimes songs, which she found quite impressive.
엔비디아 주식 폭등 / Nvidia Stock Explodes (2 minute read)
엔비디아의 주가는 목요일에 28%나 급등했는데, 이는 AI 칩 붐이 완전히 도래했다는 신호입니다.
Nvidia’s stock skyrocketed up by 28% on Thursday, a sign that the AI chip boom has fully arrived.
ChatGPT 플러그인, Postgres와 Supabase 지원 시작 / ChatGPT Plugins Now Support Postgres & Supabase (10 minute read)
이제 ChatGPT 플러그인이 Postgres 및 Supabase 지원하므로, 개발자는 ChatGPT를 사용하여 Postgres 데이터베이스의 데이터에 액세스할 수 있는 챗봇을 만들 수 있습니다.
ChatGPT plugins now support Postgres & Supabase, which means that developers can use ChatGPT to create chatbots that can access data from a Postgres database.
더 읽어보기 / Quick Links
Google 검색, AI 결과 제공 시작 / Google Search Starts Rolling Out AI Results (1 minute read)
구글은 보다 유익한 검색 결과를 제공하기 위해 ChatGPT 스타일의 생성형 AI를 사용하는 "생성형 검색 경험(Search Generative Experience)"이라는 새로운 기능을 출시하기 시작했습니다.
Google has started rolling out a new feature called "Search Generative Experience" which uses ChatGPT-style generative AI to provide more informative search results.
틱톡, AI 챗봇 테스트 중 / TikTok Testing AI Chatbot (2 minute read)
TikTok은 사용자와 짧은 동영상에 대해 대화하고 콘텐츠를 찾을 수 있도록 도와주는 AI 챗봇 'Tako'를 테스트하고 있습니다.
TikTok is testing an AI chatbot called Tako that can converse with users about short videos and help them discover content.
IX (GitHub Repo)
Ix는 반자율 LLM 에이전트를 설계하고 배포하기 위한 실험적인 플랫폼입니다.
Ix is an experimental platform for designing and deploying semi-autonomous LLM agents.
Tyles (Product Launch)
Tyles는 Evernote나 OneNote와 같은 앱에 비해 훨씬 빠르게 정보를 캡처하고 더 많은 지식을 쌓을 수 있도록 도와주는 리서치 앱입니다.
Tyles is a research app that helps you capture information and build up more knowledge a lot faster compared to apps like Evernote or OneNote.