파이토치 한국 사용자 모임에서는 TLDR 뉴스레터의 승인을 받아 AI 소식을 DeepL로 번역하여 전합니다. 
더 많은 AI 소식 및 정보를 공유하고 함께 성장하고 싶으신가요? 지금 파이토치 한국어 커뮤니티에 방문해주세요! 
주요 뉴스 & 신규 출시 소식 / Headlines & Launches
미국인의 82%, AI 개발 속도를 늦춰야 한다고 생각 / 82% of Americans think we should slow down AI development (7 minute read)
7월 한 주 동안 1001명을 대상으로 실시한 Axios의 새로운 설문조사에서 참가자들은 AI 안전 및 역량 개발과 관련된 다양한 주제에 대해 의견을 밝혔습니다. 52%는 정부 규제가 필요하다고 생각했으며, 대다수는 대기업의 자율 규제를 신뢰할 수 없다고 답했습니다.
In a new Axios survey of 1001 people across one week in July, participants expressed their opinions on a variety of topics around AI safety and capabilities development. 52% think there needs to be government regulation and a vast majority more believe large tech giants can't be trusted to self regulate.
Anthropic, 엔트리 레벨 LLM 개선 버전 출시 / Anthropic Launches Improved Version Of Its Entry-Level LLM (3 minute read)
Anthropic은 더 빠르고 저렴한 텍스트 생성 모델의 업데이트 버전인 Claude Instant를 출시했습니다. Claude Instant는 더 길고 구조화된 답변을 생성하고, 서식 지정 지침을 더 잘 따르며, 견적 추출, 다국어 기능 및 질문 답변 기능이 개선되었습니다. API를 통해 사용할 수 있습니다.
Anthropic has released Claude Instant, an updated version of its faster, cheaper, text-generating model. Claude Instant generates longer, more structured responses, follows formatting instructions better, and shows improvements in quote extraction, multilingual capabilities, and question answering. It is available through an API.
Inworld AI, AI x 게임 분야에서 가장 많은 투자를 받은 스타트업 / Inworld AI Becomes the Best-Funded Startup in AI x Gaming (8 minute read)
Inworld AI는 라이트스피드 벤처 파트너스가 주도하는 새로운 5천만 달러 이상의 라운드에 참여하여 회사의 총 기업가치를 5억 달러 이상으로 끌어올렸다고 발표했습니다. 이를 통해 Inworld는 R&D 노력을 가속화하고, 최고의 인재를 채용하고, 더욱 강력한 캐릭터 엔진을 구축하고, 인프라를 확장하고, 플랫폼의 일부를 오픈소스화할 수 있게 되었습니다.
Inworld AI announced a new $50M+ round led by Lightspeed Venture Partners, bringing the total valuation of the company to over $500M. This will allow Inworld to accelerate R&D efforts, hire top talent, build a more robust Character Engine, expand infrastructure, and open source parts of its platform.
연구 & 혁신 관련 소식 / Research & Innovation
Magentic (GitHub Repo)
Magentic을 사용하면 대규모 언어 모델(LLM)을 파이썬 코드에 쉽게 통합할 수 있습니다. 프롬프트 템플릿을 함수로 취급하고 유형 어노테이션을 사용하여 구조화된 출력을 지정하세요. 그런 다음 LLM 쿼리 및 함수 호출을 일반 Python 코드와 원활하게 혼합하여 복잡한 LLM 기반 기능을 생성하세요.
Magentic makes it easy to integrate Large Language Models (LLMs) into your Python code. Treat prompt templates as functions, using type annotations to specify structured output. Then, seamlessly mix LLM queries and function calling with regular Python code to create complex LLM-powered functionality.
(
광고) 4개월 만에 80%의 엔드투엔드 테스트 커버리지 달성하기 / Get 80% end-to-end test coverage in 4 months (Sponsor)
사내 팀을 확장하는 데 수년을 소비하지 않고도 높은 자동화된 테스트 커버리지에 도달할 수 있는 지름길이 있습니다. 정답은 무엇일까요? AI가 아닙니다. 바로 [QA Wolf]입니다.(QA Wolf | 80% automated test coverage in 4 months)
There’s a shortcut to reaching high automated test coverage, without spending years on scaling in-house teams. The answer? It's not AI. It's QA Wolf.
SimplyRetrieve: 개인 정보를 보호하면서 LLM에 개인 데이터 통합하기 / Integrate Private Data into LLMs while Preserving Privacy (GitHub Repo)
생성형 AI 시스템은 대규모 언어 모델의 도움으로 성장해 왔습니다. SimplyRetrieve 오픈소스 도구는 검색 중심 생성 접근 방식을 사용하여 별도의 튜닝 없이 개인 데이터를 이러한 시스템에 통합할 수 있는 사용자 친화적인 방법을 제공합니다. 이 도구는 개인 정보 보호를 보장하면서 향상된 AI 성능을 약속합니다.
Generative AI systems have grown with the help of Large Language Models. The SimplyRetrieve open-source tool offers a user-friendly way to integrate private data into these systems without extra tuning using the Retrieval-Centric Generation approach. It promises enhanced AI performance while ensuring privacy.
AICSD: 컴퓨터 비전에서 학생 네트워크를 개선하기 위한 새로운 방법 / A New Method for Improving Student Networks in Computer Vision (GitHub Repo)
심층 신경망은 컴퓨터 비전에서 뛰어난 성능을 보여 왔지만 더 빠른 추론 시간이 필요합니다. 이 논문에서는 교사 네트워크에서 학생 네트워크로의 지식 전달을 개선하기 위한 클래스 간 유사도 증류 방법과 적응적 손실 가중치 전략을 소개합니다.
Deep neural networks have excelled in computer vision, but faster inference times are needed. This paper introduces the Inter-Class Similarity Distillation method and an Adaptive Loss Weighting strategy for better knowledge transfer from a teacher network to a student one.
엔지니어링 및 리소스 관련 소식 / Engineering & Resources
그로킹 이해하기 / Understanding Grokking (21 minute read)
Google의 PAIR(People + AI Research) 그룹에서 Grokking에 대한 주제를 심도 있게 다룬 멋진 설명자료를 공개했습니다. 그로킹은 모델이 학습하는 동안 암기에서 이해로의 전환을 가리킬 수 있는 역동적인 프로세스입니다. 일반적으로 잘 이해되지는 않지만, 이 설명은 이 이상한 현상에 대한 많은 기초를 다루는 멋진 소개입니다.
The PAIR group at Google has released a lovely explainer that goes deep into the topic of Grokking. Grokking is the dynamic process a model goes through during training that may point to a shift from memorizing to understanding. It isn't well understood in general, but this is a lovely introduction that covers much of the groundwork for this strange phenomenon.
PUG: 언리얼 엔진의 포토리얼한 합성 데이터 / Photorealistic synthetic data in unreal engine (17 minute read)
알고리즘을 학습할 수백만 개의 포토리얼한 이미지가 없으신가요? 메타 AI의 PUG를 사용하여 생성할 수 있습니다. 강력한 언리얼 게임 엔진을 제어 가능한 방식으로 사용하여 다운스트림 트레이닝을 위한 합성 이미지 데이터를 생성합니다.
Don't have millions of photorealistic images to train your algorithm? Maybe you can generate them using PUG from Meta AI. It uses the powerful unreal game engine in a controllable way to generate synthetic image data for downstream training.
Meta AI, Vision 모델을 위한 PUG(Photorealistic Unreal Graphics) 데이터셋 공개
간단한 합성 데이터로 동질성 감소 / Simple synthetic data reduces sycophancy (23 minute read)
시코펀시(Sycophancy)란 모델이 사용자의 의견을 반복하여 채택하는 것을 말합니다. 이는 대규모 모델과 인스트럭션 튜닝 모델에서 더 많이 발생합니다. 또한 의견과 관련이 없는 작업에서도 발생하여 거품과 같은 동작으로 이어질 수 있습니다. 간단한 합성 데이터 미세 조정을 통해 전체 성능에 영향을 주지 않으면서 이를 방지할 수 있습니다.
Sycophancy is when a model repeats and adopts a user's opinion. This happens more in larger models and instruction-tuned models. It can also occur in tasks when the opinion is irrelevant, leading to bubble-like behavior. Simple synthetic data fine-tuning can prevent this without harming overall performance.
그 외 소식 / Miscellaneous
백악관, 'AI 사이버 챌린지' 발표 / White House Announces ‘AI Cyber Challenge’ (3 minute read)
바이든 행정부는 수요일 라스베가스에서 열린 블랙 햇 USA 컨퍼런스에서 국가의 중요한 디지털 인프라를 더 잘 방어하기위한 계획을 발표했습니다. 소프트웨어 취약성을 사전에 식별하고 수정할 수있는 AI 시스템을 구축하기 위해 DARPA 주도의 챌린지 대회를 시작하고 있습니다.
The Biden Administration revealed its plans to better defend the nation’s critical digital infrastructure at the Black Hat USA Conference in Las Vegas on Wednesday: it's launching a DARPA-led challenge competition to build AI systems capable of proactively identifying and fixing software vulnerabilities.
Llama, 바닥부터 이해하기 / Llama From Scratch (20 minute read)
Llama 논문을 참고하여 TinyShakespeare를 학습하는 단계별 가이드입니다.
A step-by-step guide for using the Llama paper to train TinyShakespeare.
구글, '브레인투뮤직' 개발 중 / Google Is Working On ‘Brain2Music’ (2 minute read)
Google은 뇌 영상 데이터를 사용하여 음악을 생성하는 'Brain2Music'이라는 새로운 AI를 개발 중입니다. 연구원들은 이 AI 모델이 사람의 뇌를 스캔했을 때 듣고 있던 노래의 일부와 매우 유사한 음악을 생성할 수 있다고 말합니다.
Google is working on a new AI called ‘Brain2Music’ that uses brain imaging data to generate music. Researchers say the AI model can generate music that closely resembles parts of songs a person was listening to when their brain was scanned.
더 읽어보기 / Quick Links
Parea AI - LLM 앱 디버깅 및 모니터링을 위한 개발자 툴킷 / Parea AI - the developer toolkit for debugging and monitoring LLM apps (Product)
프롬프트 및 모델 구성을 버전별로 실험해 보세요. 사용자 정의 Python 평가 메트릭으로 프롬프트를 대규모로 평가하세요. API를 통해 LLM 애플리케이션을 모니터링하고 대시보드에서 분석을 확인하세요.
Experiment with prompts & model configurations in a versioned manner. Evaluate prompts with custom-defined Python evaluation metrics on a large scale. Monitor LLM applications via API and view analytics on a dashboard.
Llama를 튜닝하는 가장 빠른 방법 Colab / Fastest way to tune Llama (Colab Link)
JSONL 데이터를 드라이브에 업로드하고, 연결한 다음, 이 노트북을 QLoRA 및 SFT 트레이닝과 함께 실행하면 맞춤형으로 튜닝된 Llama2 모델을 얻을 수 있습니다. 이것은 제가 찾은 튜닝을 위한 가장 최소한의 예제이며 잘 작동하는 것 같습니다. 가장 중요한 것은 이 모델이 (프롬프트, 응답) 형식을 사용한다는 점입니다.
Upload your JSONL data to your drive, link it, and run this notebook with QLoRA and SFT training to get a custom-tuned Llama2 model. This seems to be the most minimal example I have found for tuning and works well. Most importantly, the model uses a (prompt, response) format.
api2ai (GitHub Repo)
모든 OpenAPI 사양에서 API 어시스턴트를 만듭니다.
Create an API assistant from any OpenAPI spec.