파이토치 한국 사용자 모임에서는 TLDR 뉴스레터의 승인을 받아 AI 소식을 DeepL로 번역하여 전합니다. 
더 많은 AI 소식 및 정보를 공유하고 함께 성장하고 싶으신가요? 지금 파이토치 한국어 커뮤니티에 방문해주세요! 
주요 뉴스 & 신규 출시 소식 / Headlines & Launches
오픈 플라밍고 v2 출시 / Open Flamingo v2 released (5 minute read)
플라밍고는 이미지와 텍스트에 대해 작동할 수 있는 딥마인드의 모델입니다. 시각적 질문에 답할 수 있으며 강력한 언어 모델링 성능을 갖추고 있습니다. 이 작업은 이러한 모델을 복제하는 작업입니다. 또한 라이선스 사용 제한이 덜한 MPT와 RedPajama 기본 모델을 사용합니다. 이 복제본은 오리지널 플라밍고보다 약 80% 더 강력합니다. 데모, 코드 및 가중치를 사용할 수 있습니다.
Flamingo is a model from DeepMind that can operate over images and text. It can answer visual questions and has strong language modeling performance. This work is a replication effort of those models. It also uses MPT and Red pajama base models which are less restrictive in their license usage. The replication is about 80% as powerful as the original Flamingo. Demo, code, and weights are available.
OpenAI, 런던 사무소 개설 / OpenAI to open a London office (1 minute read)
OpenAI가 런던에 첫 번째 확장 사무소를 열었습니다. 어떤 팀, 몇 명, 언제 사무실을 열 것인지에 대한 자세한 내용은 공개되지 않았습니다.
OpenAI is opening its first expansion office in London. No details on which teams, how many folks, or when the office will be open.
ChatGPT 앱으로 웹 서핑 가능 / ChatGPT App Can Now Surf The Web (1 minute read)
OpenAI는 ChatGPT 플러스 가입자를 위한 브라우징 기능을 도입하여 사용자가 검색어에 대한 답변, 특히 원래의 교육 데이터 이외의 시사 및 정보에 대해 ChatGPT가 Bing을 검색하도록 할 수 있습니다. 그러나 검색 엔진으로 빙을 독점적으로 사용하는 것은 OpenAI와 마이크로소프트의 긴밀한 관계에 따른 결정으로, 과거 빙이 마이크로소프트 관련 결과를 우선시하고 상위 결과에 허위 정보가 많다는 우려로 인해 우려의 목소리가 커지고 있습니다.
OpenAI has introduced a Browsing feature for its ChatGPT Plus subscribers, allowing users to have ChatGPT search Bing for answers to queries, especially for current events and information beyond its original training data. However, the exclusive use of Bing as a search engine, a decision driven by OpenAI's close ties with Microsoft, is raising eyebrows due to past concerns of Bing's prioritization of Microsoft-related results and a high level of disinformation in its top results.
연구 & 혁신 관련 소식 / Research & Innovation
세일즈포스, 새로운 언어 모델 출시 / Salesforce releases new language models (GitHub Repo)
1조 5천억 개의 토큰에 대해 4K 및 8K 시퀀스 길이로 학습된 70억 개의 파라미터 모델 세트가 GitHub에 공개되었습니다. Salesforce에서 학습한 이 모델은 MPT 또는 Falcon과 같은 현재 출시된 많은 오픈 소스 모델보다 더 우수하거나 비슷한 성능을 발휘합니다. 또한 상업적으로 실행 가능하지는 않지만 연구 목적으로 사용할 수 있는 인스트럭트 모델도 포함되어 있습니다.
Another set of 7 billion parameter models trained with 4K and 8K sequence lengths for 1.5 trillion tokens has been released to GitHub. These models, trained by Salesforce, achieve better or comparable performance to many of the open source models out there today such as MPT or Falcon. They also include an instruct model that is not commercially viable, but can be used for research purposes.
Composer (GitHub Repo)
Composer는 신경망을 더 빠르고, 더 저렴한 비용으로, 더 높은 정확도로 학습할 수 있게 해주는 PyTorch 라이브러리입니다.
Composer is a PyTorch library that enables you to train neural networks faster, at lower cost, and to higher accuracy.
LightGlue: 더 스마트하고 빠른 이미지 매칭 기술 / LightGlue: A Smarter, Faster Image Matching Technique (GitHub Repo)
LightGlue는 사진 간의 유사성을 더 쉽고 빠르게 찾을 수 있는 새로운 기술로, 현재 가장 좋은 방법인 SuperGlue를 개선한 것입니다. LightGlue의 가장 큰 장점은 이미지의 복잡성에 적응할 수 있고 단순한 이미지에서는 더 빠르게 작업할 수 있어 3D 모델 제작과 같은 실시간 애플리케이션에 매우 유용할 수 있다는 것입니다.
LightGlue is a new technology that makes it easier and quicker to find similarities between pictures, even improving on the best current method, SuperGlue. The best part about LightGlue is that it can adapt to image complexity, working faster on simpler ones, which could be really helpful in real-time applications like creating 3D models.
(광고) 자동화가 지식 업무를 변화시키고 있습니다. 어떻게 준비하고 계신가요? / 
Automation is changing knowledge work. How do you prepare? (Sponsor)
이 보고서는 200명 이상의 업계 리더 및 자동화 전문가의 데이터와 인사이트를 수집한 것입니다: 사실과 허구를 구분하여 자동화의 현재 상태와 비즈니스에 미치는 영향을 측정합니다. 앱파이어에서 무료로 보고서 받기
This report collates data and insights from 200+ industry leaders and automation experts: Separate fact from fiction to gauge the current state of automation and its impact on businesses. Get the report FREE from Appfire
엔지니어링 및 리소스 관련 소식 / Engineering & Resources
인터넷이 생성 데이터로 가득차면 모델 학습은 어떻게 되나요? / What happens to model training if the internet is all generated? (17 minute read)
대규모 언어 모델이 보편화되면 우리가 학습하고자 하는 차세대 모델은 어떻게 될까요? 결과물을 신중하게 큐레이팅하지 않으면 지식의 꼬리가 사라지고 가장 일관된 생성 능력이 사라지는 "모델 붕괴"라는 현상이 발생할 수 있습니다. 물론 이 현상은 125m 파라미터 모델에서만 입증되었기 때문에 더 큰 규모의 모델에도 적용될지는 아직 지켜봐야 합니다.
With large language models becoming more common, what happens to the next generations of models we want to train? If you don’t curate the output carefully, you may run into a phenomenon called “model collapse” where the tails of knowledge disappear followed by most coherent generation ability. Granted, this has only been demonstrated in a 125m param model, so it remains to be seen if this holds for the largest models.
더 간단한 언어에 대한 학습이 데이터 효율성이 더 높을 수 있다 / Training on simpler language may be more data efficient (24 minute read)
언어로 작업할 때는 의미론과 구문론이라는 두 가지 범주의 기능이 있습니다. 의미론은 구문의 의미를 포함하며, 구문론은 문법과 스타일을 포함합니다. 언어 모델은 글의 스타일이나 구문을 변경하면서 의미론을 통해 의미를 유지하는 데 도움이 되기 때문에 매우 유용합니다. 그렇다면 사전 학습의 어떤 특징이 구문 조작 능력을 향상시킬 수 있을까요? 단순한 언어와 심층 모델이 더 많은 데이터나 매개변수 수보다 더 많은 도움을 주는 것으로 밝혀졌습니다.
When working with language you have two categories of features, semantic and syntactic. Semantic includes the meaning of a phrase while syntactic is the grammar and style. Language models are extremely useful because they help us maintain meaning via semantics while changing the style or syntax of the writing. The question then arises: what features of pre-training lead to better syntax manipulation ability? It turns out simple language and deep models help more than more data or parameter count.
음성 데이터의 얽힘을 풀기 위한 대규모 리소스( / A Large-Scale Resource for Disentangling Speech Data (12 minute read)
3D-Speaker는 다양한 기기, 다양한 거리, 다양한 방언으로 녹음된 10,000명 이상의 화자로부터 수집된 방대한 오디오 데이터 모음입니다. 이 데이터셋은 연구자들이 음성의 다양한 측면을 분류(얽힘 풀기)하는 데 도움이 되며 대규모 음성 모델을 테스트하는 데 적합합니다.
3D-Speaker is a huge collection of audio data from over 10,000 speakers recorded on different devices, at various distances, and in numerous dialects. This dataset helps researchers sort out (disentangle) different aspects of speech and is perfect for testing large speech models.
그 외 소식 / Miscellaneous
Building god (25 minute read)
로히트 크리슈난이 과학 실험을 실행할 수 있을 만큼 자기 개선적이고 성찰적인 에이전트를 구축하기 위해 필요한 것이 무엇인지 탐구합니다.
Rohit Krishnan explores what might be required to build a self-improving and reflective agent that is good enough to run scientific experiments.
기업들이 AI 거래에 공격적으로 나서고 있다 - 다음은 누구? / Corporates Are Getting Aggressive In AI Deals - Who Could Be Next? (3 minute read)
기업 벤처 부서는 대규모 신규 펀드를 발표하거나 기존 약속을 두 배로 늘리기도 합니다. 내부로부터의 혁신이 매우 어렵고 재무제표를 기반으로 투자하면 다른 방법으로는 볼 수 없는 초기 단계의 기업을 볼 수 있다는 점을 고려하면 당연한 일입니다.
Corporate venture arms are announcing big new funds or even doubling their existing commitments. It makes sense given innovation from inside is so difficult and investing from the balance sheet gets you a view into these early stage companies you wouldn’t otherwise get to see.
자연어는 부자연스러운 인터페이스 / Natural Language Is An Unnatural Interface (7 minute read)
바룬 셰노이는 자연어는 오늘날의 시스템에는 없는 공유된 인간 컨텍스트에 대한 이해가 필요하기 때문에 AI 시스템에 이상적인 인터페이스가 아니라고 주장합니다. 대신 인터페이스는 자연어에 제약을 가하여 선택의 폭과 모호성을 제한해야 한다고 주장합니다.
Varun Shenoy argues that natural language is not an ideal interface for AI systems because it requires the understanding of a shared human context that today's systems likely do not possess. Instead, interfaces should force constraints on natural language, limiting choices and ambiguity.
더 읽어보기 / Quick Links
AI가 생성한 트윗, 실제 사람이 작성한 것보다 더 설득적 / AI-Generated Tweets Are More Convincing Than Real People (3 minute read)
새로운 연구에 따르면 사람들은 사람이 작성한 콘텐츠보다 GPT-3가 생성한 트윗을 더 신뢰하는 것으로 나타났습니다.
A new study has found that people are more likely to trust tweets generated by GPT-3 than content written by humans.
Goodmeetings (Product Launch)
몇 시간의 회의를 몇 분의 핵심 순간으로 압축하는 AI 큐레이팅 릴. 모든 녹음, 녹취록 및 인사이트가 쉽게 검색 가능한 라이브러리에 정리되어 있습니다.
AI-curated reels that condense hours of meetings into minutes of key moments. All recordings, transcripts, and insights organized in an easily searchable library.
생성형 디퓨전 모델 / Generative Models (GitHub Repo)
Stable Diffusion은 연구 목적으로 두 가지 새로운 제너레이티브 디퓨젼 모델을 출시했습니다.
Stable Diffusion has released two new generative diffusion models for research purposes.