[TLDR] 오늘의 AI 뉴스 @ 2023-05-10

파이토치 한국 사용자 모임에서는 TLDR 뉴스레터 의 승인을 받아 AI 소식을 DeepL로 번역하여 전합니다. :smiley_cat:

image


:rocket: 주요 뉴스 & 신규 출시 소식 / Headlines & Launches

파운데이션 모델을 채팅 도우미로 전환하기 / Turning a foundation model into a chat assistants (12 minute read)

StarCoder는 86개의 프로그래밍 언어를 작성할 수 있는 Big Code 프로젝트의 훌륭한 새 모델입니다. 이 게시물에서는 모델이 대화에 참여하도록 유도하는 방법, 채팅 마크업 언어를 사용하는 방법, 그리고 이러한 모델을 튜닝하는 방법까지 살펴봅니다. 오픈 소스 모델을 가져와서 자체 채팅 기반 사용 사례에 맞게 미세 조정하는 데 관심이 있는 그룹을 위한 흥미로운 정보가 많이 있습니다.

Star coder is an excellent new model from the big code project that can write 86 different programming languages. This post explores how to prompt the model to participate in conversations, how to use chat markup language, and even how to tune these models. Lots of interesting tidbits here for groups interested in taking an open source model and fine tuning it for their own chat-based use cases.

Claude의 헌법 모델 / Claude’s Constitution (15 minute read)

Anthropic은 헌법 AI 접근 방식을 사용하여 언어 모델 Claude를 학습시켰으며, 언어 모델에 RLHF 입력에 의해 결정되는 암시적 값 대신 유엔 인권 선언을 비롯한 다양한 출처에서 가져온 일련의 헌법 원칙에 의해 결정되는 명시적 값을 부여했습니다.

Anthropic trained their language model Claude with a Constitutional AI approach, giving the language model explicit values determined by a set of constitutional principles drawn from a range of sources including the UN declaration of human rights, instead of implicit values determined by RLHF inputs.

메타의 오픈소스 다감각(멀티모달) AI 모델 / Meta Open-Sources Multisensory AI Model (4 minute read)

Meta는 텍스트, 오디오, 시각 데이터, 온도 및 움직임 판독값을 포함한 여러 데이터 스트림을 함께 연결하는 새로운 오픈 소스 AI 모델을 발표했습니다.

Meta has announced a new open-source AI model that links together multiple streams of data, including text, audio, visual data, temperature, and movement readings.

:brain: 연구 & 혁신 관련 소식 / Research & Innovation

연합 명령어 튜닝으로 언어 모델 강화하기 / Enhancing Language Models with Federated Instruction Tuning (24 minute read)

이 연구는 개인 정보를 침해하지 않고 다양한 기기의 데이터로부터 학습하여 ChatGPT 및 GPT-4와 같은 강력한 언어 모델을 훈련하는 새로운 방법인 연합 명령어 튜닝(FedIT)을 소개합니다. 이를 통해 모델은 다양한 상황을 더 잘 이해하고 자연스럽게 반응할 수 있으며, 연구원들은 다른 사람들이 이 접근 방식을 쉽게 사용할 수 있도록 'Shepherd(셰퍼드)'라는 도구도 만들었습니다.

The study introduces a new method, Federated Instruction Tuning (FedIT), to train powerful language models like ChatGPT and GPT-4, by learning from many different devices' data without violating privacy. This makes the models better at understanding and responding naturally in diverse situations, and the researchers have also created a tool, 'Shepherd', to help others use this approach easily.

FrugalGPT: LLM 활용을 위한 비용 효율적인 접근법 / FrugalGPT: Cost-Effective Approaches for Utilizing LLMs (8 minute read)

이 연구에서는 GPT-4, ChatGPT, J1-Jumbo와 같이 널리 사용되는 언어 모델 API를 사용할 때 발생하는 값비싼 비용에 대해 조사하고 이러한 비용을 줄이기 위한 세 가지 전략, 즉 프롬프트 적용, LLM 근사화, LLM 캐스케이드에 대해 제안합니다. 이 연구에서는 LLM 캐스케이드 전략을 효율적으로 적용하여 적은 비용으로 최고 언어 모델의 성능과 일치하거나 정확도를 향상시킬 수 있는 FrugalGPT를 소개합니다.

This study examines the high costs associated with using popular language model APIs like GPT-4, ChatGPT, and J1-Jumbo, and suggests three strategies for reducing these costs: prompt adaptation, LLM approximation, and LLM cascade. The research introduces FrugalGPT, an efficient application of the LLM cascade strategy that can match the performance of top language models at a fraction of the cost or even improve their accuracy.

SUR 어댑터: 텍스트-이미지 모델을 위한 업그레이드 / SUR-adapter: An Upgrade for Text-to-Image Models (14 minute read)

이 연구에서는 확산 모델(Diffusion model)이 간단한 설명을 상세한 이미지로 변환하는데 도움이 되는 새로운 방법인 SUR-adapter를 소개합니다. 연구진은 이 모델에 스토리를 더 잘 이해하도록 가르치고 57,000개 이상의 샘플로 구성된 새로운 데이터 세트를 사용하여 모델이 간단한 설명에서 고품질 이미지를 더 잘 생성하도록 함으로써 더 쉽고 재미있게 사용할 수 있도록 했습니다.

This study introduces a new way, called SUR-adapter, to help computer programs called diffusion models turn simple descriptions into detailed images. By teaching these models to understand stories better and using a new dataset of over 57,000 samples, the researchers made the models better at creating high-quality images from simple descriptions, making them easier and more fun to use.

:technologist: 엔지니어링 및 리소스 관련 소식 / Engineering & Resources

(반지의 제왕 패러디) 모든 것을 지배하는 하나의 임베딩 공간 / One embedding space to rule them all (15 minute read)

AI에서 임베딩은 컴퓨터가 작동할 수 있는 데이터의 표현입니다. 예를 들어 OpenAI의 CLIP 모델은 텍스트와 이미지에 대한 임베딩을 생성합니다. 즉, 이미지와 그 설명에 대해 하나의 임베딩을 얻을 수 있습니다. 이 연구는 이를 한 단계 더 발전시켜 다양한 양식에 대한 임베딩을 생성하여 멀티모달 학습을 가능하게 합니다. 특히, 이 기술은 이미지, 텍스트, 오디오, 깊이, 열화상 및 IMU 데이터 전반에 걸쳐 임베딩을 학습합니다.

Embeddings in AI are representations of data that a computer can operate on. For example, the clip model from OpenAI generates embeddings for text and image. Meaning that you can get one embedding for an image and its description. This work takes that to the next level and generates embeddings for many different modalities which enables multimodal learning. Specifically, their technique learns embeddings across images, text, audio, depth, thermal, and IMU data.

다른 언어 모델의 뉴런(가중치)를 설명하는 언어 모델 / Language models can explain neurons in other language models (12 minute read)

신경망의 뉴런은 다양한 작업에 따라 "활성화"됩니다. 때로는 이미지의 가장자리나 단어의 문자를 감지하는 데 사용됩니다. 그러나 이를 종종 해석하기란 매우 어렵습니다. 대규모 언어 모델을 사용하면 뉴런에 대한 흥미로운 설명을 찾을 수 있다는 것이 밝혀졌습니다. 예를 들어, 연구진은 달러라는 단어가 예측될 때 네트워크에서 통화, 벅(buck; 달러), 미국과 관련된 뉴런이 활성화된다는 사실을 발견했습니다. 이러한 작업은 상당히 비용이 많이 들고 매우 숙련된 대규모 모델이 필요하지만, 신경망에서 설명 가능한 회로를 찾는 데 있어 흥미로운 경로입니다.

Neurons in a neural network “activate” based on different tasks. Sometimes they are used to detect edges in images or letters in words. However, they’re often extremely hard to interpret. It turns out we can use a large language model to find interesting explanations for neurons. For example, they found that in the network when the word Dollar is predicted, neurons related to currency, buck, and America activate. The procedure is fairly expensive and requires extremely proficient large models, but is an exciting path towards finding explainable circuits in neural networks.

InternChat: 챗봇과의 향상된 상호작용을 위한 새로운 시각적 프레임워크 / InternChat: A New Visual Framework for Enhanced Interaction with Chatbots (11 minute read)

이 연구에서는 ChatGPT와 같은 강력한 챗봇과 포인팅 동작과 같은 비언어적 단서를 결합하여 사용자가 이미지나 동영상을 직접 조작할 수 있는 도구인 InternChat(iChat)을 소개합니다. 언어에 제스처를 추가함으로써 iChat은 특히 복잡한 시각적 시나리오가 포함된 작업에서 챗봇과의 커뮤니케이션을 더욱 효율적이고 정확하게 만들어 미래의 대화형 시스템을 위한 유망한 개발이 될 것입니다.

This research introduces InternChat (iChat), a tool that combines powerful chatbots like ChatGPT with non-verbal cues like pointing movements, allowing users to directly manipulate images or videos. By adding gestures to language, iChat makes communication with chatbots more efficient and accurate, especially for tasks involving complex visual scenarios, making it a promising development for future interactive systems.

:gift: 그 외 소식 / Miscellaneous

Microsoft, Copilot에 더 많은 기능을 추가 / Microsoft’s Copilot Is Getting More Features (2 minute read)

Microsoft는 Microsoft 365 앱과 서비스 전반에 걸쳐 AI 기반 기능을 제공하는 OpenAI의 GPT-4 기반 디지털 도우미인 Microsoft 365 Copilot에 대한 프리뷰 액세스를 확대하고 있습니다. 이 거대 기술 기업은 또한 Copilot이 회사 내부 데이터를 더 정확하게 보고할 수 있는 새로운 인덱싱 도구와 Microsoft Whiteboard, Outlook, PowerPoint와 같은 앱을 위한 새로운 Copilot 기능도 발표했습니다.

Microsoft is expanding preview access to its Microsoft 365 Copilot, a digital assistant based on OpenAI’s GPT-4 that brings AI-powered capabilities across Microsoft 365 apps and services. The tech giant has also announced a new indexing tool that lets Copilot more accurately report on internal company data, alongside some new Copilot features for apps like Microsoft Whiteboard, Outlook, and PowerPoint.

IBM, 왓슨x AI 플랫폼 공개 / IBM Unveils Watsonx AI Platform (2 minute read)

IBM은 화요일에 기업이 비즈니스에 AI를 통합할 수 있도록 지원하는 새로운 인공 지능 및 데이터 플랫폼인 왓슨x를 출시했습니다.

IBM on Tuesday launched Watsonx, a new artificial intelligence and data platform to help companies integrate AI in their business.

:zap: 더 읽어보기 / Quick Links

웬디스, 드라이브 스루 주문을 처리하는 AI 챗봇 테스트 중 / Wendy’s Tests An AI Chatbot That Takes Your Drive-Thru Order (2 minute read)

웬디스는 구글과 제휴하여 드라이브 스루에서 주문을 받을 수 있는 AI 챗봇을 개발하고 있습니다. 이 패스트푸드 체인은 6월에 오하이오주 콜럼버스의 한 레스토랑에 첫 번째 '웬디스 프레시AI' 지원 드라이브 스루를 도입할 계획을 가지고 있습니다.

Wendy’s is partnering with Google to create an AI chatbot that can take orders at its drive-thrus. The fast-food chain has plans to bring its first “Wendy’s FreshAI” enabled drive-thru to a Columbus, Ohio, restaurant in June.

Spotify, AI가 생성한 수만 곡의 노래 삭제 / Spotify Has Purged Tens Of Thousands Of AI-Generated Song (2 minute read)

스포티파이가 인공 지능 회사 붐(Boomy)에서 수만 곡의 트랙을 삭제한 것으로 알려졌습니다. 이 스타트업의 시스템에서 생성된 노래의 7%를 삭제했다고 하는데, 이는 음악 스트리밍 플랫폼에서 AI가 생성한 콘텐츠가 빠르게 확산되고 있음을 보여줍니다.

Spotify has reportedly pulled tens of thousands of tracks from generative AI company Boomy. It's said to have removed seven percent of the songs created by the startup's systems, which underscores the swift proliferation of AI-generated content on music streaming platforms.

Feathery AI (Product)

Feathery의 AI 양식 어시스턴트를 사용하면 단 몇 초 만에 고품질 양식을 만들 수 있습니다. 강력한 편집기에서 최종 경험을 다듬어 보세요.

Feathery's AI form assistant lets you create high-quality forms in just a few seconds. Polish the final experience in our powerful editor.

AutoPR (GitHub Repo)

ChatGPT 기반의 AI가 생성한 Pull Request로 이슈를 해결해보세요

Fix issues with AI-generated pull requests, powered by ChatGPT.