[TLDR] 오늘의 AI 뉴스, 2023-10-19: Adept의 멀티모달 LLM 🔀, Mujoco 3 3️⃣, 보다 효율적인 언어 모델 아키텍처 🌐

파이토치 한국 사용자 모임에서는 TLDR 뉴스레터 의 승인을 받아 AI 소식을 DeepL로 번역 하여 전합니다. :star_struck:
더 많은 AI 소식 및 정보를 공유하고 함께 성장하고 싶으신가요? 지금 파이토치 한국어 커뮤니티에 방문해주세요! :robot:
TLDR-AI 뉴스 레터 썸네일


:rocket: 주요 뉴스 & 신규 출시 소식 / Headlines & Launches

Adept, 멀티모달 LLM Fuyu-8B 출시 / Adept releases multimodal LLM (8 minute read)

Adept는 매우 간단하고(이미지 인코더 없음) 성능이 뛰어난(13B 모델보다 뛰어난) 멀티모달 모델을 출시했습니다. 이 문서에서는 Adept가 이 모델의 성능을 평가한 방법과 모델에 대한 몇 가지 세부 사항을 간략하게 설명합니다. multimodal adept

Adept has released an extremely simple (no image encoder) and very performant (outperforms 13B models) multimodal model. This article outlines how Adept evaluated the model’s performance and some details about the model.

Mujoco 3 (6 minute read)

인기 있는 물리 기반 시뮬레이터인 무조코의 최신 버전이 출시되었습니다. 훨씬 더 빠르고 훨씬 더 안정적입니다.

The newest version of Mujoco, a popular physics-based simulator, has been released. It's much faster and far more stable.

OpenAI, 더 효율적인 AI 모델 개발에 실패하다 / OpenAI Fails To Develop More Efficient AI Model (1 minute read)

OpenAI는 ChatGPT 출시 직후부터 애플리케이션을 보다 효율적으로 실행하도록 설계된 AI 모델인 아라키스(Arrakis)를 개발하기 시작했습니다. 그러나 이 프로젝트는 드물게도 실패로 돌아갔습니다.

OpenAI began working on Arrakis, an AI model designed to run applications more efficiently, soon after the launch of ChatGPT. However, in a rare setback, the project has failed.

:brain: 연구 & 혁신 관련 소식 / Research & Innovation

MemGPT: 메모리가 있는 로컬 챗봇 / Local chatbot with memory (GitHub Repo)

MemGPT는 메모리를 읽고 쓸 수 있는 로컬 챗봇입니다. 이를 통해 이전 대화에 대한 중요한 컨텍스트를 기억하는 로컬 어시스턴트를 사용할 수 있습니다.

MemGPT is a local chatbot that can read and write to memory. This allows you to have a local assistant that remembers important context about previous conversations.

ChatGPT 시스템 프롬프트 / ChatGPT System Prompts (GitHub Repo)

시스템 프롬프트를 사용하면 ChatGPT 기반 언어 모델의 동작을 변경할 수 있습니다. 이 리포지토리에는 기본 설정에 따라 사용성을 개선할 수 있는 매우 잘 구성된 시스템 프롬프트가 포함되어 있습니다.

System prompts allow you to change the behavior of ChatGPT-based language models. This repository contains some very well constructed system prompts that could improve usability based on your preferences.

MonoSKD: 단일 이미지에서 3D 오브젝트 감지를 위한 새로운 접근 방식 / A New Approach to 3D Object Detection from Single Images (GitHub Repo)

이 리포지토리에서는 단 하나의 이미지로 3D 물체를 감지하는 획기적인 방법인 MonoSKD를 소개하며, 이를 통해 LiDAR와 일반 RGB 기반 모델 간의 지식 격차를 효과적으로 해소할 수 있습니다.

This repository introduces MonoSKD, a groundbreaking method for detecting 3D objects using only one image that effectively bridges the knowledge gap between LiDAR and regular RGB-based models.

:man_technologist: 엔지니어링 및 리소스 관련 소식 / Engineering & Resources

소형 모델을 사용하여 대형 모델 학습하기 / Use small models to study large models (25 minute read)

대규모 학습의 불안정성은 대부분의 연구자가 재현하기 어렵습니다. 이 논문에서는 소규모 모델에서 불안정성을 재현하는 방법을 보여주고, 일반적으로 보고된 많은 수정 사항이 소규모 모델에서도 잘 작동하는지 확인합니다.

Instabilities in training at large scales are hard to reproduce for most researchers. This paper shows how to reproduce instabilities in small models and verifies that many commonly reported fixes work just as well on these small models.

BitNet: 보다 효율적인 언어 모델 아키텍처 / A More Efficient Language Model Architecture (GitHub Repo)

연구원들은 에너지와 메모리를 훨씬 적게 사용하는 대규모 언어 모델을 위한 새로운 설계인 비트넷을 개발했습니다.

Researchers have developed BitNet, a new design for large language models that uses much less energy and memory.

ZipFormer: 음성 인식을 위한 새로운 트랜스포머 / Zipformer: A New Transformer for Speech Recognition (17 minute read)

이 연구에서는 더 빠르고 메모리를 적게 사용하며 널리 사용되는 컨포머보다 성능이 뛰어난 자동 음성 인식(ASR)을 위한 개선된 트랜스포머인 Zipformer를 소개합니다.

The study introduces Zipformer, a revamped transformer for automatic speech recognition (ASR) that's faster, uses less memory, and outperforms the widely-used Conformer.

:gift: 그 외 소식 / Miscellaneous

의료 분야의 AI 상용화: 엔터프라이즈 구매자의 관점 / Commercializing AI in Healthcare: The Enterprise Buyer Perspective (10 minute read)

AI가 의료 분야에 활용될 것이라는 점은 의심할 여지가 없습니다. 다만 그 방법과 범위의 문제일 뿐입니다. 이 단계별 가이드는 의료용 AI 회사를 시작하려는 분들에게 매우 유용합니다.

No doubt AI will have a hand in healthcare - it's just a question of how and by how much. This step-by-step guide is ridiculously helpful if you’re starting an AI-for-healthcare company.

폭스콘과 엔비디아, AI 공장을 건설하다 / Foxconn And Nvidia Are Building AI Factories (2 minute read)

엔비디아와 폭스콘은 자율 주행 차량과 산업용 로봇의 개발을 가속화하기 위해 설계된 'AI 팩토리'를 만들기 위해 협력하고 있습니다.

Nvidia and Foxconn are collaborating to create "AI factories" designed to supercharge the development of autonomous vehicles and industrial robots.

세계에서 가장 큰 AI 모델은 투명하지 않습니다 / The World’s Biggest AI Models Aren’t Very Transparent (3 minute read)

스탠포드 HAI의 새로운 재단 모델 투명성 지수에 따르면 주요 AI 재단 모델 개발자들이 사회적 영향에 대한 정보를 충분히 제공하지 않는 것으로 나타났습니다. 메타의 라마 2(Llama 2)가 54%로 투명성 부문에서 가장 높은 점수를 받았고 블룸즈(BloomZ)와 오픈AI의 GPT-4가 그 뒤를 이었지만, 데이터 소스, 사회적 영향, 잠재적 편향성 등의 영역에서 우려의 목소리가 제기되면서 특별히 높은 점수를 받은 모델은 없었습니다.

Stanford HAI's new Foundation Model Transparency Index reveals that major AI foundation model developers do not provide enough information on their societal impacts. While Meta's Llama 2 scored the highest in transparency at 54%, followed by BloomZ and OpenAI's GPT-4, none achieved particularly high scores, with concerns raised about areas like data sources, societal impact, and potential biases.

:zap: 더 읽어보기 / Quick Links

AI 콘텐츠 지니 / AI Content Genie (Product Launch)

콘텐츠 제작 및 마케팅을 위한 AI 자동 조종 장치.

AI autopilot for content creation & marketing.

ChatGPT 웹 브라우징 베타 종료, DALL-E 3 베타 버전 출시 / ChatGPT Web Browsing Exits Beta, DALL-E 3 Enters Beta (1 minute read)

ChatGPT의 Bing으로 찾아보기는 현재 베타 테스트가 종료되었으며, DALL-E 3는 베타 버전입니다.

ChatGPT’s Browse With Bing is now out of beta testing and DALL-E 3 is in beta.

99% 정확도의 이미지 감지기를 개발하는 OpenAI / OpenAI Is Building An Image Detector With 99% Accuracy (1 minute read)

OpenAI는 99%의 정확도를 자랑하는 AI 이미지 감지기를 개발하고 있습니다.

OpenAI is building an AI image detector that is correct 99% of the time.