[TLDR] 오늘의 AI 뉴스, 2023-05-25: 메타, Megabyte 모델 출시🤖, 엘론 - 구글과 마이크로소프트에 도전장💪, LLM을 위한 메타-인-컨텍스트 학습📖

파이토치 한국 사용자 모임에서는 TLDR 뉴스레터의 승인을 받아 AI 소식을 DeepL로 번역하여 전합니다. :star_struck:

더 많은 AI 소식 및 정보를 공유하고 함께 성장하고 싶으시면 파이토치 한국 사용자 모임에 방문해주세요! :robot:

TLDR-AI 뉴스 레터 썸네일


:rocket: 주요 뉴스 & 신규 출시 소식 / Headlines & Launches

엘론, 구글과 마이크로소프트에 도전하고 싶어하다 / Elon Wants To Challenge Google And Microsoft (3 minute read)

엘론 머스크는 구글과 마이크로소프트에 대항하기 위해 트위터를 포함한 기업 제국의 여러 부분을 포함할 수 있는 인공 지능 비즈니스의 필요성을 느낀다고 말했습니다.

Elon Musk said he sees the need for an artificial-intelligence business to rival Google and Microsoft that could involve different parts of his corporate empire, including Twitter.

메타, Megabyte 모델 출시 / Meta Releases Megabyte (2 minute read)

메타 AI는 여러 형식에 걸쳐 100만 개 이상의 토큰을 생성할 수 있는 메가바이트(Megabyte)라는 새로운 AI 모델 아키텍처를 제안했습니다. 메가바이트는 현재 모델의 확장성 문제를 해결하고 계산을 병렬로 수행하여 효율성을 높이고 트랜스포머보다 뛰어난 성능을 발휘합니다.

Meta AI has proposed a new AI model architecture called Megabyte which can generate more than 1 million tokens across multiple formats. Megabyte addresses scalability issues in current models and performs calculations in parallel, boosting efficiency and outperforming Transformers.

스노우플레이크, 클라우드 데이터 관리 솔루션에 지능형 검색 기능 추가 위해 Neeva 인수 / Snowflake acquires Neeva to bring intelligent search to its cloud data management solution (5 minute read)

클라우드 데이터 관리 회사인 Snowflake가 AI 기반 검색에 중점을 둔 스타트업인 Neeva를 인수했습니다. 거래 조건은 공개되지 않았습니다. 전직 Google 직원이 설립한 Neeva는 원래 소비자 및 기업용 검색 도구를 모두 개발했지만 최근에는 기업용 솔루션으로만 방향을 전환했습니다. 스노우플레이크는 Neeva의 제너레이티브 AI 검색 전문성을 통해 데이터 검색 기능을 강화하여 검색을 더욱 지능적이고 대규모로 대화형으로 만들 계획입니다.

Cloud data management company, Snowflake, has acquired Neeva, a startup focused on AI-powered search. The terms of the deal have not been disclosed. Founded by ex-Google employees, Neeva had originally worked on both consumer and enterprise search tools, but recently pivoted exclusively towards enterprise solutions. With Neeva's generative AI search expertise, Snowflake plans to enhance its data discovery capabilities, making search more intelligent and interactive at scale.

:brain: 연구 & 혁신 관련 소식 / Research & Innovation

ControlVideo: 일관성과 품질이 개선된 텍스트-비디오 생성 / ControlVideo: Text-to-Video Generation with Improved Consistency and Quality (GitHub Repo)

컨트롤비디오는 교육이 필요 없는 접근 방식을 도입하여 텍스트에서 비디오를 생성할 때의 한계를 해결하는 새로운 프레임워크입니다. 구조적 일관성을 활용하고, 외관의 일관성을 향상시키고, 깜박임 효과를 완화하고, 계층적 샘플링을 사용함으로써 ControlVideo는 짧고 긴 고품질 비디오를 생성하는 데 있어 기존 방법보다 뛰어난 성능을 발휘합니다. 중요한 점은 이러한 결과를 효율적으로 달성하여 단일 NVIDIA 2080Ti GPU를 사용하여 몇 분 내에 비디오를 생성한다는 점입니다.

ControlVideo is a novel framework that addresses the limitations of generating videos from text by introducing a training-free approach. By leveraging structural consistency, enhancing appearance coherence, mitigating flicker effects, and employing hierarchical sampling, ControlVideo outperforms existing methods in generating high-quality videos that are both short and long. Importantly, ControlVideo achieves these results efficiently, generating videos within minutes using a single NVIDIA 2080Ti GPU.

ChainForge (GitHub Repo)

LLM에 대한 배틀 테스트 프롬프트를 위한 오픈 소스 비주얼 프로그래밍 환경입니다.

An open-source visual programming environment for battle-testing prompts to LLMs.

LoopGPT (GitHub Repo)

LoopGPT는 모듈성과 확장성을 염두에 두고 작성된 인기 있는 Auto-GPT 프로젝트를 적절한 파이썬 패키지로 재구현한 것입니다.

LoopGPT is a re-implementation of the popular Auto-GPT project as a proper python package, written with modularity and extensibility in mind.

:man_technologist: 엔지니어링 및 리소스 관련 소식 / Engineering & Resources

48GB GPU에서 미세 조정된 QLoRA 65B 파라미터 모델 / QLoRA 65B parameter models fine-tuned on 48GB GPU (32 minute read)

LoRA는 전체 미세 조정보다 훨씬 저렴하게 모델을 미세 조정할 수 있는 방법입니다. 신중하게 선택된 작은 모델 하위 집합을 업데이트하는 것만으로 작동합니다. 그러나 이 경우에도 상용 하드웨어에서 대규모(13억 개 이상의 파라미터) 모델을 미세 조정하기에는 비용이 너무 많이 드는 경우가 많습니다. 양자화는 모델에서 파라미터의 정밀도를 줄여 공간을 덜 차지합니다. 더 많은 오픈 소스 발전.

LoRA is a way to fine-tune models much more cheaply than full fine-tuning. It works by just updating a small, carefully selected, subset of the model. However, even then it is often too expensive to fine-tune large (more than 13B parameter) models on commodity hardware. Quantization reduces the precision of parameters in the model which in turn takes less space. More great open source progress.

SEAHORSE: 다국어 요약 시스템 평가를 위한 도구 / SEAHORSE: A Tool for Evaluating Multilingual Summarization Systems (9 minute read)

SEAHORSE는 여러 언어로 된 요약 시스템의 품질을 평가하기 위해 만들어진 데이터 세트입니다. 여기에는 명확성, 반복성, 문법, 귀속성, 주요 아이디어, 간결성 등 6가지 중요한 측면을 기준으로 사람이 평가한 96,000개의 요약이 포함되어 있습니다. 이 데이터 세트는 자동화된 메트릭의 성능을 평가하기 위한 벤치마크 역할을 할 뿐만 아니라 이러한 메트릭을 훈련하는 데 유용한 리소스를 제공하여 연구자들이 다국어 요약 평가 분야를 발전시키는 데 도움을 줍니다.

SEAHORSE is a dataset created to assess the quality of summarization systems in multiple languages. It contains 96,000 summaries that have been rated by humans based on six important aspects: clarity, repetition, grammar, attribution, main ideas, and conciseness. This dataset not only serves as a benchmark for evaluating the performance of automated metrics but also provides a valuable resource for training such metrics, helping researchers advance the field of multilingual summarization evaluation.

메타-인-컨텍스트 학습: 대규모 언어 모델의 재귀적 개선 / Meta-in-Context Learning: Recursive Improvement of Large Language Models (12 minute read)

이 논문에서는 대규모 언어 모델을 위한 재귀적 자체 개선 프로세스인 메타 인 컨텍스트 학습을 소개합니다. 연구진은 회귀 및 의사 결정 작업을 연구함으로써 메타-인-컨텍스트 학습이 모델의 컨텍스트 내 학습 능력을 향상시키고 전략을 수정하며 실제 문제에서 경쟁력 있는 성능을 달성한다는 사실을 입증합니다. 이 연구는 기존의 미세 조정 접근 방식에만 의존하지 않고 언어 모델을 개선하는 방법을 조명합니다.

This paper introduces meta-in-context learning, a recursive self-improvement process for large language models. By studying regression and decision-making tasks, the researchers demonstrate that meta-in-context learning enhances the models' in-context learning abilities, modifies their strategies, and achieves competitive performance on real-world problems. This work sheds light on improving language models without relying solely on traditional fine-tuning approaches.

:gift: 그 외 소식 / Miscellaneous

불완전해 보이는 아마존의 AI / Amazon’s AI Seen As Incomplete (4 minute read)

아마존의 클라우드 고객들은 아마존이 6주 전에 공개한 ChatGPT 스타일의 기술을 직접 사용해보고 싶어합니다. 그러나 많은 고객들은 이 기술을 테스트할 수 있는 기회 대신 가만히 있으라는 말을 듣고 있으며, 이 인공 지능 도구가 완전히 구워지지 않았다는 우려를 불러일으키고 있습니다.

Amazon’s cloud customers are clamoring to get their hands on the ChatGPT-style technology the company unveiled six weeks ago. But instead of being allowed to test it, many are being told to sit tight, prompting concerns the artificial intelligence tool isn’t fully baked.

인간과 유사하게 언어를 학습하는 신경망 / Neural Networks Learn Languages Similarly To Humans (8 minute read)

이 기사는 간단한 소리를 듣는 인간의 뇌파와 같은 소리를 분석하는 신경망에서 생성된 신호를 비교한 연구에 대해 설명합니다. 결과는 놀라울 정도로 비슷했으며, 이는 적어도 언어에 관해서는 자연 네트워크와 인공 네트워크가 비슷한 방식으로 학습한다는 것을 시사합니다

The article discusses a study that compared the brain waves of humans listening to a simple sound to the signal produced by a neural network analyzing the same sound. The results were uncannily alike, suggesting that natural and artificial networks learn in similar ways, at least when it comes to language

인공지능 콘텐츠 조정의 심각한 결함 / The Dire Defect Of AI Content Moderation (7 minute read)

이 문서에서는 인공지능을 사용하여 여러 언어에 걸쳐 콘텐츠를 조정할 때의 어려움에 대해 설명합니다. 이 글은 현재의 인공지능 시스템이 모든 언어의 유해 콘텐츠를 정확하게 감지할 수 없으며, 이는 심각한 결과를 초래할 수 있다고 주장합니다. 마지막으로 AI 콘텐츠 검토 시스템의 정확성을 개선하는 방법에 대한 더 많은 연구와 소셜 미디어 회사가 AI를 사용하여 콘텐츠를 검토하는 방법에 대한 투명성을 강화할 것을 촉구합니다.

The article discusses the challenges of using artificial intelligence to moderate content across multiple languages. It argues that current AI systems are not able to accurately detect harmful content in all languages, and that this can have serious consequences. It finishes by calling for more research into how to improve the accuracy of AI content moderation systems, and for more transparency from social media companies about how they are using AI to moderate content.

:zap: 더 읽어보기 / Quick Links

Adobe, 포토샵에 AI 추가 / Adobe Adds AI To Photoshop (2 minute read)

어도비는 화요일 아침 인기 있는 포토샵 편집 소프트웨어에 생성형 인공 지능을 통합하여 교육을 받지 않은 사용자도 쉽게 사용할 수 있도록 할 것이라고 밝혔다.

Adobe said Tuesday morning it would integrate generative artificial intelligence into its popular Photoshop editing software, making the application more accessible to untrained users.

Google, 판매자가 생성형 AI를 사용하여 제품 이미지를 만들 수 있는 도구인 Product Studio 출시 / Google introduces Product Studio, a tool that lets merchants create product imagery using generative AI (3 minute read)

구글은 머천트 센터 넥스트 플랫폼 내에서 제품 이미지를 생성할 수 있는 AI 도구인 프로덕트 스튜디오를 출시했습니다. 이 개발은 판매자 웹사이트의 데이터를 자동으로 채워 제품 목록을 간소화합니다. 온라인 및 매장 재고 관리를 통합하는 Merchant Center Next의 글로벌 출시는 2024년으로 예정되어 있습니다.

Google has launched Product Studio, an AI tool for creating product imagery within its Merchant Center Next platform. This development simplifies product listing by auto-populating data from merchants' websites. The global rollout of Merchant Center Next, unifying online and in-store inventory management, is planned for 2024.

Character AI (Product Launch)

살아있는 듯한 AI를 만나보세요. 언제 어디서나 누구와도 대화하고, 내 말을 듣고, 나를 이해하고, 나를 기억하는 AI의 마법을 경험하세요. 나만의 캐릭터를 만들 수 있습니다! 대규모 언어 모델에 기반한 자체 기술로 구동됩니다.

Meet AIs that feel alive. Chat with anyone, anywhere, anytime, and experience the magic of an AI that hears you, understands you, and remembers you. You can create your own Characters! Powered by our own tech based on large language models.

Desku (Product Launch)

Desku의 AI 강화 자동화로 비즈니스를 혁신하세요! 공유 받은 편지함을 통해 손쉽게 협업하고 WhatsApp 통합을 통해 일회성 방문자를 단골 고객으로 전환하세요. Desku로 고객 지원 및 고객 경험의 미래를 경험하세요!

Transform your business with Desku's AI-enhanced automations! Collaborate effortlessly with shared inboxes, and turn one-time visitors into repeat customers with WhatsApp integration. Experience the future of Customer Support & Customer Experience with Desku!