[TLDR] 오늘의 AI 뉴스, 2023-10-12: 멀티모달 프론티어 모델 🌐, 빅테크 AI의 고군분투 💻, 미스트랄 7B 논문 📃

파이토치 한국 사용자 모임에서는 TLDR 뉴스레터 의 승인을 받아 AI 소식을 DeepL로 번역 하여 전합니다. :star_struck:
더 많은 AI 소식 및 정보를 공유하고 함께 성장하고 싶으신가요? 지금 파이토치 한국어 커뮤니티에 방문해주세요! :robot:
TLDR-AI 뉴스 레터 썸네일


:rocket: 주요 뉴스 & 신규 출시 소식 / Headlines & Launches

AI 과대광고를 수익으로 전환하기 위한 빅 테크의 고군분투 / Big Tech Struggles to Turn AI Hype Into Profits (8 minute read)

거대 기술 기업들은 비용이 많이 드는 제너레이티브 AI 도구에 투자하고 있으며, 이는 소프트웨어 업그레이드 비용 상승으로 이어지고 있습니다. 기업들은 향후 비용 절감을 기대하면서 혁신과 수익성의 균형을 맞출 수 있는 방법을 모색하고 있습니다.

Tech giants are investing in costly generative AI tools, leading to pricier software upgrades. Firms are exploring ways to balance innovation with profitability while anticipating future cost reductions.

멀티모달 프론티어 모델 심층 분석 / Deep dive into multimodal frontier models (28 minute read)

다중 모드 언어 모델에 대한 현재 연구 활동에 대해 자세히 알아보세요. multimodal

An excellent dive into the current research activity around multimodal language models.

신뢰할 수 있는 LLM 구축을 위해 3천만 달러 모금에 나선 CleanLab / CleanLab raises $30M to help build trustworthy LLMs (8 minute read)

MIT에서 오픈 소스 패키지로 시작한 CleanLab은 이제 산업 ML 파이프라인을 위한 고품질 데이터 큐레이션을 위한 엔터프라이즈급 노코드 도구로 성장했습니다.

Starting as an open sourced package at MIT, CleanLab has now grown into an enterprise-grade no-code tool for curating high quality data for industry ML pipelines.

:brain: 연구 & 혁신 관련 소식 / Research & Innovation

ChatGPT 히스토리 MarkDown으로 내보내기 / ChatGPT History Export To MD (GitHub Repo)

전체 ChatGPT 기록과 데이터 내보내기를 깔끔한 형식의 마크다운 파일로 변환하는 Python 스크립트입니다.

A Python script that converts your entire ChatGPT history and data export into neatly formatted Markdown files.

(더 읽어보기 :point_right: [GN] 자신의 ChatGPT 전체 기록을 Markdown으로 Export하기)

LLMetry 열기 / Open LLMetry (GitHub Repo)

OpenLLMetry는 OpenTelemetry를 기반으로 구축된 확장 기능 집합으로, LLM 애플리케이션에 대한 완벽한 가시성을 제공합니다.

OpenLLMetry is a set of extensions built on top of OpenTelemetry that gives you complete observability over your LLM application.

Whispering-LLaMA: 새로운 크로스 모달 퓨전 기술로 음성 인식 향상 / Enhancing Speech Recognition with a New Cross-Modal Fusion Technique (GitHub Repo)

연구원들은 소리 정보와 언어 데이터를 결합하여 자동 음성 인식 시스템의 오류를 수정하는 새로운 기술을 개발했습니다.

Researchers have developed a new technique that combines sound information and language data to correct mistakes in automatic speech recognition systems.

:man_technologist: 엔지니어링 및 리소스 관련 소식 / Engineering & Resources

미스트랄 7B 모델의 논문 / Paper for Mistral 7B model (10 minute read)

미스트랄 7B 모델은 트윗을 통해 공개되었습니다. 이 제품은 크기가 두 배나 큰 모델들을 능가합니다. 이 논문에서는 몇 가지 기술적 기여와 세부 사항을 살펴봅니다. 사전 학습 데이터 세트에 대한 논의는 없지만 아키텍처에 대한 좋은 통찰력을 제공합니다. mistral-7b paper

The Mistral 7B model was released via a tweet. It beats many models twice its size. This paper explores some of the technical contributions and details. No discussion of the pre-training dataset, but good insights into the architecture.

InfoCL: 연속 텍스트 분류의 메모리 향상 / Improving Memory in Continual Text Classification (16 minute read)

이 연구는 특히 텍스트를 분류할 때 모델이 오래된 것을 잊지 않고 새로운 것을 계속 학습하려고 하는 '지속적 학습'에서 직면하는 문제를 탐구합니다. 이 연구에서는 모델이 더 잘 기억하고 실수를 줄이는 데 도움이 되는 특수 기술을 사용하는 InfoCL이라는 새로운 방법을 소개합니다.

This study explores the challenges faced in "continual learning", where a model tries to keep learning new things without forgetting old ones, especially in categorizing texts. It introduces a new method called InfoCL, which uses special techniques to help the model remember better and reduce mistakes.

AI가 생성한 문장이 자연스럽게 들리도록 만들기 / Making AI-Generated Sentences Sound Natural (11 minute read)

연구자들은 문장을 생성하는 모델에 아이디어 또는 '개념'을 제시하는 순서가 문장의 완성도에 영향을 미친다는 사실을 발견했습니다. 다양한 프로그램을 테스트한 결과, 특정 순서로 아이디어를 제시했을 때 BART-large가 가장 좋은 결과를 보였지만 놀랍게도 큰 것이 항상 좋은 것은 아니었습니다.

Researchers found that the sequence in which ideas or 'concepts' are presented to models that generate sentences affects how good the sentences turn out to be. Among various programs tested, BART-large did the best job when given ideas in a certain order, but surprisingly, bigger isn't always better.

:gift: 그 외 소식 / Miscellaneous

GPT-4의 추론 능력에 대한 사례 / A Case For GPT-4’s Capacity To Reason (6 minute read)

GPT-4는 의식과 장기 기억력이 부족하지만, 개념을 추론하고 이해할 수 있다는 좋은 증거가 있습니다. gpt-4

Although GPT-4 lacks consciousness and long-term memory, there is good evidence that it is able to reason and comprehend concepts.

UniSim: 범용 인터랙티브 실제 세계 시뮬레이터 / Universal, interactive, real world simulator (6 minute read)

시뮬레이터가 생성형 AI라면 어떨까요? 제로-샷으로 로봇 정책이 동작할 수 있을 것입니다! 딥마인드와 동료들의 이 연구는 RL이 일반적으로 훈련 환경을 넘어 일반화할 수 없다는 문제를 해결합니다. 모든 것을 훈련 환경으로 만들면 외삽할 필요가 없습니다.

What if your simulator was generative AI? It would work to zero shot transfer robotic policies! This work from DeepMind and colleagues tackles the challenge that RL usually can't generalize past the training environment. If we just make everything the training environment then there is no need for extrapolating.

검찰은 뱅크먼-프라이드의 변호사가 AI 스타트업 Anthropic에 5억 달러를 투자한 사실을 언급하는 것을 원하지 않습니다 / Prosecutors don’t want Bankman-Fried’s lawyers mentioning his $500 million investment in AI startup Anthropic (3 minute read)

검찰은 전 FTX 공동 창업자 샘 뱅크먼-프라이드의 변호인이 재판 과정에서 5억 달러를 투자한 AI 스타트업 앤트로픽에 대해 언급하지 못하도록 막으려 하고 있으며, 이는 관련성이 없다고 판단하고 있습니다. 한편, OpenAI의 경쟁자로 여겨지는 Anthropic은 최근 Amazon으로부터 12억 5천만 달러의 투자를 유치한 후 기업 가치를 200억~330억 달러로 끌어올릴 수 있는 자금 조달을 모색하고 있습니다. anthropic

Prosecutors want to prevent former FTX cofounder Sam Bankman-Fried’s attorneys from mentioning his $500M investment in AI startup Anthropic during trial, deeming it irrelevant. Meanwhile, Anthropic, seen as a competitor to OpenAI, is seeking funding that could propel its valuation to $20B-$30B, after recently securing a $1.25B commitment from Amazon.

:zap: 더 읽어보기 / Quick Links

구글 내부자들이 그만한 가치가 없다고 Bard를 비난하다 / Google Insiders Are Slamming Bard For Not Being Worth It (4 minute read)

Google 직원들은 비공개 그룹 채팅에서 Bard의 유용성에 의문을 제기하고 있습니다. google google-bard

Google employees are questioning Bard’s usefulness in private group chats.

AppManager (Product)

스타트업을 위한 AI IT 에이전트.

An AI IT agent for startups.

(광고) 피어투피어: 양질의 인맥을 양질의 기회로 추천 / Peer2Peer: Refer quality connections to quality opportunities (Sponsor)

이력서 제출을 중단하고 대신 따뜻한 소개를 받아보세요. 친구 및 동료와 함께 서로에게 기회를 추천하여 추천 커뮤니티를 구축하세요.
ML 엔지니어 보웨이가 Peer2Peer를 통해 다음 스타트업을 찾은 방법 읽어보기

Stop submitting resumes and get warm intros instead. Build your referral community with friends and colleagues by referring one another to opportunities.
Read how ML engineer Bowei finds his next startup with Peer2Peer

ChatGPT의 모바일 앱은 지난달 458만 달러의 매출을 기록했지만 성장은 둔화되고 있습니다 / ChatGPT’s mobile app hit record $4.58M in revenue last month, but growth is slowing (2 minute read)

수익 증가가 둔화되고 있다는 것은 ChatGPT+를 지불할 의향이 있는 모바일 사용자의 수가 거의 포화 상태에 이르렀다는 의미일 수 있습니다. chatgpt openai

The slowing revenue growth may be an indication that ChatGPT is nearing saturation in terms of how many mobile users are willing to pay for ChatGPT+.