[TLDR] 오늘의 AI 뉴스, 2023-06-06: 애플 WWDC의 AI🍎, 🤗허깅페이스 - 양자화된 LLM을 효율적으로 미세조정하는 팔콘🦅 출시🧰

파이토치 한국 사용자 모임에서는 TLDR 뉴스레터의 승인을 받아 AI 소식을 DeepL로 번역하여 전합니다. :star_struck:

더 많은 AI 소식 및 정보를 공유하고 함께 성장하고 싶으시면 파이토치 한국 사용자 모임에 방문해주세요! :robot:

TLDR-AI 뉴스 레터 썸네일


:rocket: 주요 뉴스 & 신규 출시 소식 / Headlines & Launches

Falcon, 허깅페이스 생태계에 상륙 / The Falcon Has Landed In The Hugging Face Ecosystem (10 minute read)

Hugging Face가 대규모 언어 모델(LLM)을 구축하고 배포하기 위한 새로운 오픈소스 프레임워크인 Falcon을 출시했습니다. Falcon은 빠르고 효율적이며 확장 가능하도록 설계되었으며 CPU, GPU, TPU를 비롯한 다양한 하드웨어 플랫폼에서 LLM을 학습하고 배포하는 데 사용할 수 있습니다.

Hugging Face has released Falcon, a new open-source framework for building and deploying large language models (LLMs). Falcon is designed to be fast, efficient, and scalable, and it can be used to train and deploy LLMs on a variety of hardware platforms, including CPUs, GPUs, and TPUs.

Apple, AI를 직접적으로 언급하지는 않았지만 많은 것들을 하는 중 / Apple never mentioned AI, but they had lots of it (12 minute read)

트랜스포머로 구동되는 키보드, 놀라운 AR 고글, 수많은 하드웨어 발전 사이에서 Apple은 소비자 AI의 조용한 리더일지도 모릅니다.

Between the transformer powered keyboard, the amazing AR goggles, and the plethora of hardware advancements Apple might be the silent leader in consumer AI.

구글, AI 기반 모바일 Gmail 출시 / Googles Unleashes AI-Powered Mobile Gmail (2 minute read)

구글은 스마트폰에서 Gmail의 이메일을 더 빠르고 쉽게 검색할 수 있는 새로운 AI 기반 기능의 개발을 공개했습니다.

Google has unveiled the development of a new AI-driven function to make searching faster and easier for emails in Gmail on smartphones.

:brain: 연구 & 혁신 관련 소식 / Research & Innovation

Tree Of Thought (GitHub Repo)

생각의 나무(ToT; Tree of Thought)는 모델 추론을 70%까지 향상시키는 강력하고 유연한 새 알고리즘입니다

Tree of Thoughts (ToT) is an all-new powerful and flexible algorithm that advances model reasoning by 70%

프롬프트 없는 디퓨전: 텍스트-이미지 변환의 도약 / Prompt-Free Diffusion: A Leap Forward in Text-to-Image Conversion (GitHub Repo)

이 연구는 텍스트 프롬프트 없이 시각적 입력만으로 이미지를 생성하는 시스템인 '프롬프트 없는 디퓨전'을 도입하여 텍스트-이미지(T2I) 연구에 대한 새로운 접근 방식을 제시합니다. 이 시스템은 '시맨틱 컨텍스트 인코더(SeeCoder; Semantic Context Encoder)'라는 고유한 구조를 활용하여 참조 이미지, 선택적 이미지 구조 및 약간의 초기 노이즈를 해석함으로써 세부적이고 개인화된 이미지를 보다 쉽게 생성하고 기존 이미지 합성 방법보다 뛰어난 성능을 발휘합니다.

This study presents an approach in text-to-image (T2I) research by introducing 'Prompt-Free Diffusion', a system that generates images solely based on visual inputs, with no text prompts required. It utilizes a unique structure called 'Semantic Context Encoder (SeeCoder)' to interpret a reference image, an optional image structure, and some initial noise, making it easier to create detailed, personalized images and outperforming previous image synthesis methods.

QLoRA (GitHub Repo)

이 저장소는 LLM 연구에 대한 접근을 대중화하기 위한 노력의 일환인 "QLoRA: 양자화된 LLM의 효율적인 미세 조정"이라는 논문에 대한 저장소입니다.

This repo supports the paper "QLoRA: Efficient Finetuning of Quantized LLMs", an effort to democratize access to LLM research.

(:point_up: :fire::kr: QLoRA: 48GB GPU로 65B 모델의 미세조정(파인튜닝)이 가능하다고요? 도 읽어보세요!)

(광고) OctoAI 소개: 생성형 AI 모델을 실행, 조정 및 확장하는 가장 빠른 방법 / Introducing OctoAI: The fastest way to run, tune, and scale generative models (Sponsor)

6/14 라이브 출시 이벤트 및 데모에 참여하세요. 애플리케이션 개발자가 클라우드에서 초고속 제너레이티브 AI 모델을 효율적으로 확장하고 원하는 모델로 자유롭게 구축할 수 있는 방법을 가장 먼저 확인해 보세요.

Join us live on 6/14 for a live launch event & demo. Be the first to see how application developers can easily run super-fast generative AI models in the cloud with the efficiency to scale and the freedom to build with the models they want.

:man_technologist: 엔지니어링 및 리소스 관련 소식 / Engineering & Resources

ViCo: 디퓨전 모델을 사용한 경량 텍스트-이미지 생성 / ViCo: Lightweight Text-to-Image Generation Using Diffusion Models (GitHub Repo)

ViCo는 텍스트 설명을 기반으로 사실적인 이미지를 생성하기 위해 고안된 새로운 기법으로, 몇 가지 예제만으로 새로운 개념의 세밀한 디테일을 포착할 수 있습니다. 다른 방법과 달리 ViCo는 시스템 리소스를 적게 사용하고 원본 모델의 매개 변수를 미세 조정할 필요가 없지만, 어텐션 기반의 객체 마스크를 사용하고 과적합을 줄이는 고유한 방법을 사용하여 시각적 의미론에 집중함으로써 주요 모델보다 성능이 뛰어납니다.

ViCo is a new technique designed to generate realistic images based on textual descriptions, with the ability to capture fine details of novel concepts from just a few examples. Unlike other methods, ViCo is light on system resources and doesn't need to fine-tune the original model's parameters, yet it still outperforms leading models by focusing on visual semantics, using an attention-based object mask and employing a unique way to reduce overfitting.

GateON: 더 나은 지속적 학습을 위한 새로운 방법 / GateON: A New Method for Better Continual Learning (20 minute read)

GateON은 신경망이 - '치명적 망각(catasrophic forgetting)'으로 알려진 - 이전 작업을 잊어버리지 않고 일련의 작업을 학습할 수 있도록 돕는 새로운 기술입니다. 이 기술은 작업 간에 겹치는 연결을 만들고 중요한 지식이 덮어쓰이지 않도록 보호함으로써 이를 달성합니다. 게이트온은 '고정된' 뉴런을 다시 활성화하는 메커니즘을 갖추고 있어 손으로 쓴 숫자를 식별하거나 자연어를 이해하는 등 대규모 학습 작업에 강력한 도구가 될 수 있습니다.

GateON is a new technique that helps neural networks learn a series of tasks without forgetting previous ones, a common problem known as 'catastrophic forgetting'. It achieves this by creating overlapping connections between tasks and protecting important knowledge from being overwritten. GateOn has a mechanism to re-activate 'fixed' neurons, making it a powerful tool for large-scale learning tasks, whether it's identifying hand-written numbers or understanding natural language.

:gift: 그 외 소식 / Miscellaneous

기술 산업계는 디플레이션 중이었는데... 그때 ChatGPT가 등장했다 / The Tech Industry Was Deflating. Then Came ChatGPT (5 minute read)

2022년 기술 산업계는 침체기를 맞고 있었지만 ChatGPT가 등장하면서 새로운 AI 붐을 일으켰습니다. 그 이후로 벤처 캐피털리스트들은 AI 스타트업에 110억 달러 이상을 투자했으며, Moderna부터 Heinz에 이르기까지 다양한 기업들이 최근 실적 발표에서 AI 이니셔티브에 대해 언급했습니다.

The tech industry was deflating in 2022, but then ChatGPT came along and sparked a new AI boom. Venture capitalists have invested over $11 billion in AI start-ups since then, and companies from Moderna to Heinz have mentioned AI initiatives on recent earnings calls.

AI는 프로그래머에게 도움이 되지 않는다 / AI Does Not Help Programmers (8 minute read)

이 글에서 버트랜드 마이어(Bertrand Meyer)는 AI가 프로그래머에게 도움이 되지 않으며 소프트웨어 개발을 위한 만병통치약이 아니라고 주장합니다. 그는 AI가 항상 정확한 것은 아니며, 기존 워크플로우에 통합하기 어려울 수 있고, 구현하는 데 비용이 많이 들 수 있다는 점 등 몇 가지 이유를 들었습니다.

In this article, Bertrand Meyer argues that AI does not help programmers and that it is not a silver bullet for software development. He cites several reasons for this, including the fact that AI is not always accurate, can be difficult to integrate into existing workflows, and can be expensive to implement.

GPT 모범 사례 / GPT Best Practices (15 minute read)

이 가이드에서는 GPT를 통해 더 나은 결과를 얻기 위한 전략과 전술을 공유합니다.

This guide shares strategies and tactics for getting better results from GPTs.

:zap: 더 읽어보기 / Quick Links

Google의 AI 검색이 너무 느림 / Google’s AI Search Is Way Too Slow (5 minute read)

Google의 새로운 AI 기반 검색 환경인 검색 생성 경험(SGE; Search Generative Experience)은 일반적으로 유용하지만 결과를 불러오는데 너무 오래 걸려서 불편합니다.

Google's new AI-powered search experience, Search Generative Experience (SGE), is usually helpful but the results take too long to load, which is inconvenient.

샘 알트먼, 세계 지도자들과의 대담 중 "감동" / Sam Altman Is “Heartened” By Talks With World Leaders (2 minute read)

OpenAI의 CEO인 샘 알트먼은 월요일 세계 지도자들이 AI로 인한 위험을 억제하려는 열망을 보여줘서 고무되었다고 말했습니다.

OpenAI CEO Sam Altman said Monday he was encouraged by a desire shown by world leaders to contain any risks posed by AI.

샘 알트먼, 개발자 안심 발언: 'OpenAI는 ChatGPT를 넘어 경쟁하지 않을 것' / Sam Altman Is Privately Reassuring Developers OpenAI Won’t Compete Beyond ChatGPT (2 minute read)

샘 알트먼이 소프트웨어 개발자들에게 전하는 메시지가 있습니다: 알트만과의 비공개 회의에 참석했던 한 스타트업 창업자가 작성한 (지금은 삭제된) 블로그 게시물에 따르면, OpenAI는 ChatGPT와 같은 소비자 대상 제품을 더 이상 출시할 계획이 없다고 합니다.

Sam Altman has a message for software developers: OpenAI has no plans to roll out any more consumer-facing products like ChatGPT, according to a now taken down blog post by a startup founder who attended a private meeting with Altman.

Market Test (Product Launch)

마켓 테스트는 100명의 실제 소비자를 대상으로 사람이 만든 콘텐츠와 AI가 생성한 콘텐츠를 빠르게 테스트할 수 있는 방법입니다. 몇 분 안에 반복적이고 민첩한 테스트를 수행하여 2시간 이내에 결과를 확인할 수 있습니다.

Market Test is a fast way to test both human creative and AI-generated content on 100 real consumers. Perform iterative and agile testing in minutes, with results within two hours.