파이토치 한국 사용자 모임에서는 TLDR 뉴스레터 의 승인을 받아 AI 소식을 DeepL로 번역하여 전합니다. 
Headlines & Launches
이것이 진짜인지는 확실하지 않지만 메시지는 사실입니다. 오픈소스 모델이 폐쇄형 모델을 빠르게 추격하며 '점심을 먹고' 있습니다. 그렇다면 이러한 대형 조직은 어떻게 해야 할까요? 한 가지 아이디어는 안드로이드나 파이토치처럼 생태계의 리더가 되는 것입니다. 어쨌든 이는 커뮤니티가 스스로 유용한 것을 만들어가는 강력한 사례입니다.
It's not clear if this is authentic, but the message is real. Open source models are gaining quickly on closed models and "eating their lunch". So what should these large orgs do? One idea is to be the ecosystem leader similar to Android or Pytorch. In any case it is a powerful example of the community building things that are useful for them.
목요일 백악관은 실리콘 밸리의 최고 경영자들에게 인공지능의 위험을 제한할 것을 촉구하며, 인공지능을 규제하기 위한 행정부의 가장 눈에 띄는 노력의 일환으로 제품을 안전하게 지켜야 할 "도덕적" 의무가 있다고 말했습니다.
The White House on Thursday pushed Silicon Valley chief executives to limit the risks of artificial intelligence, telling them they have a “moral” obligation to keep products safe, in the administration’s most visible effort yet to regulate AI.
코드를 작성하는 언어 모델은 최근 AI 혁명의 조용한 강자입니다. ChatGPT의 인상적인 추론 능력은 부분적으로 코드 작성 능력에서 비롯됩니다. 그러나 새로운 스타 코더 모델만큼 까다로운 휴먼에벌 벤치마크에서 높은 점수를 받은 개방형 모델은 없습니다. 오픈 액세스 가중치와 중간 채우기 및 대화 상자 같은 다양한 기능을 갖춘 인상적인 모델입니다. HuggingChat에서도 실행할 수 있습니다.
Language models that write code are the silent powerhouses of the recent AI revolution. ChatGPT’s impressive reasoning abilities come, in part, from its code writing prowess. However, no open model has gotten as high as the new Star Coder model on the tough HumanEval benchmark. An impressive model, with open access weights, and a wide array of features like fill-in-the-middle and dialog. You can also run it on HuggingChat.
Research & Innovation
사람의 피드백에 기반한 강화학습(RLHF) 설명 문서 / RLHF explained by the best (25 minute read)
TLDR의 직원들은 Chip의 글을 매우 좋아합니다. 모든 블로그는 정보의 금광과도 같습니다. 이 블로그도 예외는 아니어서 오늘날 AI 분야에서 가장 뜨거운 주제 중 하나를 아주 자세하게 다루고 있습니다. RLHF는 사람의 피드백을 통한 강화 학습의 약자입니다. 이는 언어 모델이 불확실성을 표현하도록 하고 인간이 원하는 것과 더 일치하도록 텍스트를 생성하는 방식을 변경하는 방법입니다. 이 방법은 까다롭고 제대로 구현하기가 어렵습니다.
We here at TLDR are huge fans of Chip's writing. Every blog is a gold mine of information. This one is no different, covering one of the hottest topics in AI today in great detail. RLHF stands for Reinforcement learning from human feedback. It's a way to get a language model to express uncertainty and change the way it produces text to be more in-line with what humans want. It's tricky and hard to get right.
최상의 작은 모델을 얻기 위한 증류 또는 주석 달기 / Distill or Annotate to get the best small model (23 minute read)
언어 모델을 훈련할 때는 클수록 좋은 경우가 많습니다. 하지만 프로덕션에서 사용하고자 할 때는 작은 것이 더 좋습니다. 더 작은 모델을 더 큰 모델의 성능에 맞출 수 있도록 모델을 축소하거나 더 많은 데이터에 주석을 달아 더 작은 모델을 조정할 수 있습니다. 가중치를 제거하는 등 모델을 추출하는 데는 비용이 많이 들지만, 작은 모델을 더 많이 학습시키는 것보다 비용 효율이 더 높은 경우가 많습니다.
When you want to train a language model, often bigger is better. When you want to use one in production, smaller wins out. To get a smaller model to match the performance of a larger one we can either distill the model down or annotate more data to further tune the smaller model. Even though distilling the model (e.g., by removing weights) is pretty expensive - it's often more cost effective than trying to train the smaller model more.
글꼴 색상을 사용하여 이미지 생성 제어 / Use your font color to control image generation (3 minute read)
이 연구에서 연구원들은 글꼴 크기, 색상, 스타일, 각주 등 서식 있는 텍스트에 있는 다양한 서식 요소를 사용하여 텍스트에서 이미지를 생성하는 방법을 조사합니다. 이러한 접근 방식을 사용하면 긴 텍스트 프롬프트로 작업할 때 로컬 스타일을 쉽게 제어하고, 정확한 색상을 생성하며, 추가 정보를 제공할 수 있습니다. 연구진은 서식 있는 텍스트의 이러한 측면을 활용하여 텍스트를 이미지로 변환하는 프로세스를 효과적이고 효율적으로 개선하는 것을 목표로 합니다.
In this study, the researchers investigate the use of various formatting elements found in rich text, such as font size, color, style, and footnotes, for generating images from text. Their approach allows for easy control of local styles, accurate color creation, and additional information when working with lengthy text prompts. By utilizing these aspects of rich text, the researchers aim to enhance the process of turning text into images effectively and efficiently.
Engineering & Resources
노트북에서의 ML 통합 가시성 / ML observability from your notebook (GitHub Repo)
데이터 드리프트, 모델 드리프트, 모델 성능 또는 사람의 선호도! 모두 실제 시스템을 배포하는 데 중요하지만 제대로 파악하기는 어렵습니다. 이 깔끔한 도구가 도움이 될 수 있습니다. 프로덕션 환경에서 모델과 데이터에 대한 다양한 메트릭을 추적할 수 있는 노트북 기반 방법입니다.
Data drift, model drift, model performance, or human preference! It's all important for deploying real world systems, but it's hard to get right. This is a neat tool that could help. It's a notebook based way to track different metrics about your models and data in production.
DeepDoctection은 딥 러닝 모델을 사용하여 문서 추출 및 문서 레이아웃 분석 작업을 오케스트레이션하는 Python 라이브러리입니다.
DeepDoctection is a Python library that orchestrates document extraction and document layout analysis tasks using deep learning models.
데이터베리는 기술적 지식이 없어도 개인 데이터에 대한 시맨틱 검색 시스템을 빠르게 설정할 수 있는 사용자 친화적인 솔루션을 제공합니다.
Databerry provides a user-friendly solution to quickly setup a semantic search system over your personal data without any technical knowledge.
새로운 시각 언어 AI 모델을 만드는 데는 많은 비용과 시간이 소요될 수 있지만, 연구원들은 기존 모델에서 일부를 전송하여 더 저렴하게 만들 수 있는 방법을 발견했습니다. VPGTrans라고 불리는 이 새로운 방법은 훨씬 빠르고 데이터 사용량이 훨씬 적기 때문에 큰 비용을 들이지 않고도 강력한 AI 모델을 쉽게 만들 수 있습니다.
Creating new vision-language AI models can be very expensive and time-consuming, but researchers found a way to make it cheaper by transferring parts from existing models. The new method, called VPGTrans, is much faster and uses way less data, making it easier to create powerful AI models without breaking the bank.
Miscellaneous
Open pass@20 code model from Replit (HuggingFace)
최근 모자이크 ML 플랫폼에 대해 많은 화제가 있었습니다. 이 모델은 그 크기에 비해 놀라울 정도로 성능이 뛰어난 이 플랫폼의 인공물 중 하나입니다. 이 모델은 Replit으로 이직한 전직 구글 프로그램 합성 담당자들이 훈련한 것입니다. 이 모델은 표준 HumanEval 벤치마크에서 더 큰 모델과 매우 경쟁력 있는 성능을 보여줍니다.
There has been a lot of buzz recently around the mosaic ML platform. This model, which is surprisingly capable for its size, is one artifact of that platform. It was trained by former Google program synthesis folks who have moved to Replit. It gets very competitive performance with larger models on the standard HumanEval benchmark.
구글, AI 연구 공유 중단 / Google To Stop Sharing AI Research (4 minute read)
ChatGPT의 출시로 인해 Google은 AI 연구원들에게 제품이 출시될 때까지 연구 결과의 공개를 중단할 것을 명령했습니다.
Due to the release of ChatGPT, Google has ordered its AI researchers to stop publishing their work until only after products are released.
StarCoder Released (3 minute read)
테크크런치에서 허깅 페이스와 ServiceNow의 협업으로 무료 코드 생성 AI 모델이 탄생했다고 보도했습니다. 이 모델은 코드를 자동으로 생성하여 개발자를 지원함으로써 코드를 처음부터 작성하는 데 필요한 시간과 노력을 줄이는 것을 목표로 합니다. 이 파트너십은 소프트웨어 개발 프로세스를 간소화하여 개발자의 효율성을 높이는 동시에 생성된 코드의 품질을 유지하는 것을 목표로 합니다. 이번 출시는 생산성을 높이고 혁신을 촉진하기 위해 다양한 산업 분야에서 AI 기반 도구를 통합하는 추세가 증가하고 있음을 의미합니다.
TechCrunch reports on a collaboration between Hugging Face and ServiceNow, resulting in a free, code-generating AI model. The model aims to assist developers by automatically generating code, thereby reducing the time and effort needed to write code from scratch. The partnership seeks to streamline the software development process, making it more efficient for developers while maintaining the quality of the code generated. This release signifies the growing trend of incorporating AI-powered tools in various industries to enhance productivity and foster innovation.
Quick Links
구글, 바드를 픽셀 단말기에 탑재 준비 중 / Google Working To Bring Bard To Pixel Phones (1 minute read)
구글은 곧 출시될 자사 기기 전용 홈 화면 위젯을 시작으로 픽셀 폰과 태블릿에서 바드 AI에 더 쉽게 액세스할 수 있도록 준비 중입니다.
Google is preparing to make its Bard AI easier to access on Pixel phones and tablets, starting with an upcoming homescreen widget exclusive to the company’s devices.
사용자 경험의 핵심에 AI를 통합하는 데 중점을 둔 Slack의 최신 업데이트에 대해 TechCrunch가 보도합니다. 이 업데이트는 사용자가 워크로드를 보다 효율적으로 관리할 수 있도록 도와주는 AI 기반 기능을 활용하여 생산성을 향상하는 것을 목표로 합니다. 여기에는 작업 우선순위 지정, 스마트한 제안, 향상된 검색 기능 등이 포함될 수 있습니다. Slack은 플랫폼에 AI를 통합함으로써 첨단 기술을 활용하여 사용자 경험을 개선하고 직장에서 사람들이 협업하는 방식을 최적화하기 위한 노력을 보여주고 있습니다.
TechCrunch reports on Slack's latest updates, which focus on integrating AI into the core of the user experience. These updates aim to enhance productivity by leveraging AI-driven features that help users manage their workloads more efficiently. This could include task prioritization, smart suggestions, and improved search capabilities. By incorporating AI into its platform, Slack is demonstrating its commitment to harnessing advanced technologies to improve user experience and optimize the way people collaborate in the workplace.
패스트컴퍼니는 학습 비영리 단체인 칸 아카데미가 "칸미고"라는 GPT 버전을 시범 운영하고 있다고 보도했습니다. 이 AI 기반 도구는 개인화된 피드백을 제공하고, 질문에 답하고, 다양한 주제에 대한 설명을 제공함으로써 학생들의 학습을 지원하는 것을 목표로 합니다. 칸 아카데미의 목표는 GPT와 같은 AI 기술을 활용하여 교육에 대한 접근성과 참여도를 높이는 것입니다. 칸 아카데미는 AI를 플랫폼에 통합함으로써 학습 경험을 향상시키고 전 세계 학생들이 교육 문제를 극복할 수 있도록 돕고자 합니다.
Fast Company reports that the learning nonprofit Khan Academy is piloting a version of GPT called "Khanmigo." The AI-powered tool aims to assist students with learning by providing personalized feedback, answering questions, and offering explanations on various subjects. Khan Academy's goal is to make education more accessible and engaging by leveraging AI technology like GPT. By incorporating AI into its platform, Khan Academy hopes to enhance the learning experience and help students worldwide overcome educational challenges.
오디오펜은 구조화되지 않은 음성 메모를 명확하게 요약된 텍스트로 변환합니다. 메시지, 이메일, 블로그 게시물 등을 짧은 시간에 작성하는 데 사용할 수 있습니다.
AudioPen will transform your unstructured voice note into clearly summarized text. Use it to write messages, emails, blog posts, and more in a fraction of the time.