[TLDR] 오늘의 AI 뉴스, 2023-10-31: GPT-3.5-turbo 매개변수는 20B 🤖, AI 행정 명령 📜, 컴퓨터 비전에서의 임베딩 👓

파이토치 한국 사용자 모임에서는 TLDR 뉴스레터 의 승인을 받아 AI 소식을 DeepL로 번역 하여 전합니다. :star_struck:
더 많은 AI 소식 및 정보를 공유하고 함께 성장하고 싶으신가요? 지금 파이토치 한국어 커뮤니티에 방문해주세요! :robot:
TLDR-AI 뉴스 레터 썸네일


:rocket: 주요 뉴스 & 신규 출시 소식 / Headlines & Launches

GPT-3.5-turbo의 매개변수는 20B / GPT-3.5-turbo is 20B parameter (2 minute read)

연구원들은 코드 확산 모델을 연구하는 Microsoft 연구 그룹의 논문에서 gpt-3.5-turbo(ChatGPT의 기반이 되는 모델)가 20B 매개변수짜리 모델이라고 썼습니다. 원래 모델은 175B 매개변수라고 했으므로 그 사이 재교육 또는 증류가 있었을 수 있습니다. gpt-35-turbo

Researchers wrote that gpt-3.5-turbo (the model behind ChatGPT) is a 20B parameter model in a paper by a Microsoft research group that studies diffusion models for code. The original model was said to be 175B parameters, so there could have been retraining or distillation.

스테이블디퓨전: 열린 공감 프로젝트 발표 / Announcing The Open Empathic Project (4 minute read)

스테이블 디퓨전 그룹은 오픈 소스 AI 시스템에서 감정을 감지하는 기능을 개발하여 보다 진정한 AI와 인간의 상호 작용을 촉진하기 위한 오픈 공감 프로젝트를 시작했습니다. stablediffusion

The group behind Stable Diffusion has launched the Open Empathic project to foster emotion-detecting capabilities in open-source AI systems for more authentic AI-human interactions.

바이든, AI 행정명령 발표 / Biden Releases AI Executive Order (2 minute read)

조 바이든 대통령은 안전, 개인 정보 보호, 형평성, 소비자 보호, 혁신, 책임감 있는 정부 사용에 중점을 두고 생성형 AI를 규제하는 8가지 목표를 설명하는 행정 명령에 서명했으며, NIST와 같은 기관은 AI 표준을 개발하고 대규모 AI 모델 개발자는 안전 테스트 결과를 공유해야 합니다. ai-act

President Joe Biden signed an executive order outlining eight goals to regulate generative AI, focusing on safety, privacy, equity, consumer protection, innovation, and responsible government use, with agencies like the NIST tasked to develop AI standards and large AI model developers required to share safety test results.

:brain: 연구 & 혁신 관련 소식 / Research & Innovation

AMD 학습 2라운드 / AMD training round 2 (17 minute read)

대규모 언어 모델 트레이닝을 위한 AMD GPU 사용에 관한 MosaicML의 게시물입니다.

A post from MosaicML on using AMD GPUs for training large language models.

OpenAI의 첫 번째 RLHF 리포지토리 재현 / Reproducing OpenAI's first RLHF repository (22 minute read)

허깅페이스 팀은 최초의 RLHF 아이디어 중 일부를 소개한 OpenAI의 2019년 리포지토리를 재현했습니다. openai rlhf

The HuggingFace team reproduces a 2019 repository from OpenAI that introduced some of the first RLHF ideas.

컴퓨터 비전에서의 임베딩 사용 / Using embeddings in computer vision (12 minute read)

임베딩은 데이터에 대한 일부 정보를 나타내는 기계 판독 가능한 숫자 목록입니다. 임베딩은 신경망을 통해 데이터를 실행하고 모델의 활성화를 살펴봄으로써 점점 더 많이 얻을 수 있습니다. 이 게시물에서는 컴퓨터 비전 작업에서 CLIP을 사용하여 이 아이디어를 발전시키고 차원 축소를 사용하여 학습된 임베딩에 대해 추론하는 방법을 살펴봅니다. embedding clip

Embeddings are machine-readable lists of numbers that represent some information about a piece of data. They are increasingly obtained by running the data through a neural network and looking at the activations of the model. This post pushes that idea forward with CLIP on a computer vision task and explores how to use dimensionality reduction to reason about the learned embeddings.

(더 읽어보기 :point_right: [GN] 임베딩(Embeddings)은 무엇이고 왜 중요한가요?)

:man_technologist: 엔지니어링 및 리소스 관련 소식 / Engineering & Resources

엄청나게 빠른 위스퍼 모델 / Insanely Fast Whisper (GitHub Repo)

OpenAI의 Whisper Large v2로 300분 분량의 오디오를 10분 이내에 트랜스크립트하세요. whisper

Transcribe 300 minutes of audio in less than 10 minutes with OpenAI’s Whisper Large v2.

ICTC: 개인화된 이미지 클러스터링 / Personalized Image Clustering (GitHub Repo)

이 논문에서는 비전 언어 모델을 활용하여 사용자가 제공한 텍스트 설명을 기반으로 이미지를 정렬하는 방법인 ICTC(이미지 클러스터링 조건부 텍스트 기준)를 소개합니다.

This paper introduces Image Clustering Conditioned on Text Criteria (IC⁠TC), a method that leverages vision-language models to sort images based on user-given text descriptions.

Azure용 OpenAI 로거 / Azure OpenAI Logger (GitHub Repo)

이 프로젝트는 간단하고 배포하기 쉬운 솔루션을 만들어 Azure OpenAI 인스턴스에 통합 가시성을 추가하는 것을 목표로 합니다. 이 접근 방식은 API 관리 인스턴스를 기존 Azure OpenAI 서비스의 프록시로 추가하고, 로그/요청/응답을 애플리케이션 인사이트 인스턴스로 퍼널링합니다. 또한 로그에 쉽게 액세스할 수 있도록 미리 빌드된 쿼리를 통합 문서에 저장합니다.

This project aims to create a simple and easy to deploy solution to add observability to your Azure OpenAI instance. The approach adds an API Management instance as a proxy for your existing Azure OpenAI service, and funnels logs/requests/responses to an Application Insights instance. It also saves a prebuilt query to a workbook for easy access to logs.

:gift: 그 외 소식 / Miscellaneous

퀄컴의 차세대 스냅드래곤 3세대 칩은 AI 기능으로 가득합니다 / Qualcomm’s Next Big Snapdragon Chip Is Full Of AI Features (2 minute read)

삼성 갤럭시 S24에 탑재될 예정인 퀄컴의 곧 출시될 스냅드래곤 8 3세대 칩은 고급 AI 카메라 도구와 향상된 처리 속도를 강조합니다.

Qualcomm's upcoming Snapdragon 8 Gen 3 chip, set to debut in Samsung’s Galaxy S24, emphasizes advanced AI camera tools and enhanced processing speeds.

Apple과 AI / Apple And AI (2 minute read)

애플은 특히 구글이나 마이크로소프트와 같은 경쟁사에 비해 AI 발전이 뒤쳐져 있으며, 애플 내부자들 사이에서는 애플의 AI/ML 팀이 제대로 된 성과를 낼 수 있을지에 대한 의구심이 있습니다. apple

Apple is lagging in AI advancements, especially when compared to competitors like Google and Microsoft, and there are doubts among Apple insiders that its AI/ML team can deliver.

AI의 대부들, AI 위험 완화를 위한 프레임워크 제안 / AI Godfathers Propose Framework To Mitigate AI Risks (3 minute read)

AI 선구자인 요슈아 벤지오와 제프리 힌튼은 22명의 다른 AI 전문가들과 함께 AI 안전을 강조하는 정책 프레임워크를 제안하고 기업과 정부가 AI R&D 예산의 3분의 1을 안전 노력에 할당할 것을 권고했습니다. ai-risk

AI pioneers Yoshua Bengio and Geoffrey Hinton, along with 22 other AI experts, have proposed a policy framework emphasizing AI safety and have recommended that companies and governments allocate a third of their AI R&D budget to safety efforts.

:zap: 더 읽어보기 / Quick Links

마그네틱 / Magnetic (GitHub Repo)

대규모 언어 모델을 Python 코드에 쉽게 통합할 수 있습니다.

Easily integrate Large Language Models into your Python code.

FlowRL (Product)

실시간의 AI 기반 개인화 UI.

Realtime UI personalization, powered by AI.

AI 스택의 반감기 / The Half-Life of the AI Stack (2 minute read)

AI의 인프라 계층은 하드웨어 개발 가속화, 치열한 최적화 경쟁, 빠르게 진행되는 연구, 긴 피드백 주기, 다른 계층의 모호성, 인프라 구성 요소의 상품화 등으로 인해 빠르게 변화하고 있습니다. llm-in-production

The infrastructure layer in AI is rapidly changing due to accelerated hardware development, fierce optimization competition, fast-paced research, long feedback cycles, ambiguity in other layers, and the commoditization of infrastructure components.

(광고) Labelbox에서 파운데이션 모델 리드 엔지니어 채용 / Labelbox is hiring a Foundation Models Lead Engineer (San Francisco, $170k-$215k + equity)

Labelbox는 데이터 중심 AI 애플리케이션을 구축하기 위한 플랫폼입니다. 기초 모델 리더는 Walmart, Adobe와 같은 고객의 실제 문제에 기초 모델을 적용하기 위한 연구 및 개발을 주도합니다. 더 알아보기

Labelbox is a platform for building data-centric AI applications. As the Foundation Models Lead, you will lead research and development for applying foundation models to real world problems for customers like Walmart and Adobe. Learn more