# \[GN\] ONE-PEACE: 무제한 멀티 모달리티를 위한 일반 표현 모델

**URL:** <https://discuss.pytorch.kr/t/gn-one-peace/1625>\
**Category:** 읽을거리&정보공유\
**Tags:** multimodal, one-peace, emergent-zero-shot, geeknews\
**Created:** [5월 24, 2023, 6:15오전 UTC](https://discuss.pytorch.kr/t/gn-one-peace/1625 "2023-05-24T06:15:02Z")\
**Posts on this page:** 2\
**Page:** 1

<div class="post-metadata">

**Author:** ![9bow](https://discuss.pytorch.kr/user_avatar/discuss.pytorch.kr/9bow/32/16301_2.png) [@9bow](https://discuss.pytorch.kr/u/9bow)\
**Post date:** [5월 24, 2023, 6:15오전 UTC](https://discuss.pytorch.kr/t/gn-one-peace/1625/1 "2023-05-24T06:15:03Z")

</div>

_[GeekNews](https://news.hada.io/)의 [xguru](https://news.hada.io/user?id=xguru)님께 허락을 받고 GN에 올라온 글들 중에 AI 관련된 소식들을 공유하고 있습니다. 😺_

* * *

### 소개

[![image](https://discuss.pytorch.kr/uploads/default/original/2X/b/b3cc356c7aa4046a2e2175bf3f9e188669e0b424.jpeg)](https://github.com/OFA-Sys/ONE-PEACE)

- 비젼, 오디오, 언어 모달리티를 모두 아우르는 General Represenation Model
- 사전학습된 모델 없이도 통합된 작업들에 훌륭한 결과를 냄
- 강력한 Emergent Zero-shot Retrieval로 훈련 데이터에서 페어링 되지 않은 모달리티를 얼라인 가능
- Audio-to-Image, Audtio+Text-to-Image, Audio+Image-to-Image

### 원문

[![image](https://discuss.pytorch.kr/uploads/default/original/2X/e/e7a0eb5a55c0aa386dcff73ef2e4597a788b2da2.png)](https://github.com/OFA-Sys/ONE-PEACE)

[![image](https://discuss.pytorch.kr/uploads/default/original/2X/f/fc2b26be779379cd07fd7f52f3a56061a193006b.jpeg)](https://github.com/OFA-Sys/ONE-PEACE)

> **[GitHub - OFA-Sys/ONE-PEACE: A general representation model across vision,...](https://github.com/OFA-Sys/ONE-PEACE)**
>
> A general representation model across vision, audio, language modalities. Paper: ONE-PEACE: Exploring One General Representation Model Toward Unlimited Modalities

### 출처 / [GeekNews](https://news.hada.io/topic?id=9249)

> **[ONE-PEACE: 무제한 멀티 모달리티를 위한 일반 표현 모델 | GeekNews](https://news.hada.io/topic?id=9249)**
>
> 비젼, 오디오, 언어 모달리티를 모두 아우르는 General Represenation Model사전학습된 모델 없이도 통합된 작업들에 훌륭한 결과를 냄강력한 Emergent Zero-shot Retrieval로 훈련 데이터에서 페어링 되지 않은 모달리티를 얼라인 가능Audio-to-Image, Audtio+Text-to-Image, Audio+Image-t

---

<div class="post-metadata">

**Author:** ![9bow](https://discuss.pytorch.kr/user_avatar/discuss.pytorch.kr/9bow/32/16301_2.png) [@9bow](https://discuss.pytorch.kr/u/9bow)\
**Post date:** [5월 24, 2023, 6:21오전 UTC](https://discuss.pytorch.kr/t/gn-one-peace/1625/2 "2023-05-24T06:21:52Z")

</div>

어제 소개드렸던 TLDR AI 뉴스에도 포함된 내용인데요,

> [@\[TLDR\] 오늘의 AI 뉴스 2023-05-22: 메타의 AI 하드웨어 플레이robot, G7 - 인공지능 규제 촉구balance\_scale, 슈퍼 언어 번역기 mLongT5🗣️](https://discuss.pytorch.kr/t/tldr-ai-2023-05-22-ai-g7-mlongt5/1617#one-peace-one-peace-an-all-rounder-model-for-vision-audio-and-language-tasks-github-repohttpsgithubcomofa-sysone-peaceutm_sourcetldrai-7):
>
> [파이토치 한국 사용자 모임](https://discuss.pytorch.kr/)에서는 [TLDR 뉴스레터](https://tldr.tech/api/latest/ai)의 승인을 받아 AI 소식을 [DeepL로 번역](https://deepl.com/)하여 전합니다. star_struck 더 많은 AI 소식 및 정보를 공유하고 함께 성장하고 싶으시면 [파이토치 한국 사용자 모임](https://discuss.pytorch.kr/)에 방문해주세요! robot[[TLDR-AI 뉴스 레터 썸네일]](https://discuss.pytorch.kr/tag/tldr-ai)rocket 주요 뉴스 & 신규 출시 소식 / Headlines & Launches [G7, AI 규제 촉구 / G7 Calls For AI Regulation (1 minute read)](https://economictimes.indiatimes.com/tech/technology/g7-calls-for-adoption-of-international-technical-standards-for-ai/articleshow/100376206.cms?utm_source=tldrai) 지난 토요일 주요 7개국(G7) 지도자들은 신뢰할 수 있는 인공지능(AI)을 위한 국제 기술 표준의 개발과 채택을 촉구했습니다. Leaders of the Group of Seven (G7) nations on Saturday called for the development and adoption of international technical standards for trustworthy artif…

ONE-PEACE 논문은 아래에서,

> **[ONE-PEACE: Exploring One General Representation Model Toward Unlimited...](https://arxiv.org/abs/2305.11172)**
>
> In this work, we explore a scalable way for building a general representation model toward unlimited modalities. We release ONE-PEACE, a highly extensible model with 4B parameters that can seamlessly align and integrate representations across vision,...

이미지를 기준으로 하나의 Vector Space에 멀티 모달의 임베딩을 정렬해서 올리는 Meta의 ImageBind 블로그 글과 논문은 아래에서 읽어보실 수 있습니다.

> **[ImageBind: Holistic AI learning across six modalities](https://ai.meta.com/blog/imagebind-six-modalities-binding-ai/)**
>
> ImageBind is the first AI model capable of binding information from six modalities.

> **[ImageBind: One Embedding Space To Bind Them All](https://arxiv.org/abs/2305.05665)**
>
> We present ImageBind, an approach to learn a joint embedding across six different modalities - images, text, audio, depth, thermal, and IMU data. We show that all combinations of paired data are not necessary to train such a joint embedding, and only...

ImageBind에 대해서는 아래 글에서도 정리해서 소개하고 있으니 바쁘신 분들께서는 위 Meta의 블로그와 아래 블로그 글을 보시는 것을 추천드립니다 😀

[https://medium.com/@ignacio.de.gregorio.noblejas/imagebind-c63e4967d67c?utm\_source=tldrai](https://medium.com/@ignacio.de.gregorio.noblejas/imagebind-c63e4967d67c?utm_source=tldrai)

_(아래 TLDR 뉴스에서 소개되었던 글입니다)_

> [@\[TLDR\] 오늘의 AI 뉴스 2023-05-16: 레드파마자의 Together, $20M 시드 투자seedling, OpenAI의 해자castle, Video QAvideo\_camera](https://discuss.pytorch.kr/t/tldr-ai-2023-05-16-together-20m-openai-video-qa/1565#meta-imagebind-unveiling-imagebind-7-minute-readhttpsmediumcomignaciodegregorionoblejasimagebind-c63e4967d67cutm_sourcetldrai-13):
>
> [파이토치 한국 사용자 모임](https://discuss.pytorch.kr/)에서는 [TLDR 뉴스레터](https://tldr.tech/api/latest/ai)의 승인을 받아 AI 소식을 [DeepL로 번역](https://deepl.com/)하여 전합니다. smiley 더 많은 AI 소식 및 정보를 공유하고 함께 성장하고 싶으시면 [파이토치 한국 사용자 모임](https://discuss.pytorch.kr/)에 방문해주세요! folded_hands[[TLDR-AI 뉴스 레터 썸네일]](https://discuss.pytorch.kr/news)rocket 주요 뉴스 & 신규 출시 소식 / Headlines & Launches [투게더 컴퓨트(Together compute), 2천만 달러 시드 라운드 투자 / Together compute $20m seed round (2 minute read)](https://www.together.xyz/blog/seed-funding?utm_source=tldrai) (RedPajama를 만든) 투게더 컴퓨트는 무엇보다도 효율적인 머신 러닝을 위한 클라우드 플랫폼을 구축하고 있습니다. 강력한 학계 인맥과 뛰어난 재능을 갖춘 기술자들을 보유하고 있어 생태계에 매우 유용한 도구를 구축할 가능성이 높습니다. 현재까지 주목할 만한 작업 중 하나는 Llama를 학습시키는 데 사용된 폐쇄형 데이터 세트의 개방…
