# \[GN⁺\] Jina AI, 세계 최초 오픈소스 8K 텍스트 임베딩 모델 공개

**URL:** https://discuss.pytorch.kr/t/gn-jina-ai-8k/2742
**Category:** 읽을거리&정보공유
**Tags:** jina-ai, embedding, geeknews
**Created:** [10월 27, 2023, 4:33오전 UTC](https://discuss.pytorch.kr/t/gn-jina-ai-8k/2742 "2023-10-27T04:33:25Z")
**Posts on this page:** 1
**Page:** 1

<div class="post-metadata">

### Author: ![9bow](https://discuss.pytorch.kr/user_avatar/discuss.pytorch.kr/9bow/32/16301_2.png) [@9bow](https://discuss.pytorch.kr/u/9bow)
#### Post date: [10월 27, 2023, 4:33오전 UTC](https://discuss.pytorch.kr/t/gn-jina-ai-8k/2742/1 "2023-10-27T04:33:25Z")

</div>

_[GeekNews](https://news.hada.io/?utm_source=pytorchkr)의 [xguru](https://news.hada.io/user?id=xguru&utm_source=pytorchkr)님께 허락을 받고 GN에 올라온 글들 중에 AI 관련된 소식들을 공유하고 있습니다. 😺_

* * *

## 소개

 ![Jina-AI](https://discuss.pytorch.kr/uploads/default/original/2X/e/ef869cdc77cb32ea011c1547b7be72cee57a85d8.jpeg)

- 8k(8192)개의 토큰 길이를 지원하는 텍스트 임베딩 모델 jina-embeddings-v2

- OpenAI의 text-embedding-ada-002와 경쟁하며, 벤치마크에서 분류/재순위/검색/요약 등에서 더 좋은 성능을 보임  

- 밑바닥부터 다시 만들어졌으며, 8k 컨텍스트로 다양한 분야에 이용가능 : 법률문서 분석, 의학연구, 문학 분석, 재무 예측, 대화형 AI 등

- HuggingFace에서 2개의 모델을 다운로드 가능

### [Hacker News 의견](https://news.ycombinator.com/item?id=38020109)

- Jina AI가 오픈소스 8k 텍스트 임베딩 모델을 출시하였습니다.
- 일부 사용자들은 이 모델의 성능에 의문을 제기하며, 리더보드에서 OpenAI 임베딩 및 기타 14개 기여작보다 낮은 순위를 차지했다고 지적합니다.
- 8k 컨텍스트 윈도우는 새로운 기능이지만, 특히 512 토큰 제한을 고려할 때, 일부 사용자들은 그 유용성에 의문을 제기합니다.
- 대부분의 벤치마크가 작은 문서를 다루는 반면, 더 큰 문서에서의 모델 성능에 대한 의구심이 있습니다.
- 일부 사용자들은 오픈소스 커뮤니티가 "Open"AI와의 격차를 줄이는 것에 대해 흥분을 표현합니다.
- 새 모델의 임베딩 벡터는 text-embedding-ada-002의 절반 크기(768 대 1536)로, 데이터베이스 공간을 절약하고 조회를 더 빠르게 할 수 있습니다.
- 8k 토큰 임베딩의 사용 사례에 대한 의문이 제기되며, 일부 사용자들은 이것이 RAG에는 크게 유용하지 않을 수 있다고 제안합니다.
- 한 사용자는 onnx 사용을 위해 모델을 양자화하여 transformers.js에서 파일 크기를 4배 줄였습니다.
- OpenAI의 모델과 비교되며, 이는 다국어 지원이 가능하고 다른 언어에서 동일한 의미에 대해 동일한 좌표를 계산합니다.
- 새로운 llm-embed-jina 플러그인이 LLM 도구에 배포되었으며, 이를 통해 새로운 Jina 모델에 접근할 수 있습니다.
- 일부 사용자들은 이 작업에 감명을 받았지만, 8k 임베딩을 가장 잘 사용하는 방법에 대해 의문을 제기하며, 이것이 대략적인 유사성 매칭이나 표절 탐지에 유용할 수 있다고 제안합니다.
- 칩 수출 제한 및 미국/중국 간의 긴장으로 인해, 베를린과 중국에 사무소를 두고 있는 Jina AI의 운영에 대한 우려가 있습니다.

## 원문

[https://jina.ai/news/jina-ai-launches-worlds-first-open-source-8k-text-embedding-rivaling-openai/](https://jina.ai/news/jina-ai-launches-worlds-first-open-source-8k-text-embedding-rivaling-openai/)

### Embedding-v2-Base-EN 모델 (0.27GB)

> **[jinaai/jina-embeddings-v2-base-en · Hugging Face](https://huggingface.co/jinaai/jina-embeddings-v2-base-en)**
>
> We’re on a journey to advance and democratize artificial intelligence through open source and open science.

### Embedding-v2-Small-EN 모델 (0.07GB)

> **[jinaai/jina-embeddings-v2-small-en · Hugging Face](https://huggingface.co/jinaai/jina-embeddings-v2-small-en)**
>
> We’re on a journey to advance and democratize artificial intelligence through open source and open science.

## 출처 / [GeekNews](https://news.hada.io/topic?id=11544)

> **[Jina AI, 세계 최초 오픈소스 8K 텍스트 임베딩 모델 공개 | GeekNews](https://news.hada.io/topic?id=11544)**
>
> 8192개의 토큰 길이를 지원하는 텍스트 임베딩 모델 jina-embeddings-v2OpenAI의 text-embedding-ada-002와 경쟁하며, 벤치마크에서 분류/재순위/검색/요약 등에서 더 좋은 성능을 보임밑바닥부터 다시 만들어졌으며, 8k 컨텍스트로 다양한 분야에 이용가능 : 법률문서 분석, 의학연구, 문학 분석, 재무 예측, 대화형 AI 등H