# \#cde-small-v1

**URL:** https://discuss.pytorch.kr/tag/cde-small-v1/3850.md

[최신](https://discuss.pytorch.kr/latest.md) · [카테고리](https://discuss.pytorch.kr/categories.md) · [태그](https://discuss.pytorch.kr/tags.md)

---

## [Contextual Document Embeddings: 문맥 기반 문서 임베딩 기법(CDE)에 대한 연구](https://discuss.pytorch.kr/t/contextual-document-embeddings-cde/5309)

<div class="topic-metadata">

**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\
**댓글:** 0\
**마지막 업데이트:** [10월 9, 2024, 7:22오전 UTC](https://discuss.pytorch.kr/t/contextual-document-embeddings-cde/5309 "2024-10-09T07:22:46Z")

</div>

CDE(Contextual Document Embeddings) 모델 소개 문서 검색에서 문서 임베딩(Document Embedding)은 텍스트 데이터를 잠재 공간에 임베딩하여 문서와 질의 간의 유사도를 계산하는 중요한 요소입니다. 기존의 신경망 기반 임베딩 방식은 개별 문서만을 인코딩해 문맥을 고려하지 못하는 한계가 있습니다. Contextual Document Embeddings라는 제목의 이 연구는 문서 주변의 문맥 정보를 활용하여 문서 임베딩 성능을 개선하는 방법을 활용하여 문맥 기반 문서 임베딩(Contextual Document Embedding, CDE)을 제안하고 있습니다. CDE 연구에 영향을 준 임베딩에 대한 기존의 연구들을 살펴보면, 크게 다음의 4가지로 나누어 볼 수 있습니다: 문서 검색(Text Retrieval): 전통적으로 단어 빈도 등을 활용한 통계적 방법이 사용되어 왔습니다. BM25와 같은 초기 텍스트 검색 시스템에서 활용한 통계적 모델은 \*\*n-그램 빈도(n-gram TF; Term Frequency)\*\*와 역문서 빈도(IDF; Inverse Document Frequency)를 통해 특정 단어의 중요도를 평가했습니다. 최근에는 신경망 기반 이중 인코더(Bi-encoder) 방식이 발전하면서, 문서와 사용자 질의(Query)를 밀집 벡터 공간으로 변환하여 더 나은 성능을 보이고 있습니다. DPR(Dense Passage Retrieval), GTR(Generalized Text Representations) 등과 같은 방법은 문서의 의미는 더 잘 반영하는 임베딩을 생성할 수 있지만, 각 문서를 독립적으로 처리하고 있기 때문에 전체적인 문맥을 반영하지는 못한다는 한계가 있습니다. 대조 학습(Contrastive Learning): 대조 학습은 \*\*양성 샘플(예. 서로 유사한 항목들)\*\*과 음성 샘플(예. 서로 다른 항목들) 간의 차이를 극대화하여 임베딩을 학습하는 방법입니다. 이러한 과정을 통해 비슷한 항목은…
