# \#context-embeddings **URL:** https://discuss.pytorch.kr/tag/context-embeddings/3452.md [최신](https://discuss.pytorch.kr/latest.md) · [카테고리](https://discuss.pytorch.kr/categories.md) · [태그](https://discuss.pytorch.kr/tags.md) --- ## [Contextual Document Embeddings: 문맥 기반 문서 임베딩 기법(CDE)에 대한 연구](https://discuss.pytorch.kr/t/contextual-document-embeddings-cde/5309)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [10월 9, 2024, 7:22오전 UTC](https://discuss.pytorch.kr/t/contextual-document-embeddings-cde/5309 "2024-10-09T07:22:46Z")
CDE(Contextual Document Embeddings) 모델 소개 문서 검색에서 문서 임베딩(Document Embedding)은 텍스트 데이터를 잠재 공간에 임베딩하여 문서와 질의 간의 유사도를 계산하는 중요한 요소입니다. 기존의 신경망 기반 임베딩 방식은 개별 문서만을 인코딩해 문맥을 고려하지 못하는 한계가 있습니다. Contextual Document Embeddings라는 제목의 이 연구는 문서 주변의 문맥 정보를 활용하여 문서 임베딩 성능을 개선하는 방법을 활용하여 문맥 기반 문서 임베딩(Contextual Document Embedding, CDE)을 제안하고 있습니다. CDE 연구에 영향을 준 임베딩에 대한 기존의 연구들을 살펴보면, 크게 다음의 4가지로 나누어 볼 수 있습니다: 문서 검색(Text Retrieval): 전통적으로 단어 빈도 등을 활용한 통계적 방법이 사용되어 왔습니다. BM25와 같은 초기 텍스트 검색 시스템에서 활용한 통계적 모델은 \*\*n-그램 빈도(n-gram TF; Term Frequency)\*\*와 역문서 빈도(IDF; Inverse Document Frequency)를 통해 특정 단어의 중요도를 평가했습니다. 최근에는 신경망 기반 이중 인코더(Bi-encoder) 방식이 발전하면서, 문서와 사용자 질의(Query)를 밀집 벡터 공간으로 변환하여 더 나은 성능을 보이고 있습니다. DPR(Dense Passage Retrieval), GTR(Generalized Text Representations) 등과 같은 방법은 문서의 의미는 더 잘 반영하는 임베딩을 생성할 수 있지만, 각 문서를 독립적으로 처리하고 있기 때문에 전체적인 문맥을 반영하지는 못한다는 한계가 있습니다. 대조 학습(Contrastive Learning): 대조 학습은 \*\*양성 샘플(예. 서로 유사한 항목들)\*\*과 음성 샘플(예. 서로 다른 항목들) 간의 차이를 극대화하여 임베딩을 학습하는 방법입니다. 이러한 과정을 통해 비슷한 항목은… --- ## [\[2024/07/15 ~ 07/21\] 이번 주의 주요 ML 논문 (Top ML Papers of the Week)](https://discuss.pytorch.kr/t/2024-07-15-07-21-ml-top-ml-papers-of-the-week/4894)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [7월 22, 2024, 1:02오전 UTC](https://discuss.pytorch.kr/t/2024-07-15-07-21-ml-top-ml-papers-of-the-week/4894 "2024-07-22T01:02:57Z")
\[2024/07/15 ~ 07/21\] 이번 주의 주요 ML 논문 (Top ML Papers of the Week) PyTorchKR​:fire::south\_korea: :thinking::speech\_balloon: 이번 주에 선정된 논문들을 살펴볼 때, 큰 트렌드 중 하나는 LLMs(대규모 언어 모델)과 관련된 연구가 주를 이루고 있다는 점입니다. "Improving Legibility of LLM Outputs", "SpreadsheetLLM", "A Survey of Prompt Engineering Methods in LLMs", "Does Refusal Training in LLMs Generalize to the Past Tense?", "Can LLMs Do Retrieval and Reasoning in 1 Million Context Window?"와 같은 제목을 통해, 연구자들이 LLMs의 다양한 측면을 탐구하고 있음을 알 수 있습니다. 이는 LLMs가 인공지능 연구와 응용에 있어 중요한 분야로 자리 잡고 있음을 나타내며, 특히 이러한 모델의 효율성, 이해력, 그리고 범용성 향상에 초점이 맞춰져 있는 것으로 보입니다. 또한, 여러 논문들은 LLMs의 성능을 개선하거나 이해하기 위한 새로운 방법론들을 제안하고 있습니다. 예를 들어, "Distilling System 2 into System 1"이나 "Weak-to-Strong Reasoning"은 추론 과정과 LLMs의 결론 도출 메커니즘을 보다 효율적으로 만들고자 하는 시도를 담고 있습니다. 이는 인공지능 분야에서 추론(reasoning)과 지식 표현(knowledge representation)의 중요성이 점점 더 강조되고 있음을 시사합니다. 반면, "Beyond Euclid"는 좀 더 이론적이거나 추상적인 수학적 개념을 LLMs와 연결짓는 시도로 보이며, 이는 LLMs의 적용 범위를 확장하고자 하는 노력의 일환으로 해석될 수 있습니다. 종합하자면, 이번 주 선택된 논문들은 …