# \[GN⁺\] Word2Vec, 10년 전 ICLR 2013에서 네 번 '강력 거절' 판정 받아

**URL:** https://discuss.pytorch.kr/t/gn-word2vec-10-iclr-2013/3068
**Category:** 읽을거리&정보공유
**Tags:** embedding, word2vec, geeknews, iclr
**Created:** [12월 19, 2023, 5:02오전 UTC](https://discuss.pytorch.kr/t/gn-word2vec-10-iclr-2013/3068 "2023-12-19T05:02:02Z")
**Posts on this page:** 1
**Page:** 1

<div class="post-metadata">

### Author: ![9bow](https://discuss.pytorch.kr/user_avatar/discuss.pytorch.kr/9bow/32/16301_2.png) [@9bow](https://discuss.pytorch.kr/u/9bow)
#### Post date: [12월 19, 2023, 5:02오전 UTC](https://discuss.pytorch.kr/t/gn-word2vec-10-iclr-2013/3068/1 "2023-12-19T05:02:02Z")

</div>

_[GeekNews](https://news.hada.io/?utm_source=pytorchkr)의 [xguru](https://news.hada.io/user?id=xguru&utm_source=pytorchkr)님께 허락을 받고 GN에 올라온 글들 중에 AI 관련된 소식들을 공유하고 있습니다. 😺_

* * *

## 소개

## 효율적인 단어 표현의 벡터 공간 추정

- 연구자들은 매우 큰 데이터 세트에서 단어의 연속 벡터 표현을 계산하기 위한 두 가지 새로운 모델 아키텍처를 제안함.
- 이 표현들의 품질은 단어 유사성 작업에서 측정되며, 이전에 가장 좋은 성능을 보였던 다양한 유형의 신경망 기반 기술과 비교됨.
- 연구진은 훨씬 낮은 계산 비용으로 정확도가 크게 향상됨을 관찰함. 즉, 16억 단어 데이터 세트에서 100만 어휘에 대한 고품질 300차원 벡터를 하루 이내에 하나의 CPU로 파생시킬 수 있음.
- 또한, 이 벡터들이 단어 유사성의 다양한 유형을 측정하기 위한 테스트 세트에서 최신 성능을 제공함을 보여줌.
- 연구 커뮤니티에서 사용할 수 있도록 이 테스트 세트를 공개할 예정임.

## 의견

- 리뷰어들은 제안된 모델이 기존 모델과 어떻게 다른지, 그리고 왜 더 우수한지에 대한 명확한 동기 부여가 부족하다고 지적함.
- 모델의 설명이 최소한이며, 이전 연구와 어떻게 다른지 결정하기 어려움.
- 리뷰어들은 논문이 다양한 데이터 세트와 다른 차원에서 훈련된 모델 간의 일관성 없는 비교를 포함하고 있으며, 이는 논문의 주장을 설득력 있게 만드는 데 필요함을 강조함.

## GN⁺의 의견

- 이 연구는 단어 벡터를 효율적으로 추정하는 새로운 기법을 제안하며, 이는 자연어 처리 분야에서 중요한 발전임.
- 제안된 모델이 기존의 복잡한 신경망 모델보다 훨씬 빠르게 훈련될 수 있으며, 이는 대규모 언어 데이터를 다루는 연구에 유용할 수 있음.
- 논문은 단어 벡터의 품질을 평가하는 새로운 방법을 제시하고 있으며, 이는 향후 연구에서 단어 유사성을 측정하는 표준으로 자리잡을 가능성이 있음.

## [Hacker News 의견](https://news.ycombinator.com/item?id=38684925)

- Tomas Mikolov의 페이스북 게시물에서 word2vec에 대한 더 많은 세부사항을 확인할 수 있음.
  - 전문가들도 실수를 한다는 점이 재미있고 의미심장함.
  - Geoff Hinton과 같은 이들은 "이미 알고 있었지만 발표를 잊었다"고 말하며, Ian Goodfellow는 트위터에서 이에 대해 분노하는 등 다양한 반응이 있었음.

- 리뷰어들이 좋은 일을 했다고 생각함.
  - 리뷰는 논문의 품질에 대한 것이며, 미래에 얼마나 영향력을 미칠지에 대한 것이 아님.
  - 모든 영향력 있는 논문이 실제로 좋은 것은 아님.

- 리뷰어 f5bf의 코멘트가 흥미로움.
  - 최신 모델들(GPT, 이미지 확산 모델 등)은 단어의 이중 의미를 가지고 놀 수 있는 능력이 있음.
  - 이는 인간만의 특징으로 여겨졌지만, 이제는 생성 모델의 도구 상자에 포함됨.
  - word2vec의 모호성이 이러한 단어 놀이 능력에 기여하는지는 확실하지 않지만, 창의적 목적에는 특징이지만 엄격한 벡터 공간으로 의미 공간을 모델링하고자 할 때는 버그가 될 수 있음.

- 리뷰 과정이 새로운 아이디어에는 효과적이지 않다는 의견이 있음.
  - 새로운 것을 이해하기 위해 수많은 시간을 할애할 수 있는 사람은 없음.

- 논문의 초기 버전이 거절되었지만, 리뷰를 바탕으로 나중에 업데이트와 명확화가 이루어짐.
  - 이는 리뷰 과정이 어떻게 작동해야 하는지 보여주며, 특히 혁신적인 작업에는 더 많은 설명이 필요함.

- "강력 거부"라는 네 개의 의견이 있지만, 모두 같은 리뷰어로부터 동시에 나온 것으로 보임.
  - 왜 해당 리뷰어의 점수만 보이는지 의문임.

- 피어 리뷰의 가치에 대해 강한 의견을 제시하는 사람들 중 실제로 저자, 리뷰어, 편집자로서 피어 리뷰에 참여한 경험이 있는지 궁금함.
  - 피어 리뷰 없이 연구나 아이디어를 공유할 수 있는 많은 장소가 있음(예: arXiv/bioRxiv).

- 제목이 오해의 소지가 있다고 지적됨.
  - "강력 거부" 네 번은 단일 저자로부터 나온 것으로, openreview의 오류일 가능성이 있음.

- 리뷰 스레드는 부정적인 Show HN 스레드처럼 읽힘.
  - 논문은 초기에 일부 질문/부정적인 피드백을 받았고, 저자들은 리뷰어들에게 약간의 수정을 요청함.

- 대학 시절, 간단한 텍스트 수정 시스템을 만들고 이에 대한 논문을 제출했지만, 영어 문법 문제로 거절됨.
  - 리뷰어들에게 피드백을 요청했지만, 시스템이 수정한 "전/후" 예시를 오류로 지적받음.
  - 몇 번의 시도 끝에 포기함.

## 원문

[https://openreview.net/forum?id=idpCdOWtqXd60](https://openreview.net/forum?id=idpCdOWtqXd60)

## 더 읽어보기

> [@\[GN\] 임베딩(Embeddings)은 무엇이고 왜 중요한가요?](https://discuss.pytorch.kr/t/gn-embeddings/2757):
>
> [GeekNews](https://news.hada.io/?utm_source=pytorchkr)의 [xguru](https://news.hada.io/user?id=xguru&utm_source=pytorchkr)님께 허락을 받고 GN에 올라온 글들 중에 AI 관련된 소식들을 공유하고 있습니다. smiley_cat소개 임베딩이란? "임베딩"은 콘텐츠를 "부동 소수점 숫자의 배열"로 변환하는 것 이 배열의 핵심은 "콘텐츠 내용의 길이"에 관계없이 "배열의 크기"가 항상 같다는 것 배열의 크기는 사용하는 임베딩 모델에 의해서 결정됨 300, 1000, 1536 등 이 숫자 배열을 생각하는 가장 좋은 방법은 이걸 "매우 이상한 다차원 공간의 좌표"로 상상하는 것 왜 콘텐츠를 다차원 공간에 배치할까? 콘텐츠의 위치, 특히 근처에 있는 다른 콘텐츠를 기반으로 해당 콘텐츠에 대한 흥미로운 정보를 배울 수 있기 때문 공간에서의 위치는 임베딩 모델의 "이상한, 대부분은 이해할 수 없는 세계에 대한 이해"에 따른 콘텐츠의 "의미론적 의미(Semantic Meaning)"를 나타냄 임베드된 콘텐츠의 색상, 모양, 개념 또는 기타 모든 종류의 특성을 캡처할…

> [@머신러닝 분야의 임베딩에 대한 상세한 가이드 (The Full Guide to Embeddings in Machine Learning)](https://discuss.pytorch.kr/t/the-full-guide-to-embeddings-in-machine-learning/1708):
>
> [AI 인프라/도구 개발사 ENCORD](https://encord.com/about-us/)의 글을, 허락 하에 DeepL로 번역하여 공유합니다. [ENCORD에서 작성한 원문은 아래 링크를 눌러 보실 수 있습니다.](https://encord.com/blog/embeddings-machine-learning/)warning 이 글에는 ENCORD의 서비스를 사용하여 시각화하는 예제가 포함되어 있습니다. 머신러닝 분야의 임베딩에 대한 상세한 가이드 / The Full Guide to Embeddings in Machine Learning [Akruti Acharya, Published May 19, 2023•Edited May 19, 2023 • 6 min read](https://encord.com/author/akruti-acharya/) AI 임베딩(embedding)은 우수한 학습 데이터를 생성하여 데이터 품질을 향상시키고 수동 라벨링의 필요성을 줄입니다. 입력 데이터를 컴퓨터가 읽기 좋은 형태로 변환함으로써, 기업은 AI 기술을 활용하여 워크플로우를 혁신하고 프로세스를 간소화하며 성능을 최적화할 …

## 출처 / [GeekNews](https://news.hada.io/topic?id=12412)

> **[Word2Vec, ICLR2013에서 네 번 '강력 거절' 판정 받아 | GeekNews](https://news.hada.io/topic?id=12412)**
>
> 효율적인 단어 표현의 벡터 공간 추정연구자들은 매우 큰 데이터 세트에서 단어의 연속 벡터 표현을 계산하기 위한 두 가지 새로운 모델 아키텍처를 제안함.이 표현들의 품질은 단어 유사성 작업에서 측정되며, 이전에 가장 좋은 성능을 보였던 다양한 유형의 신경망 기반 기술과 비교됨.연구진은 훨씬 낮은 계산 비용으로 정확도가 크게 향상됨을 관찰함. 즉, 16억 단어