PyTorchKR이 정리한 오늘의 주요 AI/ML 소식들 @ 2023-12-13: Mixtral 8x7B, Phi2, 생성형 AI에서의 VectorDB

[9bow (박정환)]

파이토치 한국 사용자 모임이 한땀한땀 정리한 오늘의 주요 AI/ML 소식들을 전해드립니다.

Mistral AI, 새로운 SMoE 언어모델 Mixtral 8x7B 출시

• Mistral AI가 Mixtral 8x7B라는 새로운 언어 모델을 출시했습니다. 이 새로운 형태의 모델은 SMoE(Sparse Mixture-of-Experts) 방식을 채택하여, 8개의 7B 모델 중 최적의 2개 모델을 선택하여 다음 토큰을 추론하는 방식으로 동작합니다. 하나의 대규모 모델보다는 더 빠르고 좋은 결과를 보인다고 설명합니다. OpenAI의 GPT-4도 이러한 SMoE과 유사한 구조로 동작할 것으로 추측하고 있습니다.

• 더 읽어보기:

  • 출시 공지: Mixtral of experts | Mistral AI | Open source models
  • [GN⁺] Mistral AI, Llama 2 70B 모델보다 뛰어난 Mixtral 8x7B 모델 공개
  • 관련 태그: mistral-ai mixture-of-experts mistral-7b llm

Microsoft의 새로운 소형 언어 모델, Phi-2 출시

• Microsoft는 Phi-2라는 새로운 언어 모델을 공개했습니다. 지난 Ignite 행사에서 발표했던 이 모델은 2.7B의, 상대적으로 작은 크기임에도 특정 영역에서 Llama 2 7B 및 Mistral 7B 모델을 능가하며, 13B 크기 미만의 모델들 중 가장 좋은 성능을 자랑합니다. Google의 최신 Gemini Nano 2 모델보다도 성능이 우수하다고 합니다.

• 더 읽어보기:

  • 출시 공지: https://www.microsoft.com/en-us/research/blog/phi-2-the-surprising-power-of-small-language-models/
  • [GN] Microsoft AI Ignite 이벤트 발표 제품들 요약 (영문/YouTube)
  • 관련 태그: microsoft phi-2 small-llm

생성형 AI에서의 Vector Database

• 벡터 데이터베이스는 생성형 AI의 미래를 형성하는 중요한 역할을 합니다. VectorDB는 수학적 표현으로 데이터를 저장하고, AI 모델이 입력을 기억하고 인지 검색, 추천, 텍스트 생성 등을 수행하는데 용이합니다. 벡터 임베딩은 고차원 벡터로 데이터를 조직하며, 각 차원은 데이터 객체의 특정 특성을 나타냅니다. 이러한 벡터 임베딩은 정보 검색, 유사성 검색 작업, 분류 및 클러스터링, 추천 시스템, 감정 분석 등에 사용됩니다. 아래 글에서 더 자세한 내용을 읽어보실 수 있습니다.

• 더 읽어보기:

  • Vector Databases in Generative AI Solutions
  • 머신러닝 분야의 임베딩에 대한 상세한 가이드 (The Full Guide to Embeddings in Machine Learning)
  • 벡터 유사도 검색이 무엇인가요? (What is Vector Similarity Search?)
  • [GN] 임베딩(Embeddings)은 무엇이고 왜 중요한가요?
  • 관련 태그: vector-database vector-search embedding

---

오늘의 주요 소식이 유용하셨나요?

아래쪽에 좋아요를 눌러주시면 뉴스 발행에 힘이 됩니다~