# \#mistral-ai

**URL:** https://discuss.pytorch.kr/tag/mistral-ai/609.md

[최신](https://discuss.pytorch.kr/latest.md) · [카테고리](https://discuss.pytorch.kr/categories.md) · [태그](https://discuss.pytorch.kr/tags.md)

---

## [Magistral: Mistral AI가 공개한 첫번째 추론(reasoning) 특화 모델](https://discuss.pytorch.kr/t/magistral-mistral-ai-reasoning/7086)

<div class="topic-metadata">

**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\
**댓글:** 0\
**마지막 업데이트:** [6월 11, 2025, 9:30오전 UTC](https://discuss.pytorch.kr/t/magistral-mistral-ai-reasoning/7086 "2025-06-11T09:30:26Z")

</div>

Magistral 모델 소개 Mistral AI가 처음으로 “추론(reasoning)” 중심으로 설계된 언어 모델 Magistral을 발표했습니다. 이 모델은 복잡한 다단계 사고, 도메인 특화 지식, 다국어 대응, 그리고 감사 가능한 투명한 추론 과정을 제공함으로써 LLM의 한계를 뛰어넘으려는 중요한 시도입니다. 특히 오픈소스로 공개된 Magistral Small은 실험과 연구, 다양한 프로젝트 적용에 이상적입니다. 기존의 언어 모델은 주로 다음 토큰을 예측하는 방식으로 작동하며, 인간처럼 생각하고 추론하는 능력에는 한계가 있었습니다. Magistral은 이런 한계를 극복하기 위해 체계적인 논리 전개와 멀티스텝 추론을 가능하게 하는 구조로 개발됐습니다. Magistral은 다음과 같은 세 가지 문제를 해결하고자 합니다: 도메인 특화 깊이 부족 추론 과정의 불투명성 언어별 일관성 없는 사고 품질 Mistral은 이러한 한계를 극복하기 위해, 인간처럼 사고하는 방식(다단계 사고, 불확실성 포함, 규칙 기반 추론 등)을 모사하는 Magistral을 개발했고, 이 모델은 오픈 버전(Magistral Small)과 엔터프라이즈용(Magistral Medium)으로 제공됩니다. Magistral 기술 문서 읽어보기 https://mistral.ai/static/research/magistral.pdf Magistral Small 소개 Magistral Small은 Mistral AI가 개발한 최초의 추론(reasoning) 특화 언어 모델 Magistral의 오픈소스 버전입니다. 총 240억(24B) 파라미터 규모의 이 모델은 Apache 2.0 라이선스로 공개되어 누구나 자유롭게 분석, 수정, 재배포가 가능합니다. 이 모델은 다단계 논리 전개가 가능한 Chain-of-Thought 기반 구조를 내장하고 있으며, 논리적 사고가 필요한 분야에서 기존 LLM이 가지는 한계를 극복하는 데 집중합니다. Magistral Sma…

---

## [Devstral: 오픈소스 코딩 에이전트를 위한 새로운 LLM (feat. Mistral AI)](https://discuss.pytorch.kr/t/devstral-llm-feat-mistral-ai/6981)

<div class="topic-metadata">

**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\
**댓글:** 0\
**마지막 업데이트:** [5월 21, 2025, 10:30오후 UTC](https://discuss.pytorch.kr/t/devstral-llm-feat-mistral-ai/6981 "2025-05-21T22:30:39Z")

</div>

Devstral 소개 프랑스의 AI 스타트업 Mistral AI가 All Hands AI와 협력하여 새로운 오픈소스 코딩 에이전트 모델인 Devstral을 공개했습니다. 이 모델은 SWE-Bench Verified 벤치마크에서 46.8%의 점수를 기록하며 기존의 오픈소스 모델들을 능가하는 성능을 보여주고 있습니다. 또한, RTX 4090 GPU나 32GB RAM을 가진 Mac에서도 실행 가능하여 로컬 환경에서도 활용할 수 있습니다. Mistral AI는 2025년 5월 21일, 소프트웨어 엔지니어링 작업을 위한 에이전트형 LLM인 Devstral을 발표했습니다. 이 모델은 All Hands AI와의 협력을 통해 개발되었으며, 실제 GitHub 이슈를 해결하도록 훈련되었습니다. Devstral은 코드베이스 탐색, 다중 파일 편집, 복잡한 함수 내의 미묘한 버그 식별 등 실제 소프트웨어 개발 작업에 필요한 능력을 갖추고 있습니다. 또한, OpenHands나 SWE-Agent와 같은 코드 에이전트 스캐폴드를 통해 실행되며, SWE-Bench Verified 벤치마크에서 46.8%의 점수를 기록하여 기존 오픈소스 모델들을 능가하는 성능을 보여주고 있습니다. Devstral은 기존의 오픈소스 모델인 Deepseek-V3-0324(671B)와 Qwen3 232B-A22B보다 우수한 성능을 보여주고 있습니다. 또한, GPT-4.1-mini와 같은 폐쇄형 모델보다도 20% 이상 높은 성능을 기록하고 있습니다. 이러한 성능은 Devstral이 실제 소프트웨어 엔지니어링 작업에 적합하도록 설계되었음을 보여줍니다. Devstral의 주요 특징 에이전트형 LLM: Devstral은 코드베이스 탐색, 다중 파일 편집, 복잡한 함수 내의 미묘한 버그 식별 등 실제 소프트웨어 개발 작업에 필요한 능력을 갖추고 있습니다. 고성능: SWE-Bench Verified 벤치마크에서 46.8%의 점수를 기록하여 기존 오픈소스 모델들을 능가하는 성능을 보여줍니다. 로컬 실행…

---

## [Mistral OCR, Mistral이 공개한 문서 인식 API](https://discuss.pytorch.kr/t/mistral-ocr-mistral-api/6301)

<div class="topic-metadata">

**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\
**댓글:** 0\
**마지막 업데이트:** [3월 7, 2025, 9:30오전 UTC](https://discuss.pytorch.kr/t/mistral-ocr-mistral-api/6301 "2025-03-07T09:30:30Z")

</div>

Mistral OCR 소개 Mistral AI가 강력한 문서 인식 API인 Mistral OCR을 공개했습니다. 기존 OCR보다 더 정밀하고 빠르게 문서를 분석할 수 있으며, 텍스트뿐만 아니라 표, 이미지, 수식까지도 정확히 인식하는 것이 특징입니다. 특히 다국어 지원이 뛰어나며, 기업 및 연구기관에서 활용도가 높을 것으로 기대됩니다. 현재 세계 조직 데이터의 약 90%가 문서 형태로 저장되어 있으며, Mistral OCR을 사용하여 이 잠재력을 극대화할 수 있을 것으로 기대합니다. Mistral OCR은 문서 이해의 새로운 기준을 세우는 광학 문자 인식(OCR, Optical Character Recognition) API입니다. 다른 모델과 달리 Mistral OCR은 문서의 각 요소—미디어, 텍스트, 표, 수식—를 전례 없는 정확도와 이해력으로 분석합니다. 이미지를 비롯한 PDF를 입력으로 받아 순차적으로 배열된 텍스트 및 이미지를 추출합니다. 이러한 특징 덕분에 Mistral OCR은 다중 모드 문서(예: 슬라이드나 복잡한 PDF)를 입력으로 활용하는 RAG 시스템과 결합하기에 이상적인 모델입니다. Mistral OCR은 Le Chat의 수백만 사용자에게 제공되는 문서 이해의 기본 모델로 설정했으며, API(mistral-ocr-latest)를 1,000페이지/$로 제공하고 있습니다(배치 추론을 통해 페이지당 비용이 절반 수준으로 절감). 이 API는 현재 la Plateforme에서 사용할 수 있으며, 곧 클라우드 및 추론 파트너뿐만 아니라 온프레미스(on-premises) 환경에서도 제공될 예정입니다. 복잡한 문서에 대한 최첨단 이해력 Mistral OCR은 이미지, 수식, 표, LaTeX 포맷과 같은 고급 레이아웃을 포함하는 복잡한 문서를 이해하는 데 탁월합니다. 특히, 이 모델은 그래프, 차트, 방정식, 그림을 포함하는 과학 논문과 같은 복잡한 문서를 깊이 이해할 수 있도록 설계되었습니다. 아래 영상은 모델이 PDF에서 텍스트와 이미…

---

## [Pixtral 12B, Mistral 사용자 커뮤니티가 공개한 멀티모달 모델(feat. Nemo 12B)](https://discuss.pytorch.kr/t/pixtral-12b-mistral-feat-nemo-12b/5186)

<div class="topic-metadata">

**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\
**댓글:** 0\
**마지막 업데이트:** [9월 11, 2024, 11:01오후 UTC](https://discuss.pytorch.kr/t/pixtral-12b-mistral-feat-nemo-12b/5186 "2024-09-11T23:01:21Z")

</div>

Pixtral 12B 모델 소개 미스트랄(Mistral)의 사용자 커뮤니티에서 텍스트와 이미지를 동시에 처리할 수 있는 첫 번째 멀티모달 모델, Pixtral 12B를 출시했습니다. 이 모델은 12B 규모의 크기로, 약 24GB의 용량입니다. 모델의 공개 및 배포는 mistral-community Hugging Face 및 magnet 주소(torrent)를 통해 진행하고 있습니다. Pixtral 12B는 Mistral의 기존 텍스트 모델인 Nemo 12B를 기반으로 개발되었습니다. 이 모델은 이미지를 입력받아 이미지에 대한 질문에 답할 수 있습니다. Pixtral 12B는 이미지 캡셔닝 및 사진 속 객체 수 계산 등 다양한 작업을 수행할 수 있을 것으로 기대됩니다. 이미지 제공 시에는 다른 모델이나 OpenAI 등과 같이, 이미지의 URL이나 Pillow 라이브러리를 사용한 이미지 객체, 또는 Base64 인코딩된 이미지 문자열을 제공할 수 있습니다. Pixtral 12B 모델은 텍스트와 이미지를 함께 입력받아, 입력된 이미지를 분석하거나 설명할 수 있습니다. 예를 들어, 모델에 특정 동물의 이미지를 주고 해당 동물이 특정 장소에 살 수 있는지 묻는 질문을 할 수 있습니다. 다만, 미스트랄 사용자 커뮤니티에서는 Pixtral 12B가 학습에 사용한 이미지 데이터를 공개되지는 않았습니다. 대부분의 생성 AI 모델들은 웹 사이트를 비롯한 공공 데이터를 사용해 학습되지만, 이 데이터가 저작권이 있을 수 있다는 문제로 논란이 되고 있습니다. 일부 AI 모델 제공업체들은 “공정 사용” 권리를 주장하며 공공 데이터를 수집하지만, 저작권자들은 이에 반발하며 법적 조치를 취하고 있습니다. :warning: 주의사항 이 모델은 MistralAI가 공식적으로 공개 및 배포한 모델이 아닙니다. 모델 사용 방법 Pixtral 12B 모델을 사용하기 위해서는 Hugging Face Hub에서 모델 체크포인트를 다운로드하고, 필요한 패키지를 설치하여 사용할 수 있습니다…

---

## [Mistral AI, LLM 기반 AI Agent 개발 플랫폼 및 API 공개](https://discuss.pytorch.kr/t/mistral-ai-llm-ai-agent-api/5005)

<div class="topic-metadata">

**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\
**댓글:** 0\
**마지막 업데이트:** [8월 9, 2024, 6:33오전 UTC](https://discuss.pytorch.kr/t/mistral-ai-llm-ai-agent-api/5005 "2024-08-09T06:33:37Z")

</div>

Mistral AI Agents 소개 Mistral AI Agents는 대규모 언어 모델(LLM)을 기반으로 한 자율 시스템으로, 복잡한 작업을 수행할 수 있는 AI 에이전트입니다. 이 에이전트들은 고급 자연어 처리 능력을 활용하여 사용자의 고수준 지시를 이해하고 실행할 수 있습니다. Mistral AI Agents는 최근 출시된 Mistral Large 2 모델을 기반으로 합니다. 이 모델은 1,230억 개의 매개변수와 128,000 토큰의 컨텍스트 윈도우를 지원하며, 80개 이상의 코딩 언어를 지원합니다. 향상된 정확성, 추론 능력, 다국어 지원 등의 특징으로 복잡한 AI 에이전트 구현에 이상적인 기반을 제공합니다. Mistral AI Agent의 주요 특징은 다음과 같습니다: 복잡한 작업 계획 및 실행 다양한 도구 활용 능력 여러 단계의 처리 과정 수행 목표 달성을 위한 행동 실행 다른 에이전트와의 협업 가능 에이전트 생성 방법 Mistral AI는 두 가지 주요 방법으로 에이전트를 생성할 수 있게 합니다: La Plateforme Agent Builder: 비기술적 사용자도 쉽게 에이전트를 구성할 수 있는 사용자 친화적 인터페이스입니다. Agent API: 개발자가 기존 워크플로우나 애플리케이션에 에이전트 생성 기능을 통합할 수 있는 프로그래밍 방식의 접근법입니다. 에이전트 맞춤 설정 사용자는 다음과 같은 옵션을 통해 에이전트를 커스터마이즈할 수 있습니다: 모델 선택: Mistral Large 2, Mistral Nemo, Codestral 등 다양한 모델 중 선택 온도 조절: 0.0에서 1.0 사이의 값으로 출력의 무작위성 조절 지시사항: 모든 대화와 메시지에 걸쳐 특정 동작을 강제할 수 있는 지침 제공 데모: Few-shot 학습 예제를 추가하여 에이전트의 특정 행동 유도 배포 및 사용 에이전트 생성 후에…

---

## [\[GN⁺\] Mistral NeMo 모델 출시 (다국어 지원 / 오픈모델 / 12B)](https://discuss.pytorch.kr/t/gn-mistral-nemo-12b/4886)

<div class="topic-metadata">

**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\
**댓글:** 0\
**마지막 업데이트:** [7월 20, 2024, 5:15오전 UTC](https://discuss.pytorch.kr/t/gn-mistral-nemo-12b/4886 "2024-07-20T05:15:15Z")

</div>

Mistral NeMo 소개 NVIDIA와 협력하여 개발된 120억 파라미터 모델인 Mistral NeMo를 출시 최대 128k 토큰의 큰 컨텍스트 윈도우 제공 추론, 세계 지식, 코딩 정확도가 동급 최고 수준 표준 아키텍처를 사용하여 Mistral 7B를 사용하는 시스템에 쉽게 적용 가능 연구자와 기업의 채택을 촉진하기 위해 Apache 2.0 라이선스 하에 사전 훈련된 기본 및 명령 조정 체크포인트 공개 양자화 인식으로 훈련되어 성능 손실 없이 FP8 추론 가능 다국어 모델 글로벌 다국어 애플리케이션을 위해 설계됨 함수 호출에 대해 훈련되었으며, 큰 컨텍스트 윈도우를 가짐 영어, 프랑스어, 독일어, 스페인어, 이탈리아어, 포르투갈어, 중국어, 일본어, 한국어, 아랍어, 힌디어에서 특히 강력함 모든 언어 사용자에게 최첨단 AI 모델 제공을 목표로 함 Tekken, 더 효율적인 토크나이저 Tiktoken 기반의 새로운 토크나이저 Tekken 사용 100개 이상의 언어에서 자연어 텍스트와 소스 코드를 SentencePiece 토크나이저보다 더 효율적으로 압축 소스 코드, 중국어, 이탈리아어, 프랑스어, 독일어, 스페인어, 러시아어에서 약 30% 더 효율적 한국어와 아랍어에서 각각 2배, 3배 더 효율적 Llama 3 토크나이저와 비교하여 약 85%의 언어에서 더 뛰어난 압축 성능 인스트럭션 파인 튜닝 Mistral NeMo는 고급 미세 조정 및 정렬 단계를 거침 Mistral 7B와 비교하여 정확한 명령을 따르고, 추론하고, 다중 턴 대화를 처리하고, 코드를 생성하는 데 훨씬 뛰어남 링크 기본 및 명령 모델의 가중치는 HuggingFace에서 호스팅됨 mistral-inference로 Mistral NeMo를 사용해보고, mistral-finetune으로 조정 가능 NVIDIA NIM 추론 마이크로서비스로 패키징되어 ai.nvidia.com에서 사용 가능 라이선스 Mistral의 NeMo 모델은 Apache 2.0 라이선스로 공개되었…

---

## [Codestral, 80개 이상의 개발언어를 지원하는 Code Model (feat. Mistral AI)](https://discuss.pytorch.kr/t/codestral-80-code-model-feat-mistral-ai/4546)

<div class="topic-metadata">

**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\
**댓글:** 0\
**마지막 업데이트:** [6월 1, 2024, 11:29오후 UTC](https://discuss.pytorch.kr/t/codestral-80-code-model-feat-mistral-ai/4546 "2024-06-01T23:29:00Z")

</div>

Codestral, 80개 이상의 개발언어를 지원하는 Code Model (feat. Mistral AI) Codestral 소개 Mistral AI에서 새로운 코드 모델인 코드스트랄(Codestral)을 공개했습니다. 이 모델은 코드 생성 작업을 위해 설계된 오픈 웨이트 생성 AI 모델로, 80개 이상의 프로그래밍 언어에 능숙하며 개발자들이 코드 작성 및 상호작용을 보다 효율적으로 할 수 있도록 도와줍니다. Cod상대적으로 더 긴 Context 길이(32k)를 제공하여 RepoBench(더 긴 코드 생성 평가 벤치마크)에서 더 나은 성능을 보임 코드스트랄(Codestral)은 Python, Java, C, C++ 등 인기 있는 프로그래밍 언어뿐만 아니라 Swift, Fortran과 같은 특정 언어도 지원합니다. 이를 통해 다양한 코딩 환경과 프로젝트에서 개발자들이 시간을 절약하고 오류를 줄일 수 있습니다. 코드스트랄은 22B 모델로, 이전 모델들에 비해 뛰어난 성능과 낮은 지연 시간을 자랑합니다. Codestral 성능 Codestral은 Python 외에도 C++, bash, Java, PHP, Typet, C#까지 포함하여 7개 언어에서 평균적으로 가장 뛰어난 성능을 보임 코드스트랄(Codestral)은 HumanEval, MBPP, CruxEval 등 다양한 벤치마크에서 GPT-4-Turbo와 GPT-3.5-Turbo를 능가하는 성능을 보였습니다. 특히 Python, C++, Java, PHP 등의 언어에서 높은 평가를 받았습니다. 경쟁 모델인 DeepSeek Coder 33B와도 비교했을 때 뛰어난 성능을 보여주었습니다. 주요 특징 80개 이상의 프로그래밍 언어 지원 코드 완성, 테스트 작성, 부분 코드 완성 기능 제공 HumanEval, MBPP 등의 벤치마크에서 우수한 성능 32k의 큰 컨텍스트 윈도우로 긴 범위의 코드 생성 가능 사용법 코드스트랄은 codestral.mistral.ai를 통해 API 엔드포인트로 사용 …

---

## [\[GN⁺\] Mistral AI, 새로운 오픈 모델 Mixtral 8x22B 공개](https://discuss.pytorch.kr/t/gn-mistral-ai-mixtral-8x22b/4114)

<div class="topic-metadata">

**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\
**댓글:** 0\
**마지막 업데이트:** [4월 19, 2024, 8:42오전 UTC](https://discuss.pytorch.kr/t/gn-mistral-ai-mixtral-8x22b/4114 "2024-04-19T08:42:54Z")

</div>

Mistral AI, 새로운 오픈 모델 Mixtral 8x22B 공개 소개 "더 저렴하고, 더 좋으며, 더 빠르고, 더 강력한" 총 141B 파라미터 중 39B의 활성 파라미터만 사용하는 Sparse Mixture-of-Experts(SMoE) 모델로, 모델 크기 대비 비용 효율성이 매우 뛰어남 Mixtral 8x22B의 주요 특징 영어, 프랑스어, 이탈리아어, 독일어, 스페인어에 유창함 수학과 코딩 능력이 우수함 함수 호출이 기본적으로 가능하며, la Plateforme에 구현된 제한된 출력 모드와 함께 대규모 애플리케이션 개발과 기술 스택 현대화가 가능함 64K 토큰 컨텍스트 윈도우를 통해 대량의 문서에서 정확한 정보 리콜이 가능함 진정한 오픈 모델 Mistral AI는 AI에서의 혁신과 협업을 촉진하기 위해 개방성과 광범위한 배포의 힘을 믿음 Mixtral 8x22B는 가장 허용적인 오픈 소스 라이선스인 Apache 2.0으로 배포되어, 누구나 제한 없이 모델을 사용할 수 있음 최고의 효율성 성능(MMLU) 대 추론 예산 트레이드-오프(활성 매개변수 수) 측정. Mistral 7B, Mixtral 8x7B, Mixtral 8x22B는 모두 다른 개방형 모델에 비해 매우 효율적인 모델 제품군에 속합니다. Mistral AI는 각 모델 크기에 대해 비용 대비 최고의 성능을 제공하는 모델을 구축하여, 커뮤니티에서 제공하는 모델 중 최고의 성능 대비 비용 비율을 제공함 Mixtral 8x22B는 Mistral AI 오픈 모델 제품군의 자연스러운 연장선상에 있음. Sparse 활성화 패턴 덕분에 Dense 70B 모델보다 빠르면서도 허용적이거나 제한적인 라이선스로 배포되는 다른 오픈 웨이트 모델보다 더 많은 기능을 제공함. 기본 모델의 가용성으로 인해 파인튜닝 사용 사례에 매우 적합한 기반이 됨 견줄 데 없는 오픈 성능 추론 및 지식 Mixtral 8x22B는 추론에 최적화되어 있음 상식, 추론, 지식 벤치마크(MMLU, Hell…

---

## [\[GN⁺\] 마이크로소프트, OpenAI를 넘어서 Mistral과 다년간 협약 체결](https://discuss.pytorch.kr/t/gn-openai-mistral/3639)

<div class="topic-metadata">

**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\
**댓글:** 0\
**마지막 업데이트:** [2월 28, 2024, 12:42오전 UTC](https://discuss.pytorch.kr/t/gn-openai-mistral/3639 "2024-02-28T00:42:02Z")

</div>

GeekNews의 xguru님께 허락을 받고 GN에 올라온 글들 중에 AI 관련된 소식들을 공유하고 있습니다. :smiley\_cat: 소개 마이크로소프트가 프랑스 인공지능 스타트업 미스트랄과 협약을 맺음 이 협약은 마이크로소프트가 OpenAI 이외의 분야로 활동을 넓히려는 시도의 일환 미스트랄은 파리 기반의 회사로, AI 모델을 시장에 출시하는 데 도움을 받게 됨 협약의 내용 마이크로소프트는 미스트랄에 투자하며, 금융적인 세부 사항은 공개되지 않음 협약에는 유럽 전역의 정부를 위한 애플리케이션 개발을 위한 연구 및 개발 협력 포함 이 AI 모델들은 공공 부문의 특정 요구 사항을 해결하는 데 사용될 예정 미스트랄의 위치 미스트랄은 마이크로소프트의 Azure 클라우드 컴퓨팅 플랫폼에서 상업적 언어 모델을 제공하는 두 번째 회사 미스트랄의 공동 창립자 겸 CEO인 아서 멘쉬는 마이크로소프트의 신뢰가 중요한 발전이라고 언급 마이크로소프트와 OpenAI 마이크로소프트는 이미 샌프란시스코 기반의 OpenAI에 약 130억 달러를 투자 미국, EU, 영국의 경쟁 감시 기관에서 이 협력 관계를 검토 중 마이크로소프트는 OpenAI를 통제하지 않으며, 두 회사는 중요한 파트너라고 강조 AI 경제의 부상 구글과 아마존과 같은 다른 대형 기술 회사들도 생성 AI에 대한 투자를 확대 생성 AI는 텍스트, 이미지, 코드를 몇 초 만에 생성할 수 있는 소프트웨어 이 기술은 전 세계 산업을 변화시킬 것으로 분석가들은 믿음 미스트랄의 기술과 가치 미스트랄은 대규모 언어 모델을 구축하며, 이는 생성 AI 제품을 구동하는 기술 12월에 약 20억 유로의 가치 평가를 받으며 약 4억 유로 규모의 펀딩 라운드를 확보 미스트랄의 모델은 오픈 소스로, 기술 세부 사항이 공개적으로 공개될 예정 AI 모델 개발의 인프라 새로운 AI 모델을 훈련하고 개발하는 데 필요한 인프라는 막대한 비용이 듬 경쟁할 수 있는 회사는 몇 십 개에 불과 마이크로소프트는 독일과 스페인에 새로…

---

## [\[GN⁺\] Mistral AI, GPT-4에 이어 강력한 성능을 보여주는 Mistral Large 및 Small 모델(의 API) 공개](https://discuss.pytorch.kr/t/gn-mistral-ai-gpt-4-mistral-large-small-api/3638)

<div class="topic-metadata">

**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\
**댓글:** 0\
**마지막 업데이트:** [2월 28, 2024, 12:34오전 UTC](https://discuss.pytorch.kr/t/gn-mistral-ai-gpt-4-mistral-large-small-api/3638 "2024-02-28T00:34:32Z")

</div>

GeekNews의 xguru님께 허락을 받고 GN에 올라온 글들 중에 AI 관련된 소식들을 공유하고 있습니다. :smiley\_cat: 소개 Mistral Large는 최첨단 텍스트 생성 모델로, 최고 수준의 추론 능력을 갖춤 다양한 언어로 복잡한 추론 작업을 수행할 수 있으며, 텍스트 이해, 변환, 코드 생성에 사용 가능 MMLU 벤치마크에서 강력한 성능을 보여주며, API를 통해 일반적으로 사용 가능한 세계에서 두 번째로 순위가 높은 모델임 GPT-4 86.4% 다음인 81.2%, Claude 2가 78.5%, Gemini Pro가 71.8% Mistral Large의 새로운 기능과 강점 영어, 프랑스어, 스페인어, 독일어, 이탈리아어에 원어민 수준으로 능통하며, 문법과 문화적 맥락에 대한 미묘한 이해를 제공 32K 토큰 컨텍스트 윈도우를 통해 대규모 문서에서 정확한 정보 회상이 가능 정확한 지시사항을 따르는 기능을 통해 개발자들이 자신의 모더레이션 정책을 설계할 수 있으며, 이를 통해 le Chat의 시스템 수준 모더레이션 설정에 사용됨 함수 호출 기능이 내재되어 있어, la Plateforme에서 구현된 제한된 출력 모드와 함께 애플리케이션 개발 및 기술 스택 현대화를 대규모로 가능하게 함 Microsoft와의 파트너십을 통해 Azure에서 모델 제공 Mistral의 목표는 선도적인 AI를 보편화하는 것이며, 이를 위해 Azure에 오픈 및 상업 모델을 제공함 Mistral의 모델은 La Plateforme과 Azure를 통해 사용할 수 있으며, 사용자 환경에 직접 배포할 수도 있음 La Plateforme은 Mistral의 유럽 인프라에서 안전하게 호스팅되며, Azure는 Azure AI Studio와 Azure Machine Learning을 통해 제공됨 자체 배포는 가장 민감한 사용 사례에 대해 모델 가중치에 접근할 수 있게 하며, 성공 사례를 읽고 팀에 연락하여 자세한 정…

---

## [\[GN⁺\] Mistral AI, Llama 2 70B 모델보다 뛰어난 Mixtral 8x7B 모델 공개](https://discuss.pytorch.kr/t/gn-mistral-ai-llama-2-70b-mixtral-8x7b/3032)

<div class="topic-metadata">

**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\
**댓글:** 1\
**마지막 업데이트:** [1월 10, 2024, 10:52오후 UTC](https://discuss.pytorch.kr/t/gn-mistral-ai-llama-2-70b-mixtral-8x7b/3032 "2024-01-10T22:52:44Z")

</div>

GeekNews의 xguru님께 허락을 받고 GN에 올라온 글들 중에 AI 관련된 소식들을 공유하고 있습니다. :smiley\_cat: 소개 "High-quality Sparse Mixture of Experts Model (SMoE, 고품질 희소 전문가 모델)" Llama 2 70B를 대부분 벤치마크에서 능가하며, 6배 빠른 추론 대부분의 표준 벤치마크에서 GPT 3.5와 비슷하거나 더 나은 성능을 보임 허용 라이센스가 있는 가장 강력한 오픈 웨이트 모델이며, 비용/성능 면에서 가장 우수한 모델 32k 토큰 컨텍스트 지원 영어/프랑스어/이탈리아어/독일어/스페인어 처리 코드 생성에서 강력한 성능을 보임 MT-Bench 에서 8.3점을 획득한 Instruction-Following 모델로 미세 조정 가능 MMLU 70.6% (Llama 2 70B 69.9%, GPT 3.5 70.0%) 희소 아키텍처를 활용한 오픈 모델의 경계 확장 Mixtral은 희소 전문가 네트워크로, 디코더 전용 모델임 피드포워드 블록이 8개의 서로 다른 파라미터 그룹 중에서 선택하여, 각 레이어마다 토큰마다 라우터 네트워크가 두 개의 전문가 그룹을 선택하고 그 출력을 결합함 이 기술은 모델의 파라미터 수를 증가시키면서 비용과 지연 시간을 제어할 수 있게 해주며, Mixtral은 총 46.7B의 파라미터를 가지지만 토큰 당 12.9B의 파라미터만 사용함 성능 Mixtral은 Llama 2 모델과 GPT3.5 기본 모델과 비교하여 대부분의 벤치마크에서 동등하거나 더 나은 성능을 보임. Mixtral은 Llama 2 70B 모델과 비교하여 더 진실된 답변을 제공하고(TruthfulQA 벤치마크에서 73.9% 대 50.2%), BBQ 벤치마크에서 더 적은 편향을 보임. Mixtral은 프랑스어, 독일어, 스페인어, 이탈리아어, 영어를 능숙하게 다룸. 지시에 따른 모델 Mixtral 8x7B Instruct는 지시에 따른 성능을 최적화하기 위해 감독된 미세 조정과 직접…

---

## [PyTorchKR이 정리한 오늘의 주요 AI/ML 소식들 @ 2023-12-13: Mixtral 8x7B, Phi2, 생성형 AI에서의 VectorDB](https://discuss.pytorch.kr/t/pytorchkr-ai-ml-2023-12-13-mixtral-8x7b-phi2-ai-vectordb/3031)

<div class="topic-metadata">

**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\
**댓글:** 0\
**마지막 업데이트:** [12월 13, 2023, 1:39오전 UTC](https://discuss.pytorch.kr/t/pytorchkr-ai-ml-2023-12-13-mixtral-8x7b-phi2-ai-vectordb/3031 "2023-12-13T01:39:52Z")

</div>

파이토치 한국 사용자 모임이 한땀한땀 정리한 오늘의 주요 AI/ML 소식들을 전해드립니다. Mistral AI, 새로운 SMoE 언어모델 Mixtral 8x7B 출시 Mistral AI가 Mixtral 8x7B라는 새로운 언어 모델을 출시했습니다. 이 새로운 형태의 모델은 SMoE(Sparse Mixture-of-Experts) 방식을 채택하여, 8개의 7B 모델 중 최적의 2개 모델을 선택하여 다음 토큰을 추론하는 방식으로 동작합니다. 하나의 대규모 모델보다는 더 빠르고 좋은 결과를 보인다고 설명합니다. OpenAI의 GPT-4도 이러한 SMoE과 유사한 구조로 동작할 것으로 추측하고 있습니다. 더 읽어보기: 출시 공지: Mixtral of experts | Mistral AI \[GN⁺\] Mistral AI, Llama 2 70B 모델보다 뛰어난 Mixtral 8x7B 모델 공개 관련 태그: mistral-ai mixture-of-experts mistral-7b llm Microsoft의 새로운 소형 언어 모델, Phi-2 출시 Microsoft는 Phi-2라는 새로운 언어 모델을 공개했습니다. 지난 Ignite 행사에서 발표했던 이 모델은 2.7B의, 상대적으로 작은 크기임에도 특정 영역에서 Llama 2 7B 및 Mistral 7B 모델을 능가하며, 13B 크기 미만의 모델들 중 가장 좋은 성능을 자랑합니다. Google의 최신 Gemini Nano 2 모델보다도 성능이 우수하다고 합니다. 더 읽어보기: 출시 공지: https://www.microsoft.com/en-us/research/blog/phi-2-the-surprising-power-of-small-language-models/ \[GN\] Microsoft AI Ignite 이벤트 발표 제품들 요약 (영문/YouTube) 관련 태그: microsoft phi-2 small-llm 생성형 AI에서의 Vector Database 벡터 데이터베이스는 생…

---

## [\[TLDR\] 오늘의 AI 뉴스, 2023-10-13: 2023년 AI 현황 보고서 🤖, Google의 검색 생성 경험 🔍, 텍스트 임베딩 vs. 텍스트 📃](https://discuss.pytorch.kr/t/tldr-ai-2023-10-13-2023-ai-google-vs/2652)

<div class="topic-metadata">

**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\
**댓글:** 0\
**마지막 업데이트:** [10월 14, 2023, 3:00오전 UTC](https://discuss.pytorch.kr/t/tldr-ai-2023-10-13-2023-ai-google-vs/2652 "2023-10-14T03:00:00Z")

</div>

파이토치 한국 사용자 모임에서는 TLDR 뉴스레터 의 승인을 받아 AI 소식을 DeepL로 번역 하여 전합니다. :star\_struck: 더 많은 AI 소식 및 정보를 공유하고 함께 성장하고 싶으신가요? 지금 파이토치 한국어 커뮤니티에 방문해주세요! :robot: :rocket: 주요 뉴스 & 신규 출시 소식 / Headlines & Launches OpenAI, AI 개발 효율성을 높이기 위한 주요 업데이트 공개 / OpenAI Unveils Major Updates To Boost AI Development Efficiency (2 minute read) OpenAI는 개발자 도구에 메모리 스토리지 및 고급 비전 기능과 같은 업데이트를 도입하여 애플리케이션 비용을 크게 절감하고 다양한 분야에서 혁신을 촉진할 계획입니다. openai OpenAI plans to introduce updates like memory storage and advanced vision capabilities in its developer tools to significantly reduce application costs and foster innovation across diverse sectors. 이제 이미지를 생성할 수 있는 Google의 AI 기반 검색 환경 / Google’s AI-Powered Search Experience Can Now Generate Images (2 minute read) 이제 Google의 검색창에서 텍스트 프롬프트에서 바로 이미지를 만들 수 있습니다. text-to-image google-search Google’s Search Generative Experience now lets you create images right from a text prompt. AI 현황 2023 / State of AI 2023 (20 minute read) 언어 모델링 산업에 대한 훌륭한 요약입니다. 안전, 기능, 칩 등에 대한 …

---

## [\[TLDR\] 오늘의 AI 뉴스, 2023-09-28: 메타의 AI 챗봇 🤖, 미스트랄의 첫 번째 모델 1️⃣, 언어 모델과 함께 결과 순위 매기기 📚](https://discuss.pytorch.kr/t/tldr-ai-2023-09-28-ai-1/2560)

<div class="topic-metadata">

**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\
**댓글:** 0\
**마지막 업데이트:** [9월 29, 2023, 4:05오전 UTC](https://discuss.pytorch.kr/t/tldr-ai-2023-09-28-ai-1/2560 "2023-09-29T04:05:49Z")

</div>

파이토치 한국 사용자 모임에서는 TLDR 뉴스레터 의 승인을 받아 AI 소식을 DeepL로 번역 하여 전합니다. :star\_struck: 더 많은 AI 소식 및 정보를 공유하고 함께 성장하고 싶으신가요? 지금 파이토치 한국어 커뮤니티에 방문해주세요! :robot: :rocket: 주요 뉴스 & 신규 출시 소식 / Headlines & Launches 미스트랄, 첫 번째 모델 출시 / Mistral releases first model (4 minute read) 대규모 시드 라운드와 팀, ML 스택, 데이터 파이프라인을 구축한 후, 미스트랄 팀은 매우 우수한 성능의 7B(매개변수 70억개) 모델을 출시했습니다. 처음에는 마그넷 링크(토렌트)를 통해 최소한의 GitHub 리포지토리 및 허용 라이선스와 함께 출시되었습니다. mistral-ai After a huge seed round and building a team, ML stack, and data pipeline, the Mistral team has released an extremely performant 7B model. It was initially released via a magnet link (torrent) along with a minimal GitHub Repo and permissive license. 모든 곳에 AI 챗봇을 배치하는 메타 / Meta Is Putting AI Chatbots Everywhere (2 minute read) 메타는 여러 플랫폼에 걸쳐 다양한 인공지능 캐릭터와 함께 자체 인공지능 챗봇 어시스턴트를 출시하고 있습니다. 이 챗봇은 범용 어시스턴트로 설계되었으며, 실시간 웹 결과를 위해 Microsoft의 Bing을 사용하며 OpenAI의 DALL-E와 유사한 이미지를 생성할 수 있습니다. meta meta-ai Meta is launching its own AI chatbot assistant along with various AI cha…

---

## [\[GN⁺\] Mistral 7B, MistalAI이 제한없이 사용할 수 있도록 공개한 LLM](https://discuss.pytorch.kr/t/gn-mistral-7b-mistalai-llm/2572)

<div class="topic-metadata">

**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\
**댓글:** 1\
**마지막 업데이트:** [10월 1, 2023, 12:48오후 UTC](https://discuss.pytorch.kr/t/gn-mistral-7b-mistalai-llm/2572 "2023-10-01T12:48:14Z")

</div>

GeekNews의 xguru님께 허락을 받고 GN에 올라온 글들 중에 AI 관련된 소식들을 공유하고 있습니다. :smiley\_cat: 소개 현재까지 가장 강력한 언어 모델 7.3B 파라미터 모델로, 모든 벤치마크에서 Llama 2 13B를, 많은 벤치마크에서는 Llama 1 34B를 능가 더 빠른 추론을 위한 Grouped-query attention (GQA)과 더 작은 비용으로 더 긴 시퀀스를 처리하기 위한 Sliding Window Attention (SWA)를 사용 Apache 2.0 라이선스로, 제한 없이 사용 가능 어떤 클라우드(AWS/GCP/Azure)에서도 vLLM 추론 서버와 skypilot를 사용하여 배포할 수 있으며, HuggingFace에서도 사용할 수 있음 쉽게 미세 조정할 수 있으며, 채팅용으로 미세 조정된 모델은 Llama 2 13B 채팅을 능가 Hacker News 의견 Mistral, Meta와 DeciLM과 달리 이 클래스의 모델에 Apache 라이선스를 부여한 첫 회사입니다. 이 모델은 MacBook Air M1에서 잘 작동하며 GPT3.5와 비교할 수 있습니다. JSON과 같은 구조화된 데이터를 처리하기 위한 "함수 호출 API"의 사용 가능성에 대한 질문이 있습니다. 모델 훈련에 사용된 데이터셋에 대한 우려와 벤치마크 유출이 결과를 부풀릴 가능성이 제기되었습니다. 모델의 발표는 Twitter의 토렌트 트래커 URI를 통해 이루어졌습니다. LLMs를 위한 코딩 보조 도구 테스트에서 Mistral이 CodeLlama와 GPT4만큼 잘 수행하지 못했습니다. 모델은 llama.cpp에 의해 지원되기 때문에 macOS의 FreeChat에서 작동합니다. 프로젝트가 왜 7B 모델과 같은 큰 버킷 내에서 특정 파라미터 크기로 표준화하는 것처럼 보이는지에 대한 질문이 있습니다. 모델의 훈련에 대한 세부 정보, 그것이 기반한 데이터와 어디에서 훈련되었는지에 대한 요청이 있습니다. 훈련 세트에서 벤치마크 오염에 대한 테스트를 요…

---

## [\[TLDR\] 오늘의 AI 뉴스, 2023-07-10: 구글의 병원 내 의료 AI 🏥, 알리바바의 이미지 생성기 🖼️, 크리스토퍼 놀란은 어떻게 AI를 사랑하는 방법을 배웠을까 ❤️](https://discuss.pytorch.kr/t/tldr-ai-2023-07-10-ai-ai/2027)

<div class="topic-metadata">

**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\
**댓글:** 0\
**마지막 업데이트:** [7월 11, 2023, 3:44오전 UTC](https://discuss.pytorch.kr/t/tldr-ai-2023-07-10-ai-ai/2027 "2023-07-11T03:44:47Z")

</div>

파이토치 한국 사용자 모임에서는 TLDR 뉴스레터의 승인을 받아 AI 소식을 DeepL로 번역하여 전합니다. :star\_struck: 더 많은 AI 소식 및 정보를 공유하고 함께 성장하고 싶으신가요? 지금 파이토치 한국어 커뮤니티에 방문해주세요! :robot: :rocket: 주요 뉴스 & 신규 출시 소식 / Headlines & Launches 구글의 의료용 AI 챗봇이 이미 병원에서 테스트 중 / Google’s medical AI chatbot is already being tested in hospitals (3 minute read) 구글은 메이요 클리닉에서 의료 정보 질의에 답변하도록 설계된 AI 도구인 Med-PaLM 2를 테스트하고 있습니다. 언어 모델 PaLM 2의 변형인 Med-PaLM 2는 일부 정확도 문제가 있긴 하지만 추론, 합의 지원 답변, 이해력에서 유망한 결과를 보여주었습니다. Google은 테스트 단계의 고객 데이터는 암호화되어 액세스되지 않는 상태로 유지되며 개인정보 보호 조치를 강조합니다. Google is testing its AI tool, Med-PaLM 2, designed to answer medical information queries, at Mayo Clinic. A variant of the language model PaLM 2, Med-PaLM 2 has shown promising results in reasoning, consensus-supported answers, and comprehension, albeit with some accuracy issues. Google claims that customer data during the test phase will remain encrypted and out of its access, underscoring privacy measures. 알리바바, AI 이미지 생성기 공개 / Alibaba Unveils AI Image Generat…

---

## [\[TLDR\] 오늘의 AI 뉴스, 2023-06-14: OpenAI, 함수 호출 기능 출시 🚀, 미스트랄 AI, 1억 1,300만 달러 시드 모금 💰, 얀 르쿤의 비전을 기반으로 한 메타의 첫 번째 AI 모델 👀](https://discuss.pytorch.kr/t/tldr-ai-2023-06-14-openai-ai-1-1-300-ai/1818)

<div class="topic-metadata">

**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\
**댓글:** 0\
**마지막 업데이트:** [6월 15, 2023, 2:38오전 UTC](https://discuss.pytorch.kr/t/tldr-ai-2023-06-14-openai-ai-1-1-300-ai/1818 "2023-06-15T02:38:05Z")

</div>

파이토치 한국 사용자 모임에서는 TLDR 뉴스레터의 승인을 받아 AI 소식을 DeepL로 번역하여 전합니다. :star\_struck: 더 많은 AI 소식 및 정보를 공유하고 함께 성장하고 싶으신가요? 지금 파이토치 한국어 커뮤니티에 방문해주세요! :robot: :rocket: 주요 뉴스 & 신규 출시 소식 / Headlines & Launches 미스트랄 AI, 1억 1,300만 달러 시드 라운드 유치 / Mistral AI Raises $113M Seed Round (3 minute read) 딥마인드와 메타 퇴직자들이 공동 설립한 파리에 본사를 둔, 설립 4주차 스타트업인 미스트랄 AI(Mistral AI)는 주로 기업용 오픈소스 접근 방식을 목표로 대규모 언어 모델과 생성 AI를 개발 및 적용하기 위해 1억 1,300만 달러의 시드 펀딩을 모금했습니다. 라이트스피드(Lightspeed) 벤처 파트너스가 주도한 이번 투자 라운드에서 미스트랄 AI의 기업 가치는 2억 6천만 달러로 평가되었습니다. 미스트랄 AI는 공개적으로 사용 가능한 데이터를 사용하고 사용자가 직접 데이터 세트를 제공할 수 있도록 하여 투명성과 유용성에 중점을 둔 모델을 개발할 계획입니다. 2024년에 텍스트 기반 생성형 AI를 위한 첫 번째 모델을 출시하는 것이 목표입니다. Mistral AI, a four-week-old Paris-based startup co-founded by DeepMind and Meta alumni, has raised $113 million in seed funding to develop and apply large language models and generative AI, targeting an open-source approach primarily for enterprises. The investment round, led by Lightspeed Venture Partners, valued Mistral AI at $260 million…
