# \#small-language-model

**URL:** https://discuss.pytorch.kr/tag/small-language-model/7694.md

[최신](https://discuss.pytorch.kr/latest.md) · [카테고리](https://discuss.pytorch.kr/categories.md) · [태그](https://discuss.pytorch.kr/tags.md)

---

## [BotPsy: 2B 모델보다 도구 사용 성능이 뛰어난, Qwen3.5-0.8B 기반 On-Device Agent 모델](https://discuss.pytorch.kr/t/botpsy-2b-qwen3-5-0-8b-on-device-agent/12486)

<div class="topic-metadata">

**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\
**댓글:** 0\
**마지막 업데이트:** [11월 12, 2026, 3:30오전 UTC](https://discuss.pytorch.kr/t/botpsy-2b-qwen3-5-0-8b-on-device-agent/12486 "2026-11-12T03:30:37Z")

</div>

핵심 요약 Tether AI Research가 BotPsy 발표 글과 함께 Qwen3.5-0.8B를 사후 학습한 0.8B 크기의 도구 호출용 모델 BotPsy-0.8B를 Apache 2.0 라이선스로 공개했습니다. 개발사가 직접 측정한 도구 사용 벤치마크 6종 가운데 5종에서, 비교한 5개 모델 중 가장 높은 점수를 기록했습니다. 2.5배 큰 Qwen3.5-2B가 앞선 것은 Claw-Eval 하나입니다. 일반 지식 점수는 Qwen3.5-2B보다 17~22점 낮고, 여러 단계를 거치는 정보 검색 과제는 100점 만점에 15점 수준입니다. 권장 언어는 영어이며 한국어는 평가하지 않았습니다. 개발사는 금전, 개인 정보, 건강을 다루는 용도에는 쓰지 말라고 안내합니다. 발표 글과 모델 카드에는 휴대폰과 같은 실제 기기에서 측정한 속도와 메모리 수치가 없습니다. BotPsy 소개 BotPsy는 Tether AI Research가 2026년 11월 11일에 공개한, 함수 호출(Function Calling)과 에이전트 작업에 맞춘 0.8B 파라미터 크기의 언어 모델입니다. 모델 카드에 따르면 Tether AI Research는 Tether Data, S.A. de C.V.를 가리키는 이름입니다. 클라우드의 대형 모델을 쓰는 에이전트는 비용이 예고 없이 바뀔 수 있고, 제공사가 모델을 수정하거나 접근을 막거나 지원을 끝낼 수 있습니다. 발표 글은 개인 정보 보호, 데이터 통제, 투명성 측면의 위험도 함께 지적합니다. Tether AI Research는 모든 작업에 최고 수준의 모델이 필요하지는 않다고 보고, 일상적이거나 규모가 작은 작업을 기기 안에서 처리하는 작은 모델을 만들었습니다. 이번에 소개하는 BotPsy는 Qwen3.5-0.8B를 기반 모델로 삼아 네 단계로 사후 학습(Post-training) 한 모델입니다. 사후 학습은 사전 학습이 끝난 모델을 특정 능력에 맞춰 추가로 학습하는 과정입니다. Qwen3.5 계열은 PyTorchKR에서 Qwen3.5-…

---

## [\[2026/10/26 ~ 11/01\] 이번 주에 살펴볼 만한 AI/ML 논문 모음](https://discuss.pytorch.kr/t/2026-10-26-11-01-ai-ml/12374)

<div class="topic-metadata">

**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\
**댓글:** 0\
**마지막 업데이트:** [11월 1, 2026, 9:30오후 UTC](https://discuss.pytorch.kr/t/2026-10-26-11-01-ai-ml/12374 "2026-11-01T21:30:04Z")

</div>

PyTorchKR​:fire::south\_korea: :thinking::thought\_balloon: 이번 주 선정된 10편의 논문들을 살펴본 결과, 다음과 같은 주요한 연구 트렌드를 발견할 수 있었습니다: :one: 에이전트 작업 효율화를 위한 소형 언어 모델(SLM)의 전문화 및 협업: 이번 주 선정된 논문들에서는 복잡한 에이전트 시스템을 구동할 때 발생하는 막대한 비용을 줄이기 위해, 소형 모델을 적극적으로 활용하고 역할을 분담하는 연구가 두드러졌습니다. AgentBaton은 작업 진척도에 따라 고성능 모델과 효율적인 소형 모델 간의 전환 시점을 최적화하여 성능을 유지하면서도 비용을 획기적으로 절감했습니다. 또한 Terminus-4B와 도구 선택 관련 연구는 터미널 실행이나 도구 검색과 같이 범위가 좁은 특정 하위 작업에 맞게 소형 모델을 사후 학습하여 고비용의 프런티어 모델을 성공적으로 대체할 수 있음을 실증했습니다. 이는 거대 모델 하나에 모든 처리를 의존하던 기존 방식에서 벗어나, 비용 효율적이고 목적에 특화된 소형 에이전트들을 결합해 실용적인 시스템을 구축하려는 뚜렷한 흐름입니다. :two: 단순 생성을 넘어선 에이전트 시스템의 구조화 및 거버넌스 표준화: 텍스트 생성을 넘어 물리적 실행이나 복잡한 다단계 상호작용을 안정적으로 수행하기 위해, 에이전트의 내부 설계와 외부 통신망을 체계적으로 구조화하려는 시도도 핵심 트렌드입니다. AW-0는 코드를 매개체로 삼아 월드 모델의 시각적 예측과 로봇의 물리적 실행을 하나로 연결하는 구조를 선보였고, The Trinity는 표면적인 과제들을 근본적인 역량 단위로 재구성하여 에이전트의 재귀적인 자기 개선을 도모했습니다. 아울러 TCP/IP에서 MCP로 연구는 이러한 다수의 에이전트들이 외부 환경 및 서로와 안전하게 소통하기 위해 초기 인터넷 프로토콜 설계와 같은 개방적이고 표준화된 거버넌스가 필수적임을 강하게 경고하고 있습니다. 이는 에이전트 AI 기술이 단일 프로그램을 넘어, 상호 연동 가능하고 확장 …

---

## [VocabX: 토큰 빈도 대신 생성 비용으로 어휘를 골라 Qwen3-4B 채점 모델의 추론 비용을 77% 줄인 사례](https://discuss.pytorch.kr/t/vocabx-qwen3-4b-77/12322)

<div class="topic-metadata">

**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\
**댓글:** 0\
**마지막 업데이트:** [10월 30, 2026, 11:30오전 UTC](https://discuss.pytorch.kr/t/vocabx-qwen3-4b-77/12322 "2026-10-30T11:30:17Z")

</div>

핵심 요약 브라질의 Dharma AI가 Hugging Face 블로그 글에서 소형 모델의 토크나이저 어휘를 도메인에 맞게 다시 만드는 방법인 VocabX의 결과 일부를 먼저 공개했습니다. 논문은 아직 심사 중이며 공개 전이고, 이번 글에 코드는 포함되지 않았습니다. VocabX는 토큰의 등장 빈도가 아니라 그 토큰을 줄였을 때 아끼는 비용으로 어휘를 고릅니다. 채점 모델에서 잰 비용 비율(출력 토큰 하나가 입력 토큰 하나의 7.4배)을 가중치로 씁니다. 포르투갈어 에세이 채점 모델(Qwen3-4B 기반)에서 응답 길이는 평균 350토큰에서 101토큰으로, 실측 추론(inference) 비용은 77.0% 줄었고 자체 품질 점수는 0.703에서 0.810으로 올랐습니다. RTX 5090과 vLLM에서 요청 500건으로 잰 결과입니다. 5개 공개 도메인과 3개 모델 계열 비교에서는 15개 조합 모두 가장 강한 기존 방법보다 토큰을 더 줄였습니다. 다만 이 비교의 비용 수치는 실측이 아니라 계산으로 낸 추정치입니다. VocabX 소개 토크나이저(tokenizer) 는 텍스트를 모델이 읽고 쓰는 단위인 토큰으로 나누는 구성 요소입니다. 보통은 기반 모델의 고정된 속성으로 취급해 미세조정(fine-tuning) 때도 그대로 물려받습니다. Qwen이나 Gemma 같은 범용 공개 모델의 토크나이저는 여러 언어와 코드, 계약서까지 아우르도록 만들어졌습니다. 그런데 이 모델을 한 가지 작업에만 쓰도록 특화하면, 그 작업이 가장 자주 쓰는 표현이 여러 토큰으로 잘게 쪼개지는 일이 생깁니다. 이번에 소개할 VocabX는 이 문제를 다루는 방법입니다. 브라질 리우데자네이루에서 도메인 특화 소형 언어 모델을 만드는 Dharma AI가 2026년 10월 21일 블로그 글로 결과 일부를 먼저 공개했습니다. Dharma AI는 이전에 PyTorchKR에서 소개한 DharmaOCR의 DPO 연구를 낸 곳이기도 합니다. 저자들은 VocabX를 "토큰의 빈도가 아니라 비용을 기준으로 …

---

## [NVIDIA, 4GB VRAM에서 동작하는 대화형 에이전트용 소형 모델 Nemotron 3.5 Bolt E4B 공개 (feat. Gemma 4)](https://discuss.pytorch.kr/t/nvidia-4gb-vram-nemotron-3-5-bolt-e4b-feat-gemma-4/12291)

<div class="topic-metadata">

**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\
**댓글:** 0\
**마지막 업데이트:** [10월 24, 2026, 6:30오전 UTC](https://discuss.pytorch.kr/t/nvidia-4gb-vram-nemotron-3-5-bolt-e4b-feat-gemma-4/12291 "2026-10-24T06:30:34Z")

</div>

핵심 요약 NVIDIA가 Nemotron 3.5 Bolt E4B 4GB 소개 글에서 Gemma 4 E4B를 강화학습으로만 사후 학습한 대화형 에이전트용 소형 모델을 공개했습니다. 음성 비서, 게임 NPC(Non-Player Character), 로봇 인터페이스처럼 대화와 도구 호출을 함께 하는 로컬 에이전트가 대상입니다. 이름의 4GB는 Q4\_K\_M GGUF 체크포인트를 실행할 때의 목표 메모리 사용량이며, NVIDIA가 측정한 VRAM은 3.1~5.0GB입니다. 내려받는 GGUF 파일은 6.18GB입니다. NVIDIA가 측정한 BF16 결과에서 21개 벤치마크 중 15개가 Gemma 4 E4B, Qwen3.5-4B보다 높았습니다. 다만 다중 턴 도구 사용 4개 중 3개(BFCL-v3, ToolSandbox, Tau2-Bench)에서는 Qwen3.5-4B가 앞섰습니다. 실제 배포하는 4비트 체크포인트에서는 1위가 21개 중 11개로 줄며 도구 사용 4개에서는 하나도 1위가 아닙니다. 원문의 "최대 80% 적은 출력 토큰"은 추론 모드의 Qwen3.5-4B(평균 3,604 토큰)와 비교한 값이고, 기반 모델인 Gemma 4 E4B와 비교하면 14% 적습니다. 사후 학습은 영어 데이터만 썼습니다. 한국어는 번역 품질이 유지되었고 MMLU-ProX 점수가 1.6~1.8점 낮아졌으며, 한국어 대화나 도구 호출 성능은 공개된 결과가 없습니다. Nemotron 3.5 Bolt E4B 소개 Nemotron 3.5 Bolt E4B 4GB는 NVIDIA가 Google의 Gemma 4 E4B 모델을 대화형 에이전트용으로 사후 학습한 소형 언어 모델입니다. NVIDIA는 이 모델을 GeForce RTX, Jetson, RTX Spark, DGX Spark 같은 로컬 장치에서 실행하는 음성 비서, 게임 캐릭터, 로봇 인터페이스용으로 소개합니다. 2026년 10월 23일 Hugging Face와 build.nvidia.com에 함께 공개되었습니다. 이런 에이전트에는 두 가…

---

## [VibeThinker-3B: 3B 파라미터로 프론티어급 추론에 도달한 소형 언어 모델 (feat. Weibo AI)](https://discuss.pytorch.kr/t/vibethinker-3b-3b-feat-weibo-ai/10748)

<div class="topic-metadata">

**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\
**댓글:** 3\
**마지막 업데이트:** [6월 18, 2026, 8:40오전 UTC](https://discuss.pytorch.kr/t/vibethinker-3b-3b-feat-weibo-ai/10748 "2026-06-18T08:40:51Z")

</div>

VibeThinker-3B 소개: 작은 모델은 정말 추론에 약할까 새로 산 자전거를 처음 탈 때를 떠올려 봅시다. 누구나 처음에는 몇 번씩 넘어지고 비틀거리지만, 일단 균형을 잡는 감각을 익히고 나면 자전거의 크기나 무게는 더 이상 큰 문제가 되지 않습니다. 정작 중요한 것은 페달을 밟는 몸집이 아니라 균형을 잡는 요령이었던 셈입니다. 이번에 살펴볼 VibeThinker-3B 는 거대 언어 모델(Large Language Model)의 추론(reasoning) 능력에 대해 이와 비슷한 질문을 던집니다. 이 기술 보고서는 Weibo AI 연구팀이 공개한 $3$B 파라미터 규모의 소형 추론 모델로, "검증 가능한 추론(verifiable reasoning) 능력을 엄격하게 작은 모델 안에서 어디까지 끌어올릴 수 있는가"를 실증적으로 탐구합니다. 결론부터 말하면, VibeThinker-3B는 AIME26에서 94.3 점, LiveCodeBench v6에서 80.2 Pass@1을 기록하며 자신보다 수백 배 큰 DeepSeek V3.2($671$B)나 Kimi K2.5($1$T) 같은 최상위 모델과 어깨를 나란히 했습니다. 거대 모델에 집중된 추론 능력 최근 강화학습(Reinforcement Learning)이 언어 모델의 사후 학습(post-training) 단계에 깊숙이 들어오면서, 복잡한 논리 추론 능력이 크게 향상되었습니다. 다만 현재 학계와 산업계는 어려운 추론 과제의 문턱을 넘기 위해 주로 스케일링 법칙(Scaling Law) 에 따라 파라미터 규모를 키우는 방식에 의존하고 있습니다. 그 결과 프론티어급 추론 능력은 수백억에서 수천억 파라미터 규모의 모델에 집중되어 있습니다. 반대편에는 $3$B 이하의 소형 언어 모델(Small Language Model, SLM) 이 있습니다. 이들은 배포 비용, 추론 효율, 그리고 학술 연구에서의 접근성 측면에서 분명한 강점을 지닙니다. 하지만 어려운 수학적 유도나 복잡한 프로그래밍 과제를 다룰 때는 본질적인 …

---

## [Needle: Gemini 3.1을 증류해 만든 26M 파라미터 함수 호출 전용 온디바이스 모델 (feat. Cactus)](https://discuss.pytorch.kr/t/needle-gemini-3-1-26m-feat-cactus/10249)

<div class="topic-metadata">

**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\
**댓글:** 0\
**마지막 업데이트:** [5월 16, 2026, 5:00오전 UTC](https://discuss.pytorch.kr/t/needle-gemini-3-1-26m-feat-cactus/10249 "2026-05-16T05:00:08Z")

</div>

Needle 소개 Needle은 Cactus Compute가 공개한, 함수 호출(Function Calling) 한 가지 작업에 특화된 26M 파라미터 규모의 초소형 언어 모델입니다. Gemini 3.1 Flash Lite를 교사 모델로 삼아 단순화된 어텐션 구조로 증류(Distillation)했으며, 사용자 질의(Query)에 대해 후보 도구(Tools) 중 어느 함수를 호출하고 어떤 인자를 넣어야 하는지를 JSON으로 출력하는 데 초점을 맞추고 있습니다. 모델 크기가 26M에 불과하기 때문에 일반 PC와 Mac 환경에서도 추론은 물론 사용자 데이터로의 파인튜닝까지 로컬에서 진행할 수 있고, 운영 환경에서는 Cactus 런타임 위에서 프리필(Prefill) 6,000 토큰/초, 디코드(Decode) 1,200 토큰/초 수준으로 동작합니다. Needle은 단순히 모델 가중치만 공개된 프로젝트가 아니라, 26M이라는 극단적으로 작은 규모로 함수 호출 능력을 어떻게 끌어올렸는지에 대한 설계 결정을 함께 공개한 실험 보고서에 가깝습니다. 저자들은 핵심 아이디어를 "Simple Attention Network(SAN)" 로 정리했으며, 이 구조에서는 전통적인 Transformer 블록에서 파라미터의 약 2/3를 차지하는 피드포워드(Feed-Forward Network, FFN) 레이어를 완전히 제거하고, 대신 인코더-디코더 구조와 크로스 어텐션(Cross Attention)에 자원을 집중합니다. 함수 호출이 본질적으로 "질의 → 도구 목록 → 인자 추출 → JSON 조립"이라는 정렬·복사 중심 작업이라는 관찰에서 출발한 결정입니다. 가중치와 데이터 생성 코드는 모두 공개되어 있으며, Hugging Face의 Cactus-Compute/needle 리포지토리에서 다운로드할 수 있습니다. 라이선스는 MIT이며, 단일 샷(Single-shot) 함수 호출 벤치마크에서 FunctionGemma-270M, Qwen-0.6B, Granite-350M, LFM2.5-35…
