# \#sakana-ai **URL:** https://discuss.pytorch.kr/tag/sakana-ai/3591.md [최신](https://discuss.pytorch.kr/latest.md) · [카테고리](https://discuss.pytorch.kr/categories.md) · [태그](https://discuss.pytorch.kr/tags.md) --- ## [MASS(Multi-Agent Self-Supervision): 자신을 복제한 에이전트 팀의 작업 궤적으로 학습하는 재귀적 자기 개선(RSI)에 대한 연구 (feat. SakanaAI)](https://discuss.pytorch.kr/t/mass-multi-agent-self-supervision-rsi-feat-sakanaai/12176)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [10월 14, 2026, 11:00오후 UTC](https://discuss.pytorch.kr/t/mass-multi-agent-self-supervision-rsi-feat-sakanaai/12176 "2026-10-14T23:00:21Z")
핵심 요약 UC Berkeley와 Sakana AI 연구팀의 MASS(Multi-Agent Self-Supervision) 논문은 언어 모델 하나가 과제 수행, 결과 평가, 워크플로우 개선을 모두 맡는 재귀적 자기 개선(RSI) 방법입니다. 그 모델의 복제본으로 꾸린 팀의 작업 궤적을 다시 미세조정 데이터로 씁니다. 코드는 SakanaAI/mass 저장소에 공개되어 있습니다. Qwen3.6-27B로 두 사이클을 실행하자 연구형 공개 벤치마크 4개(MLR-Bench, DSBench, ScienceAgentBench, AstaBench)에서 출력 토큰당 점수가 기준 모델의 1.2 ~ 1.6 배가 되었습니다. 학습에 쓰지 않은 합성 연구 과제 3개에서는 기준 모델 대비 승률이 69.9\\% 였습니다. 반면 Terminal-Bench 2.0과 SWE-bench Verified 점수는 조금 낮아졌습니다. 과제 풀이 궤적만 학습했는데도 같은 모델의 평가 정확도(외부 판정과의 일치도)가 73\\% 에서 93\\% 로 올랐고, 워크플로우 탐색도 더 빨리 성공했습니다. 멀티에이전트 궤적으로 학습한 모델은 가장 큰 단일 에이전트 학습 모델보다 지도 토큰을 약 31\\% 덜 처리하고도 더 높은 승률을 보였습니다. 승률은 GPT-5.5와 Claude Opus 4.8의 쌍대 비교 판정이고, MLR-Bench 점수 상승은 논문 제출률 상승과 함께 나타났으며 과제 단위 부호 검정에서는 유의하지 않았습니다. 저장소에는 두 사이클 파이프라인과 12개 합성 과제가 있지만, 논문의 분석 대부분과 공개 벤치마크 4개의 실행기, 학습된 가중치, 오픈소스 라이선스는 없습니다. MASS 소개 혼자 쓴 보고서의 오류를 스스로 찾기는 어렵습니다. 같은 사람이 같은 생각으로 다시 읽기 때문입니다. 그런데 같은 사람이라도 역할을 나눠 데이터 담당, 실험 담당, 검토 담당처럼 일하면, 각 단계가 넘겨주는 결과물을 다음 단계가 확인하면서 혼자일 때 놓친 것을 잡기도 합니다. 이 논문은 언어 모델이 스스로를 … --- ## [Error Diffusion: 역전파 없이 Dale의 원리를 지키는 이중 스트림 신경망 (feat. Sakana AI)](https://discuss.pytorch.kr/t/error-diffusion-dale-feat-sakana-ai/11365)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [7월 21, 2026, 1:00오후 UTC](https://discuss.pytorch.kr/t/error-diffusion-dale-feat-sakana-ai/11365 "2026-07-21T13:00:36Z")
Error Diffusion 소개 우리 뇌 속의 뉴런에게는 한 가지 엄격한 규칙이 있습니다. 어떤 뉴런은 다른 뉴런을 흥분시키기만 하고, 어떤 뉴런은 억제시키기만 합니다. 한 뉴런이 상황에 따라 어떤 연결은 흥분성으로, 어떤 연결은 억제성으로 자유롭게 바꾸는 일은 일어나지 않습니다. 마치 자동차의 가속 페달과 브레이크 페달이 물리적으로 분리되어 있는 것처럼, 생물학적 신경망은 흥분과 억제라는 두 역할을 별도의 뉴런 집단으로 나누어 담당합니다. 이것이 신경과학의 오래된 원칙인 Dale의 원리(Dale's principle) 입니다. 이 논문은 Sakana AI가 발표한 연구로, "역전파(Backpropagation) 없이, 그리고 이 Dale의 원리를 엄격히 지키면서도 신경망을 제대로 학습시킬 수 있는가?" 라는 질문에 답합니다. 연구팀은 Error Diffusion(ED) 이라는 생물학적으로 타당한 학습 규칙을 이중 스트림(dual-stream) 구조로 확장하여, 지도 학습 기반 이미지 분류와 강화학습(Reinforcement Learning)이라는 두 상반된 영역에서 모두 작동함을 보였습니다. 나아가 어떤 구성 요소가 학습에 결정적인지가 과제에 따라 완전히 뒤바뀐다는 흥미로운 현상을 발견했습니다. 역전파는 왜 생물학적으로 타당하지 않은가 현대 인공 신경망(Artificial Neural Network)은 하나의 연결에 양수든 음수든 자유롭게 가중치를 부여합니다. 이 단순화 덕분에 역전파를 통한 효율적인 학습이 가능하지만, 실제 생물학적 학습과는 거리가 멉니다. 특히 역전파에는 가중치 수송 문제(weight transport problem) 라는 근본적인 생물학적 비현실성이 존재합니다. 역전파의 역방향 경로는 순방향 가중치 행렬의 정확한 전치(transpose)를 그대로 사용해야 합니다. 마치 목적지까지 가는 길에 사용한 모든 도로 지도의 완벽한 거울상 사본을 뉴런이 어딘가에 따로 보관하고 있어야 한다는 뜻인데, 실제 뇌에는 이런 대칭적인 역방향 배… --- ## [Sakana AI, 여러 LLM을 하나의 모델처럼 오케스트레이션하는 Fugu와 Fugu Ultra 출시](https://discuss.pytorch.kr/t/sakana-ai-llm-fugu-fugu-ultra/10858)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [6월 22, 2026, 5:30오전 UTC](https://discuss.pytorch.kr/t/sakana-ai-llm-fugu-fugu-ultra/10858 "2026-06-22T05:30:46Z")
Sakana Fugu 소개 Sakana AI가 2026년 6월 22일, 여러 개의 최첨단 LLM을 하나의 모델처럼 다룰 수 있게 해 주는 새로운 제품 Sakana Fugu 를 공개했습니다. Fugu는 멀티 에이전트 오케스트레이션 시스템 전체를 단일 기반 모델(foundation model)로 포장한 제품으로, 사용자는 단 하나의 OpenAI 호환 API 엔드포인트에 요청을 보내기만 하면 됩니다. 내부에서는 Fugu가 작업의 성격을 판단해 직접 답하거나, 여러 전문 모델로 구성된 팀을 동적으로 편성하고 조율해 복잡하고 여러 단계로 이뤄진 문제를 풀어냅니다. 여기서 핵심은 Fugu 자체가 하나의 언어 모델(Language Model) 이라는 점입니다. Fugu는 에이전트 풀(agent pool) 안의 다양한 LLM을 언제, 어떻게 호출할지를 학습한 모델이며, 필요하면 자기 자신을 재귀적으로 호출하기도 합니다. 즉, 외부에서 보면 사용자는 그저 모델 하나를 부르고 있지만, 내부에서는 협조하는 전문가 집단이 일을 나눠서 처리하고 있는 구조입니다. 이를 통해 특정 벤더 한 곳에 종속되지 않으면서도, 또 전통적인 멀티 에이전트 시스템을 직접 구축하는 복잡함을 떠안지 않으면서도, 프론티어급 성능의 집단 지성(collective intelligence)을 워크플로우에 곧장 연결할 수 있습니다. Sakana AI는 이전부터 진화 기반 접근과 집단 지성을 일관되게 탐구해 온 연구소입니다. 과학 연구 자동화를 시도한 The AI Scientist, 특이값(singular value) 단위로 가중치를 조정해 스스로 적응하는 Transformer², 시간 축에서 사고를 전개하는 Continuous Thought Machine, 그리고 최대 8시간 자율 추론으로 전략 리서치를 수행하는 첫 상용 제품 Sakana Marlin까지, Fugu는 이러한 흐름의 연장선 위에 놓여 있습니다. 이번 글에서는 출시 발표와 함께 공개된 기술 보고서(Technical Report)의 내용까지 … --- ## [Sakana AI의 첫 상용 제품, 최대 8시간 자율 추론으로 전략 리서치를 수행하는 Sakana Marlin 출시](https://discuss.pytorch.kr/t/sakana-ai-8-sakana-marlin/10738)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [6월 17, 2026, 12:30오전 UTC](https://discuss.pytorch.kr/t/sakana-ai-8-sakana-marlin/10738 "2026-06-17T00:30:37Z")
Sakana Marlin 소개 Sakana AI가 2026년 6월 15일, 회사의 첫 상용 제품인 Sakana Marlin(사카나 마린) 을 출시했습니다. Sakana Marlin은 조사 주제 하나만 입력하면 최대 약 8시간 동안 사람의 개입 없이 스스로 리서치를 수행하고, 수십에서 최대 100페이지에 이르는 전략 리포트와 경영진용 요약 슬라이드를 만들어 주는 비즈니스용 자율 리서치 에이전트(autonomous research assistant)입니다. Sakana AI는 이 제품을 "당신의 가상 CSO(Your Virtual CSO)" 라고 표현합니다. 본래 최고전략책임자(Chief Strategy Officer)와 소규모 팀이 몇 주에 걸쳐 진행하던 본격적인 전략 조사를, AI가 대신 떠맡도록 설계했다는 의미입니다. 즉 초 단위로 텍스트를 뱉어 내는 일반적인 챗봇형 도구와 달리, 추론 시점의 연산량(inference-time compute)을 키워 길게는 8시간까지 연속적이고 자율적인 추론(reasoning)을 수행하는 데 초점을 맞췄습니다. 핵심은 "요약에 그치지 않는다" 는 점입니다. Sakana Marlin은 주제를 받으면 사용자와 짧은 대화를 통해 조사 방향을 다듬은 뒤, 이후로는 사람 손을 거치지 않고 가설 수립, 정보 수집, 웹 탐색, 모순 해소를 스스로 반복합니다. 그리고 복잡한 비즈니스 환경에 숨은 인과 관계를 정리하여, 경영진이 곧바로 검토할 수 있는 구조화된 전략 선택지(structured strategic options) 형태로 결과물을 제시합니다. 핵심 특징 세 가지 Sakana Marlin이 강조하는 차별점은 크게 세 가지입니다. 수 주가 걸리던 리서치를 수 시간으로 (High-Quality Autonomous Reasoning): 일반 AI 챗 도구와 달리 수 시간에 걸친 장기 추론을 수행합니다. 가설 검증과 웹 리서치를 자율적으로 반복하며 방대한 정보 속에서 정말 중요한 논점을 끌어올립니다. 요약이 아니… --- ## [Continuous Thought Machine(CTM): 시간의 흐름 속에서 사고하는 인공지능에 대한 연구 (feat. Sakana AI)](https://discuss.pytorch.kr/t/continuous-thought-machine-ctm-feat-sakana-ai/6932)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [5월 12, 2025, 2:03오후 UTC](https://discuss.pytorch.kr/t/continuous-thought-machine-ctm-feat-sakana-ai/6932 "2025-05-12T14:03:22Z")
Continuous Thought Machine(CTM) 소개 Sakana AI가 생물학적 뇌의 시간 기반 동기화 원리를 모방한 새로운 신경망 아키텍처, Continuous Thought Machine(CTM)을 공개했습니다. 기존의 딥러닝 모델과는 다른 방식으로 “생각”하는 이 모델은, 인간과 유사한 사고 과정을 구현하려는 시도입니다. 특히, 시간에 따른 뉴런 간의 동기화를 통해 문제를 해결하는 방식은 기존 AI 모델과 차별화됩니다. 현대의 인공지능 모델은 주로 입력에 대한 즉각적인 출력에 초점을 맞추며, 시간에 따른 뉴런의 활동 패턴은 대부분 무시되어 왔습니다. 그러나 생물학적 뇌에서는 뉴런 간의 정밀한 타이밍과 동기화가 중요한 역할을 합니다. Sakana AI가 공개한 CTM은 이러한 생물학적 원리를 모방하여, 시간에 따른 뉴런의 동기화를 중심으로 사고하는 새로운 신경망 아키텍처입니다. CTM은 뉴런이 자신의 과거 활동 이력을 기반으로 현재의 출력을 결정하며, 뉴런 간의 동기화 패턴을 통해 정보를 처리합니다. 이러한 방식은 기존의 피드포워드 네트워크나 트랜스포머와는 다른, 보다 유연하고 해석 가능한 사고 과정을 가능하게 합니다. 특히, CTM은 문제를 단계적으로 “생각”하며 해결하는 과정을 보여주어, 인간의 사고 방식과 유사한 특성을 지닙니다. Continuous Thought Machine(CTM)의 핵심 개념 Continuous Thought Machine(CTM)은 기존의 인공신경망 모델들과 달리, 시간적 정보와 뉴런 간의 상호작용을 핵심 연산 단위로 끌어올립니다. 이 아키텍처의 본질은 “생각한다”는 개념을 계산 가능한 프로세스로 환원하는 데 있으며, 이를 위해 CTM은 내부적으로 세 가지 주요 구조적 아이디어(내부 사고 차원, 뉴런 수준 모델, 동기화 기반 표현)를 사용합니다. CTM은 아래 세 가지 개념을 하나의 사고 메커니즘으로 통합합니다. 내부 tick은 사고의 흐름을 만들고, 각 뉴런 수준 모델은 입력… --- ## [Transformer²: 자기 적응형 LLM(Self-Adaptive LLMs)에 대한 연구 (feat. Sakana AI)](https://discuss.pytorch.kr/t/transformer-llm-self-adaptive-llms-feat-sakana-ai/5881)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [1월 16, 2025, 8:30오후 UTC](https://discuss.pytorch.kr/t/transformer-llm-self-adaptive-llms-feat-sakana-ai/5881 "2025-01-16T20:30:21Z")
Transformer² 연구 소개 대규모 언어 모델(Large Language Models, LLMs)은 인공지능(AI) 발전의 핵심이 되었지만, 기존 LLM은 본질적으로 정적인 구조를 가지고 있어 새로운 작업이나 환경에 빠르게 적응하기 어렵습니다. 기존 모델은 정적인 학습 구조를 기반으로 설계되어 한 번 학습된 이후에는 추가적인 작업을 처리하기 위해 전체 모델을 재학습해야 하며, 이는 높은 계산 비용과 자원 소모를 초래합니다. Sakana AI가 제안하는 Transformer²는 이러한 한계를 극복하기 위해 설계된 새로운 프레임워크로, AI 시스템이 환경과 작업에 따라 실시간 적응할 수 있도록 지원합니다. 이 프레임워크는 기존 LLM의 정적 구조를 개선하여 특이값 기반 파인튜닝(Singular Value Fine-tuning, SVF) 및 두 단계 추론(Two-pass Inference) 을 결합하여, 더 높은 성능과 효율성을 제공합니다: 특이값 기반 파인튜닝(Singular Value Fine-tuning, SVF): 모델의 가중치 행렬에서 특이값(Singular Value)만을 선택적으로 조정하여 효율적이고 유연한 적응을 가능하게 합니다. 두 단계 추론(Two-pass Inference): 첫 번째 단계에서 입력 작업의 특성을 분석하고, 두 번째 단계에서 작업에 특화된 전문가 벡터(Expert Vectors)를 활용하여 맞춤형 출력을 생성합니다. Transformer² 프레임워크는 기존의 LoRA(Low-Rank Adaptation)와 같은 파인튜닝 방식보다 더 적은 매개변수를 사용하며, 계산 효율성을 유지하면서도 성능을 크게 향상시킬 수 있습니다. 또한 Transformer²는 단순히 언어 작업에 국한되지 않고, 비전-언어(Vision-Language)와 같은 다양한 도메인에서도 성공적으로 적용될 수 있는 확장성을 가지고 있습니다. 자기 적응형 LLM (Self-Adaptive LLMs) 자기 적응형 LLM(Self-Adaptive LLM… --- ## [The AI Scientist: 과학 연구 자동화를 향한 첫걸음 (feat. Sakana AI)](https://discuss.pytorch.kr/t/the-ai-scientist-feat-sakana-ai/5076)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [8월 21, 2024, 1:05오후 UTC](https://discuss.pytorch.kr/t/the-ai-scientist-feat-sakana-ai/5076 "2024-08-21T13:05:02Z")
The AI Scientist 소개 Sakana AI에서 개발한 AI Scientist는 전 과정을 자동화해 과학 연구를 수행하는 시스템으로, 연구 아이디어 생성부터 실험, 논문 작성, 피어 리뷰까지 모두 수행할 수 있습니다. 단순한 초기 코드베이스를 출발점으로 연구 방향을 설정하고, 아이디어 생성, 문헌 검색, 실험 계획, 실험 반복, 도표 생성, 논문 작성, 리뷰까지 수행하여 통찰력 있는 논문을 작성합니다. AI Scientist는 이전 아이디어와 피드백을 활용하여 다음 아이디어를 개선하고, 이를 반복하면서 인류 과학 공동체를 모방합니다. 아이디어 생성: 주어진 템플릿을 기반으로 다양한 연구 방향을 브레인스토밍하고, 기존 연구와의 차별성을 확인하기 위해 문헌 검색을 수행합니다. 실험 반복: 아이디어와 템플릿을 바탕으로 실험을 실행하고 결과를 시각화하여 논문 작성을 위한 데이터를 수집합니다. 논문 작성: 실험 데이터를 바탕으로 LaTeX 스타일의 논문을 작성하며, 관련 논문을 자동으로 참조합니다. 자동 논문 리뷰: 생성된 논문에 대해 LLM 기반의 리뷰어가 평가를 수행하고, 결과를 개선하거나 피드백을 제공합니다. AI Scientist가 생성한 논문의 예시 AI Scientist가 생성한 몇 가지 논문을 통해 그 능력을 보여줍니다. 여기에는 확산 모델링, 언어 모델링, Grokking 등 다양한 분야에서의 연구가 포함되어 있습니다. 예를 들어, Adaptive Dual-Scale Denoising은 저차원 생성 모델을 위한 새로운 방법을 제안하며, StyleFusion은 캐릭터 레벨 언어 모델에서 다중 스타일 생성을 위한 방법론을 탐구합니다. 확산 모델링(Diffusion Modeling) 확산 모델링(Diffusion Modeling) 에서는 DualScale Diffusion: Adaptive Feature Balancing for Low-Dimensional Generative Models라는 논문을 생성하여 저차원 생성 모델…