# \#continual-learning **URL:** https://discuss.pytorch.kr/tag/continual-learning/1783.md [최신](https://discuss.pytorch.kr/latest.md) · [카테고리](https://discuss.pytorch.kr/categories.md) · [태그](https://discuss.pytorch.kr/tags.md) --- ## [Reef: 에이전트가 서비스되는 동안 모델 가중치와 하네스를 계속 갱신하는 지속 학습 인프라](https://discuss.pytorch.kr/t/reef/11830)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [9월 7, 2026, 12:00오후 UTC](https://discuss.pytorch.kr/t/reef/11830 "2026-09-07T12:00:02Z")
Reef 소개 에이전트를 배포하고 나면 그 뒤로는 대체로 아무것도 학습하지 않습니다. 사용자가 답변을 고쳐 쓰거나 그대로 넘어가는 반응이 매일 쌓이지만, 그 신호를 모아 모델을 다시 학습시키고 새 가중치를 배포하는 일은 서비스를 세우고 파이프라인을 따로 돌려야 하는 별개의 작업입니다. 추론 엔진은 트래픽을 받는 데까지만 책임지고, 강화학습(reinforcement learning) 프레임워크는 학습 작업까지만 책임지기 때문에, 그 사이를 잇는 부분은 팀마다 매번 새로 만들게 됩니다. Human-Agent-Society가 공개한 Reef는 그 사이를 채우는 인프라입니다. Reef는 표준화된 HTTP 엔드포인트를 노출해 두 가지 일을 한꺼번에 합니다. 하나는 에이전트의 모델 요청을 공급자 대신 자신의 추론(inference) 엔드포인트로 받는 것이고, 다른 하나는 그렇게 받은 상호작용과 뒤따르는 피드백을 근거로 백엔드에서 모델 가중치와 하네스(harness)를 갱신해 다시 서빙하는 것입니다. 프로젝트가 내세우는 사용자 경험은 에이전트를 쓰는 쪽에서 따로 할 일 없이 결과가 계속 좋아진다는 것입니다. Reef는 Python 3.10 이상에서 동작하는 패키지이며 PyPI에 reef-infra라는 이름으로 올라와 있습니다. 추론에는 SGLang, 가중치 학습에는 slime, 하네스 진화에는 cordis를 활용한다고 밝히고 있고, 산출물과 체크포인트 기능이 Git LFS를 쓰기 때문에 git-lfs 시스템 패키지가 필요합니다. Reef와 기존 추론 엔진, 강화학습 프레임워크의 차이 Reef는 자신의 위치를 추론 엔진과 강화학습 프레임워크 사이로 설명하며 다음 표를 제시합니다: 능력 추론 엔진(vLLM, SGLang 등) 강화학습 프레임워크(slime, veRL, AReaL 등) Reef 실시간 트래픽 서빙 가능 불가 가능 가중치 학습 불가 가능 가능 버전 관리 불가 불가 가능 갱신 중에도 서비스 유지 불가 불가 가능 가중치 외의 … --- ## [ASPIRE: 스스로 코드를 고치며 스킬을 쌓는 자기개선형 로봇 학습에 대한 연구 (feat. NVIDIA)](https://discuss.pytorch.kr/t/aspire-feat-nvidia/11066)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [7월 15, 2026, 12:30오후 UTC](https://discuss.pytorch.kr/t/aspire-feat-nvidia/11066 "2026-07-15T12:30:01Z")
ASPIRE 소개 숙련된 로봇 엔지니어가 새로운 작업을 프로그래밍하는 모습을 떠올려 봅시다. 로봇이 물건을 집다 실패하면, 그는 곧바로 코드를 갈아엎지 않습니다. 대신 실행 로그를 되짚어 보고, 카메라가 무엇을 봤는지 확인하고, 팔이 어떤 경로로 움직였는지 살핀 뒤, 정확히 어느 단계에서 무엇이 어긋났는지를 짚어냅니다. 그렇게 쌓인 디버깅 경험은 "이런 상황에서는 이렇게 접근하면 된다"는 재사용 가능한 노하우로 축적되고, 백 번째 작업을 다루는 엔지니어는 첫 번째 작업을 다루던 자신보다 훨씬 능숙해집니다. 이 글에서 소개하는 ASPIRE(Agentic Skill Programming through Iterative Robot Exploration) 는 바로 이 과정을 코딩 에이전트로 자동화한 로봇 지속 학습(Continual Learning) 시스템입니다. NVIDIA GEAR 연구실을 중심으로 미시간대학교(UMich), UIUC, UC 버클리, 카네기멜런대학교(CMU)가 함께 발표한 이 연구는, 로봇 제어 프로그램을 코드-정책(Code-as-Policy) 패러다임으로 직접 작성하고 스스로 고쳐 나가면서, 검증된 수정 경험을 재사용 가능한 스킬 라이브러리(Skill Library) 로 계속 쌓아 올리는 자기개선형 에이전트를 제안합니다. 기존 로봇 학습 접근법과 그 한계 로봇에게 새로운 조작 능력을 부여하는 방법은 크게 두 갈래로 발전해 왔습니다. 첫 번째는 시각-언어-행동 모델(Vision-Language-Action, VLA) 처럼 관측을 곧바로 행동으로 매핑하는 종단간(end-to-end) 정책입니다. OpenVLA, \\pi\_0 , \\pi\_{0.5} 같은 최신 모델들이 여기에 속합니다. 이 방식은 강력하지만, 학습 시 보지 못한 물체 배치나 목표, 공간적 변형이 조금만 가해져도 성능이 급격히 무너지고, 지시문을 살짝 바꿔 표현하기만 해도 크게 흔들리는 취약성을 보입니다. 무엇보다 정책이 왜 실패했는지 들여다보고 고칠 수 있는 통로가 사실상 없습니… --- ## [\[2026/02/23 ~ 03/01\] 이번 주에 살펴볼 만한 AI/ML 논문 모음](https://discuss.pytorch.kr/t/2026-02-23-03-01-ai-ml/9112)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [3월 1, 2026, 9:30오후 UTC](https://discuss.pytorch.kr/t/2026-02-23-03-01-ai-ml/9112 "2026-03-01T21:30:52Z")
\[2026/02/23 ~ 03/01\] 이번 주에 살펴볼 만한 AI/ML 논문 모음 PyTorchKR​:fire::south\_korea: :thinking::thought\_balloon: 이번 주 선정된 논문들을 살펴보면, 단순한 모델 스케일링을 넘어 효율성을 극대화하고, AI가 스스로를 개선하며, 사용자 환경에 실시간으로 적응하는 방향으로 나아가고 있음을 잘 보여줍니다: :one: 정적 연산을 넘어선 "동적/적응형 효율성" 최적화: 이번 주 연구들에서는 무작정 모델의 크기나 연산량을 늘리는 대신, 상황과 문제의 난이도에 맞게 자원을 동적으로 할당하는 실용적인 접근이 돋보였습니다. AdaptEvolve는 문제 해결의 신뢰도에 따라 실시간으로 적절한 크기의 LLM을 선택해 정확도를 유지하면서도 추론 비용을 대폭 절감했습니다. 또한 HyTRec은 긴 추천 시퀀스 처리 시 장기 선호도(선형 어텐션)와 단기 의도(소프트맥스 어텐션)를 분리하여 연산 병목을 해결했으며, Think Deep 논문은 단순히 출력 길이를 늘리는 대신 내부 층의 수정 빈도를 의미하는 '깊은 사고(Deep-thinking) 토큰' 비율을 측정해 테스트 타임 연산을 효율적으로 확장했습니다. 이는 AI 시스템이 내부 연산의 밀도와 모델 라우팅을 스마트하게 제어하여 비용과 성능의 파레토 최적을 찾아가고 있음을 보여줍니다. :two: 인간의 개입을 최소화하는 자율적 "발견" 및 "자가 진화(Self-Evolution)": AI가 단순히 주어진 문제를 푸는 수동적 도구를 넘어, 스스로 알고리즘을 발견하고 시스템을 개선하는 자율적 연구자로 발전하는 트렌드가 강하게 나타났습니다. AlphaEvolve는 기존에 인간의 직관에 의존하던 다중 에이전트 강화학습 알고리즘 설계를 LLM 기반 진화 에이전트가 자동으로 수행하여 더 나은 변형 알고리즘을 찾아냈습니다. Aletheia 역시 방대한 수학 문헌을 탐색하고 스스로 증명을 수정하며 박사 수준의 연구 논문을 자율적으로 작성하는 능력을 입증했습니다. 더 나아가 D… --- ## [\[2025/09/29 ~ 10/05\] 이번 주에 살펴볼 만한 AI/ML 논문 모음](https://discuss.pytorch.kr/t/2025-09-29-10-05-ai-ml/7911)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [10월 5, 2025, 9:30오후 UTC](https://discuss.pytorch.kr/t/2025-09-29-10-05-ai-ml/7911 "2025-10-05T21:30:23Z")
\[2025/09/29 ~ 10/05\] 이번 주에 살펴볼 만한 AI/ML 논문 모음 PyTorchKR​:fire::south\_korea: :thinking::thought\_balloon: :one: 정보의 진실성 및 신뢰성 향상: 여러 논문에서 정보의 정확성과 신뢰성을 높이기 위한 다양한 접근 방식이 제안되고 있습니다. 예를 들어, "Incentive-Aligned Multi-Source LLM Summaries"에서는 Truthful Text Summarization (TTS) 프레임워크를 통해 정보의 진실성을 보장하고, "AgentMaster"에서는 다중 에이전트 시스템을 활용하여 신뢰할 수 있는 정보 검색과 분석을 지원합니다. :two: 다중 에이전트 시스템의 발전: 여러 연구에서 다중 에이전트 시스템(MAS, Multi-Agent System)의 활용이 증가하고 있으며, 이는 복잡한 작업을 해결하는 데 큰 도움이 되고 있습니다. "TUMIX"와 "AgentMaster" 논문에서는 다양한 도구를 활용한 에이전트 간의 협업과 상호작용을 통해 성능을 향상시키는 방법을 제시하고 있습니다. :three: 지식 주입 및 지속적인 학습: "How to inject knowledge efficiently?"와 "Continual Learning for VLMs" 논문에서는 도메인 지식을 효과적으로 주입하고, 비정상적인 데이터에서 지속적으로 학습하는 방법에 대한 연구가 진행되고 있습니다. 이러한 연구들은 모델의 성능을 향상시키고, 기존 지식을 잃지 않도록 하는 데 중점을 두고 있습니다. ARE: 에이전트 환경 및 평가의 확장 / ARE: Scaling Up Agent Environments and Evaluations 논문 소개 Meta Superintelligence Lab이 공개한 Meta Agents Research Environments (ARE)는 에이전트 환경의 확장 가능성을 높이고, 합성 또는 실제 애플리케이션의 통합을 지원하며, 에이전트의 조… --- ## [\[2025/07/21 ~ 27\] 이번 주에 살펴볼 만한 AI/ML 논문 모음](https://discuss.pytorch.kr/t/2025-07-21-27-ai-ml/7341)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [7월 28, 2025, 3:30오전 UTC](https://discuss.pytorch.kr/t/2025-07-21-27-ai-ml/7341 "2025-07-28T03:30:37Z")
\[2025/07/21 ~ 27\] 이번 주에 살펴볼 만한 AI/ML 논문 모음 PyTorchKR​:fire::south\_korea: :thinking::thought\_balloon: :one: 이번 주 선정된 논문들을 살펴보면, 첫째로 대규모 언어 모델이 단순한 정적 모델에서 벗어나 스스로 학습 데이터를 생성하고 가중치를 업데이트하는 자기 적응(self-adapting) 능력을 갖추려는 연구가 두드러집니다. 예를 들어, SEAL 프레임워크는 모델이 스스로 파인튜닝 데이터를 생성하고 최적화 지시를 내리며 지속적으로 적응할 수 있도록 설계되어, 변화하는 환경과 새로운 과제에 능동적으로 대응하는 방향을 제시합니다. 이는 기존의 고정된 파라미터 기반 모델에서 벗어나, 실시간으로 학습하고 개선하는 지능형 에이전트 개발에 중요한 진전으로 평가됩니다. :two: 둘째, 강화학습과 검증 가능한 보상 신호를 결합하여 수학, 코드, 논리 퍼즐 등 복잡한 추론 문제에 대한 모델의 성능을 크게 향상시키려는 시도가 활발합니다. 특히 1-shot RLVR, TreeRL과 같은 방법론은 제한된 학습 예시나 트리 탐색 기반의 정책 학습을 통해 효율적이고 안정적인 강화학습을 구현하며, 보상 해킹 문제를 명시적으로 인지하고 대응하는 연구도 포함되어 있습니다. 이러한 연구들은 LLM의 추론 능력과 신뢰성을 동시에 높이며, 실제 응용에서의 안전성과 투명성을 확보하는 데 기여합니다. :three: 마지막으로, 멀티모달 및 다국어를 지원하는 대형 언어 모델이 실생활 기기와 서비스에 적용되는 사례가 증가하고 있습니다. Apple Intelligence Foundation Language Models와 같이 다양한 언어와 이미지 이해, 도구 호출 기능을 통합한 모델이 개발되어, 사용자 프라이버시 보호와 책임 있는 AI 운영을 위한 기술적·윤리적 노력이 병행되고 있습니다. 이는 단순한 모델 성능 향상을 넘어, 실제 환경에서의 활용성과 신뢰성, 그리고 사회적 수용성을 고려한 AI 기술 발전 방향을 보여줍… --- ## [\[2024/08/26 ~ 09/01\] 이번 주의 주요 ML 논문 (Top ML Papers of the Week)](https://discuss.pytorch.kr/t/2024-08-26-09-01-ml-top-ml-papers-of-the-week/5134)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [9월 2, 2024, 1:40오전 UTC](https://discuss.pytorch.kr/t/2024-08-26-09-01-ml-top-ml-papers-of-the-week/5134 "2024-09-02T01:40:52Z")
\[2024/08/26 ~ 09/01\] 이번 주의 주요 ML 논문 (Top ML Papers of the Week) PyTorchKR​:fire::south\_korea: :thinking::speech\_balloon: 이번 주에 선정된 논문들의 경향을 살펴보면 두 가지 주요 주제가 뚜렷하게 나타납니다: 멀티모달 학습과 생성 모델입니다. 첫째, 멀티모달 학습에 대한 논문이 두드러집니다. 'Transfusion', 'Guide to Continual Multimodal Pretraining', 그리고 'Foundation Models for Music' 등의 논문이 멀티모달 데이터의 활용 및 통합에 관해 다루고 있습니다. 이 논문들은 다양한 데이터 유형(예: 텍스트, 이미지, 오디오 등)을 결합하여 모델의 성능을 향상시키는 방법을 탐구합니다. 멀티모달 학습은 모델이 더 많은 정보를 다양한 소스에서 얻을 수 있도록 하여, 단일 모달리티에만 의존하는 모델보다 더 풍부하고 정확한 예측을 가능하게 합니다. 둘째, 생성 모델에 대한 연구가 활발하게 이루어지고 있습니다. 'GameGen', 'AutoGen Studio', 'Persuasion Games with LLMs' 등의 논문들은 생성 AI 모델을 이용한 다양한 응용 사례를 설명하고 있습니다. 게임 생성, 자동화된 창작 스튜디오, 그리고 설득 게임 등 다양한 분야에서 생성 모델이 어떻게 활용될 수 있는지를 다루며, 이들 논문은 생성 모델의 가능성과 한계를 탐구합니다. 생성 AI는 콘텐츠 생성, 대화 인터페이스, 자동화된 디자인 등에서 혁신적인 역할을 수행할 수 있기 때문에 이 분야의 연구가 점차 증가하고 있는 추세입니다. 이 두 가지 주요 경향은 AI 기술의 발전과 그 응용 가능성이 넓어짐에 따라 필연적으로 나타나는 현상입니다. 멀티모달 학습은 데이터 다양성을 활용하여 더 포괄적이고 정교한 모델을 만들기 위한 노력이 지속되면서 주목받고 있으며, 생성 모델은 인간의 창의성을 보조하거나 대체할 수 있는 … --- ## [\[TLDR\] 오늘의 AI 뉴스, 2023-10-12: 멀티모달 프론티어 모델 🌐, 빅테크 AI의 고군분투 💻, 미스트랄 7B 논문 📃](https://discuss.pytorch.kr/t/tldr-ai-2023-10-12-ai-7b/2647)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [10월 13, 2023, 5:42오전 UTC](https://discuss.pytorch.kr/t/tldr-ai-2023-10-12-ai-7b/2647 "2023-10-13T05:42:41Z")
파이토치 한국 사용자 모임에서는 TLDR 뉴스레터 의 승인을 받아 AI 소식을 DeepL로 번역 하여 전합니다. :star\_struck: 더 많은 AI 소식 및 정보를 공유하고 함께 성장하고 싶으신가요? 지금 파이토치 한국어 커뮤니티에 방문해주세요! :robot: :rocket: 주요 뉴스 & 신규 출시 소식 / Headlines & Launches AI 과대광고를 수익으로 전환하기 위한 빅 테크의 고군분투 / Big Tech Struggles to Turn AI Hype Into Profits (8 minute read) 거대 기술 기업들은 비용이 많이 드는 제너레이티브 AI 도구에 투자하고 있으며, 이는 소프트웨어 업그레이드 비용 상승으로 이어지고 있습니다. 기업들은 향후 비용 절감을 기대하면서 혁신과 수익성의 균형을 맞출 수 있는 방법을 모색하고 있습니다. Tech giants are investing in costly generative AI tools, leading to pricier software upgrades. Firms are exploring ways to balance innovation with profitability while anticipating future cost reductions. 멀티모달 프론티어 모델 심층 분석 / Deep dive into multimodal frontier models (28 minute read) 다중 모드 언어 모델에 대한 현재 연구 활동에 대해 자세히 알아보세요. multimodal An excellent dive into the current research activity around multimodal language models. 신뢰할 수 있는 LLM 구축을 위해 3천만 달러 모금에 나선 CleanLab / CleanLab raises $30M to help build trustworthy LLMs (8 minute read) MIT에서 오픈 소스 패키지로 시작…