# \#self-improving-agent **URL:** https://discuss.pytorch.kr/tag/self-improving-agent/9048.md [최신](https://discuss.pytorch.kr/latest.md) · [카테고리](https://discuss.pytorch.kr/categories.md) · [태그](https://discuss.pytorch.kr/tags.md) --- ## [Reef: 에이전트가 서비스되는 동안 모델 가중치와 하네스를 계속 갱신하는 지속 학습 인프라](https://discuss.pytorch.kr/t/reef/11830)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [9월 7, 2026, 12:00오후 UTC](https://discuss.pytorch.kr/t/reef/11830 "2026-09-07T12:00:02Z")
Reef 소개 에이전트를 배포하고 나면 그 뒤로는 대체로 아무것도 학습하지 않습니다. 사용자가 답변을 고쳐 쓰거나 그대로 넘어가는 반응이 매일 쌓이지만, 그 신호를 모아 모델을 다시 학습시키고 새 가중치를 배포하는 일은 서비스를 세우고 파이프라인을 따로 돌려야 하는 별개의 작업입니다. 추론 엔진은 트래픽을 받는 데까지만 책임지고, 강화학습(reinforcement learning) 프레임워크는 학습 작업까지만 책임지기 때문에, 그 사이를 잇는 부분은 팀마다 매번 새로 만들게 됩니다. Human-Agent-Society가 공개한 Reef는 그 사이를 채우는 인프라입니다. Reef는 표준화된 HTTP 엔드포인트를 노출해 두 가지 일을 한꺼번에 합니다. 하나는 에이전트의 모델 요청을 공급자 대신 자신의 추론(inference) 엔드포인트로 받는 것이고, 다른 하나는 그렇게 받은 상호작용과 뒤따르는 피드백을 근거로 백엔드에서 모델 가중치와 하네스(harness)를 갱신해 다시 서빙하는 것입니다. 프로젝트가 내세우는 사용자 경험은 에이전트를 쓰는 쪽에서 따로 할 일 없이 결과가 계속 좋아진다는 것입니다. Reef는 Python 3.10 이상에서 동작하는 패키지이며 PyPI에 reef-infra라는 이름으로 올라와 있습니다. 추론에는 SGLang, 가중치 학습에는 slime, 하네스 진화에는 cordis를 활용한다고 밝히고 있고, 산출물과 체크포인트 기능이 Git LFS를 쓰기 때문에 git-lfs 시스템 패키지가 필요합니다. Reef와 기존 추론 엔진, 강화학습 프레임워크의 차이 Reef는 자신의 위치를 추론 엔진과 강화학습 프레임워크 사이로 설명하며 다음 표를 제시합니다: 능력 추론 엔진(vLLM, SGLang 등) 강화학습 프레임워크(slime, veRL, AReaL 등) Reef 실시간 트래픽 서빙 가능 불가 가능 가중치 학습 불가 가능 가능 버전 관리 불가 불가 가능 갱신 중에도 서비스 유지 불가 불가 가능 가중치 외의 …