# \#code-optimization **URL:** https://discuss.pytorch.kr/tag/code-optimization/7299.md [최신](https://discuss.pytorch.kr/latest.md) · [카테고리](https://discuss.pytorch.kr/categories.md) · [태그](https://discuss.pytorch.kr/tags.md) --- ## [Meta-Harness: Stanford IRIS Lab이 공개한, LLM 주변 실행 코드를 자동으로 최적화하는 에이전트 하네스 탐색 프레임워크에 대한 연구](https://discuss.pytorch.kr/t/meta-harness-stanford-iris-lab-llm/9811)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [4월 20, 2026, 9:30오후 UTC](https://discuss.pytorch.kr/t/meta-harness-stanford-iris-lab-llm/9811 "2026-04-20T21:30:41Z")
Meta-Harness 연구 개요: LLM 하네스를 자동으로 최적화하는 시스템 LLM 성능의 숨겨진 변수, 하네스(Harness) 최근 대규모 언어 모델(LLM)의 활용이 급속히 확대되면서, 모델의 성능을 좌우하는 요소에 대한 이해도 깊어지고 있습니다. 흥미로운 점은 동일한 LLM이라도 어떤 하네스(harness) 를 사용하느냐에 따라 같은 벤치마크에서 최대 6배의 성능 차이가 발생한다는 것입니다. 하네스란 모델 주변을 감싸는 코드로, 어떤 정보를 저장하고, 검색하고, 모델에 제시할지를 결정하는 모든 로직을 의미합니다. 프롬프트 구성, 문맥 관리, 검색 전략, 메모리 업데이트 등이 모두 하네스의 영역입니다. 이렇게 모델이 실제로 동작할 때 어떤 정보를 저장하고, 무엇을 검색하며, 어떤 형식으로 컨텍스트를 보여줄지를 결정하는 하네스(harness) - 즉, 모델 주변의 실행 코드가 최종 성능에 결정적인 역할을 하고 있음에도 불구하고, 하네스 엔지니어링은 여전히 대부분 수작업에 의존하고 있습니다. 개발자가 실패 사례를 검토하고, 휴리스틱을 조정하며, 소수의 설계안을 반복적으로 수정하는 방식입니다. 그렇다면 이 과정 자체를 자동화할 수는 없을까요? Meta-Harness의 핵심 아이디어는 바로 "하네스 엔지니어링도 탐색 문제다"라는 관점에서 출발합니다. 기존 텍스트 최적화 방법의 한계 하네스 최적화를 자동화하려는 시도로 가장 먼저 떠오르는 것은 텍스트 최적화(text optimization) 방법론들입니다. ProTeGi, TextGrad, OPRO, GEPA, AlphaEvolve/OpenEvolve, Feedback Descent 같은 방법들은 이전 시도에서 얻은 피드백을 활용해 프롬프트나 텍스트 아티팩트를 반복적으로 개선합니다. 하지만 이 방법들은 하네스 엔지니어링에 적합하지 않습니다. 핵심적인 문제는 피드백을 지나치게 압축한다는 점입니다. 어떤 방법은 현재 후보만 참조하고(Self-Refine, OPRO, TextGrad), 어떤 방법은 스칼라 …