# \#enterpriseops-gym **URL:** https://discuss.pytorch.kr/tag/enterpriseops-gym/9239.md [최신](https://discuss.pytorch.kr/latest.md) · [카테고리](https://discuss.pytorch.kr/categories.md) · [태그](https://discuss.pytorch.kr/tags.md) --- ## [AutoSynthData: 에이전트가 실패한 과제를 검증된 학습 데이터로 바꾸는 ServiceNow의 파이프라인 (feat. EnterpriseOps-Gym)](https://discuss.pytorch.kr/t/autosynthdata-servicenow-feat-enterpriseops-gym/12083)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [10월 3, 2026, 1:30오전 UTC](https://discuss.pytorch.kr/t/autosynthdata-servicenow-feat-enterpriseops-gym/12083 "2026-10-03T01:30:42Z")
핵심 요약 ServiceNow CoreAI가 대상 모델이 실패하고 교사 모델이 성공한 과제를 분석해, 환경에서 실행 검증을 통과한 새 학습 과제를 만드는 합성 데이터 파이프라인 AutoSynthData를 Huggign Face 블로그에 소개했습니다. EnterpriseOps-Gym의 Hybrid 도메인에서 합성 샘플 2,000개로 지도 미세조정한 Gemma-4-26B-A4B-it의 평균 Pass@1이 20.45%에서 27.65%로, ITSM 도메인에서는 18.77%에서 27.18%로 올랐습니다. 평가에 쓴 과제가 무엇을 가르칠지 정하는 진단 과제이기도 하고 최적 체크포인트도 같은 벤치마크로 골랐기 때문에, 이 결과는 같은 환경 안에서 거둔 개선이며 처음 보는 환경으로 일반화된다는 근거는 아닙니다. 블로그도 결과의 범위를 실험에 쓴 환경으로 한정합니다. 파이프라인 코드와 생성된 학습 데이터는 이번 발표에 포함되지 않았고, 직접 실행해 볼 수 있는 것은 Apache 2.0으로 공개된 EnterpriseOps-Gym 벤치마크입니다. AutoSynthData 소개 AutoSynthData 는 기업 환경에서 동작하는 에이전트가 약한 지점을 찾아, 그 약점을 연습시키는 학습 과제를 자동으로 만들어 내는 ServiceNow CoreAI 팀의 합성 데이터(Synthetic Data) 파이프라인입니다. 대상 모델의 실패와 더 강한 교사 모델(Teacher Model)의 성공을 함께 보고 다음에 무엇을 가르칠지 정한 뒤, 새 과제를 생성하고 실제 환경에서 실행해 검증된 것만 학습 데이터로 남깁니다. 모델이 나아지면 커리큘럼(curriculum)도 아직 어려워하는 쪽으로 옮겨 갑니다. 블로그는 기업이 개선해야 할 약점을 "전반적으로 유능한 모델도 특정 환경에서는 어려움을 겪을 수 있다" 는 데서 찾고, 잘 처리하지 못하는 워크플로, 잘못 조합하는 도구, 지키지 못하는 제약을 예로 듭니다. 문제는 이런 약점을 학습 데이터로 바꾸는 일입니다. 실패 사례 하나는 단서일 뿐이…