# \#halluminate

**URL:** https://discuss.pytorch.kr/tag/halluminate/4966.md

[최신](https://discuss.pytorch.kr/latest.md) · [카테고리](https://discuss.pytorch.kr/categories.md) · [태그](https://discuss.pytorch.kr/tags.md)

---

## [WebBench: 현실적인 웹 환경을 반영한 AI 브라우저 에이전트 벤치마크](https://discuss.pytorch.kr/t/webbench-ai/7040)

<div class="topic-metadata">

**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\
**댓글:** 0\
**마지막 업데이트:** [6월 2, 2025, 9:30오전 UTC](https://discuss.pytorch.kr/t/webbench-ai/7040 "2025-06-02T09:30:16Z")

</div>

WebBench 소개 AI 브라우저 에이전트들이 다양한 작업을 자동화하면서 각광받고 있지만, 그 성능을 제대로 평가할 수 있는 표준 벤치마크는 부족했습니다. WebBench는 그러한 공백을 메우기 위해 등장한 새로운 벤치마크로, 단순 탐색을 넘어서 로그인, 양식 입력, 파일 다운로드 같은 복잡한 웹 작업까지 포함합니다. 특히 실제 인기 웹사이트에서 수천 개의 시나리오를 기반으로 테스트되므로, AI 에이전트의 실질적 능력을 확인하고 싶은 개발자와 연구자에게 매우 유용합니다. WebBench는 Halluminate와 Skyvern 팀이 공동으로 개발한 브라우저 에이전트 성능 측정 벤치마크입니다. 전 세계 상위 1000개 웹사이트 중 452개를 선정하여, 총 5,750개의 웹 작업(task)을 포함하고 있습니다. 이 중 2,454개는 GitHub를 통해 오픈소스로 공개되어 누구나 사용할 수 있습니다. 기존의 WebVoyager 벤치마크는 단 15개 사이트와 642개의 단순 읽기 작업에 국한되어 있었기 때문에, CAPTCHA, 로그인, 팝업 처리 등 현실적인 웹 환경에서 마주치는 문제들을 다루지 못했습니다. WebBench는 이러한 한계를 극복하고, 실제 업무 환경에서 필요한 쓰기 작업(write-heavy tasks)까지 포함시켜 AI 브라우저 에이전트의 진짜 실력을 평가할 수 있게 설계되었습니다. WebVoyager 벤치마크와 주요 내용들을 비교하면 다음과 같습니다: 항목 WebVoyager WebBench 웹사이트 수 15 452 작업 수 642 5,750 오픈소스 작업 수 0 2,454 작업 유형 단순 읽기(Read) 중심 읽기(Read) + 쓰기(Write) 웹 환경 반영 제한적 CAPTCHA, 2FA, 팝업, 로그인 등 포함 특히, WebBench는 단순히 작업 수를 늘린 것이 아니라, 작업 유형을 READ/WRITE로 구분하고, 현실적인 실패 조건(예: 인증 실패, 접근 차단, CAPTCHA 처리 실패 등…
