OpenAI, 에이전트를 구축 / 배포 / 최적화할 수 있는 에이전트 구성 및 관리 플랫폼인 AgentKit 공개

9bow · 10월 7, 2025, 6:00오전

AgentKit 소개

OpenAI가 새롭게 발표한 AgentKit은 개발자와 기업이 AI 에이전트를 쉽게 구축하고, 배포하며, 최적화할 수 있도록 지원하는 통합 툴 세트입니다. 지금까지 에이전트를 구축하기 위해서는 여러 도구를 조합해야 했고, 버전 관리가 어려운 오케스트레이션, 복잡한 커넥터 설정, 수동 평가 파이프라인, 프롬프트 튜닝, 그리고 프런트엔드 개발에만 수 주가 걸리는 등의 비효율적인 과정이 필수였습니다. AgentKit은 이러한 문제를 해결하고 단일 플랫폼에서 모든 작업을 시각적으로 관리할 수 있는 환경을 제공합니다.

AgentKit의 중심이 되는 3가지 주요 구성 요소들은 다음과 같습니다:

에이전트 빌더(Agent Builder): 에이전트를 그리는 시각적 워크플로우 설계 도구로, 일종의 캔버스와 같습니다. 개발자는 이 Agent Builder를 사용하여 여러 에이전트들을 시각적으로 연결하여 복잡한 작업 흐름(Workflow)을 구성할 수 있습니다.
데이터 및 도구 연결 허브(Connector Registry): 조직의 관리자는 Connector Registry에서 여러 데이터 소스 및 외부 도구들의 연결 상태를 한곳에서 파악하고 관리할 수 있습니다. Connector Registry는 단순한 API Key를 관리하는 수준이 아닌, 에이전트가 접근할 수 있는 리소스에 대한 통합적인 정책을 지정하고 관리합니다.
대화도구(ChatKit): ChatKit은 제품이나 서비스에 에이전트형 대화 UI를 빠르게 통합(embed)할 수 있는 도구입니다. ChatKit을 사용하여 웹 사이트나 애플리케이션 내에서 자연스럽게 AI Agent와 대화하는 환경을 구성할 수 있습니다.

이와 함께, OpenAI는 평가(Evals) 기능도 확장하여 데이터셋 생성, 자동 평가, 프롬프트 최적화, 타사 모델 평가 등을 지원합니다. 이는 에이전트 성능을 보다 정확하게 측정하고 개선할 수 있게 합니다.

AgentKit은 OpenAI가 2024년 3월에 공개한 Responses API 및 Agents SDK의 발전형입니다. Responses API는 사용자 쿼리에 대한 응답 중심의 API였던 반면, AgentKit은 워크플로우 기반의 에이전트 구축 및 운영 전반을 포괄합니다.

예를 들어 Klarna는 고객지원 에이전트를 통해 전체 티켓의 3분의 2를 자동 처리하고 있으며, Clay는 판매 에이전트를 통해 성장률을 10배 향상시켰습니다. AgentKit은 이러한 사례를 더 빠르고 쉽게 구현할 수 있도록 설계되었습니다.

Agent Builder를 사용한 시각적 워크플로우 설계

Agent Builder는 에이전트의 동작 흐름을 시각적으로 구성할 수 있는 캔버스형 인터페이스입니다. 개발자는 노드 기반의 드래그 앤 드롭 방식으로 툴을 연결하고, 조건문과 평가 파이프라인을 설정하며, 버전 관리와 프리뷰 실행까지 한 곳에서 수행할 수 있습니다.

Ramp는 Agent Builder를 통해 구매자 지원용 에이전트를 단 몇 시간 만에 완성했습니다. 기존에는 수개월이 걸리던 오케스트레이션과 코드 작성, 수동 최적화를 Agent Builder가 단 몇 시간으로 단축했습니다. LY Corporation 또한 두 시간 만에 다중 에이전트 기반의 업무 보조 에이전트를 완성했습니다. 이러한 사례는 비개발자도 참여 가능한 협업 환경을 구현했다는 점에서 의미가 큽니다.

또한, Agent Builder에서는 Guardrails 기능을 활성화하여 에이전트를 보다 안전하게 보호할 수 있습니다. Guardrails는 **오픈소스이자 모듈형 안전 계층(safety layer)**으로, 의도치 않거나 악의적인 동작으로부터 에이전트를 보호하도록 설계되었습니다. 이를 통해 개발자는 신뢰할 수 있고 안전한 에이전트를 훨씬 손쉽게 구축하고 배포할 수 있습니다.

Guardrails는 다음과 같은 보안 기능을 제공합니다:

PII(개인식별정보) 마스킹 및 탐지: 입력이나 출력에서 개인 정보를 자동으로 감지하고 마스킹 처리하여 유출을 방지합니다.
Jailbreak 탐지: 모델이 의도적으로 보호 장치를 우회하려는 ‘탈옥(jailbreak)’ 시도를 식별하고 차단합니다.
추가 보안 정책 적용: 사용자가 직접 정의한 정책(예: 특정 키워드 차단, 응답 필터링 등)을 적용하여 에이전트의 응답을 제어할 수 있습니다.

이 모듈은 단독으로도 실행 가능하며, Python 및 JavaScript용 Guardrails 라이브러리를 통해 개별 프로젝트나 OpenAI Agent Builder 환경 내에서 바로 통합할 수 있습니다.

Python 버전: openai-guardrails-python
JavaScript 버전: openai-guardrails-js

Connector Registry로 데이터 연결 관리

Connector Registry는 엔터프라이즈 환경에서 여러 워크스페이스 간의 데이터 소스와 툴 연결을 중앙 관리할 수 있는 레지스트리입니다. Dropbox, Google Drive, SharePoint, Microsoft Teams 등의 사전 구축된 커넥터뿐 아니라, OpenAI가 아닌 다른 곳에서 구성한 MCP(Model Context Protocol) 서버들과도 통합할 수 있습니다.

이 기능은 ChatGPT와 OpenAI API 전반에서 일관된 데이터 연결성을 제공하며, 관리자는 글로벌 관리자 콘솔(Global Admin Console)을 사용하여 도메인, SSO, API 조직을 통합적으로 관리할 수 있습니다.

대화형 에이전트를 위한 ChatKit

ChatKit은 제품 내에 커스터마이징 가능한 챗봇 인터페이스를 손쉽게 통합(Embed) 할 수 있도록 돕는 툴킷입니다. 메시지 스트리밍, 스레드 관리, 모델의 사고 과정 시각화 등 복잡한 작업을 자동 처리하며, UI 디자인은 브랜드 테마에 맞게 수정할 수 있습니다.

HubSpot은 ChatKit을 활용해 고객지원용 에이전트를 구현하여 사용자 응답 속도와 품질을 향상시켰습니다. ChatKit은 온보딩 가이드, 리서치 보조, 내부 지식 어시스턴트 등 다양한 영역에 적용 가능합니다.

Evals, 에이전트 성능 평가 및 개선 도구

OpenAI는 기존의 Evals 프레임워크를 확장하여 새로운 Evals 프레임워크를 공개하였습니다. 여기에 새롭게 추가된 네 가지 핵심 기능들은 다음과 같습니다:

Datasets: 새로운 평가용 데이터셋을 빠르게 생성하고 자동 채점 및 인간 주석으로 확장 가능
Trace grading: 전체 워크플로우 단위의 평가를 자동화하여 문제 지점을 정밀하게 파악
Automated prompt optimization: 평가 결과를 바탕으로 개선된 프롬프트를 자동 생성
Third-party model support: 타사 모델도 OpenAI Evals 환경 내에서 평가 가능

이로써 개발자는 에이전트의 정확도, 일관성, 응답 품질을 지속적으로 모니터링하고 최적화할 수 있습니다.

강화 학습 기반의 맞춤형 모델 튜닝 (Reinforcement Fine-Tuning)

OpenAI는 Reinforcement Fine-Tuning (RFT) 기법을 사용하여 모델의 추론 성능을 사용자 정의할 수 있도록 지원합니다. 이 기능은 현재 o4-mini 모델에 대해 일반적으로 제공되며, GPT-5에 대해서는 프라이빗 베타 단계입니다.

이번 업데이트에서는 Custom Tool Calls과 Custom Graders 두 가지 기능이 새롭게 추가되었습니다.

Custom Tool Calls: 모델이 상황에 맞게 올바른 툴을 호출하도록 학습시켜 논리적 추론 능력을 강화
Custom Graders: 사용자별 맞춤 평가 기준을 설정하여 특정 목적에 맞게 모델을 세밀하게 튜닝

가격 및 출시 일정

현재 ChatKit과 새로운 Evals 기능은 모든 개발자에게 일반 제공 중이며, Agent Builder는 베타 버전으로 공개되었습니다. Connector Registry는 일부 API, ChatGPT Enterprise, EDU 고객 대상으로 베타 롤아웃이 시작되었습니다.

이 모든 기능은 기존 API 모델 요금제 내에서 제공되며, 별도의 추가 요금 없이 사용할 수 있습니다. 또한, OpenAI는 앞으로 ChatGPT 내에 Workflows API 및 에이전트 배포 옵션을 추가할 계획입니다.

OpenAI의 AgentKit 공개 블로그

https://openai.com/index/introducing-agentkit/