open-computer-use 소개
AI 에이전트가 코드를 짜는 것을 넘어 사람 대신 컴퓨터를 직접 조작하는 "컴퓨터 사용(Computer Use)"이 주목받고 있지만, 이 기능은 특정 제품이나 플랫폼에 묶여 있는 경우가 많습니다. open-computer-use는 이 컴퓨터 사용 기능을 MCP(Model Context Protocol) 서비스로 감싸, 어떤 AI 에이전트나 MCP 클라이언트든 붙여서 쓸 수 있게 만든 오픈소스 프로젝트입니다. macOS, Linux, Windows에서 동작하며, 에이전트는 표준화된 MCP 인터페이스만 알면 됩니다. 덕분에 Codex, Claude Code, Gemini CLI, opencode처럼 서로 다른 에이전트가 같은 컴퓨터 사용 기능을 공유할 수 있습니다.
open-computer-use는 OpenAI의 Codex Computer Use에서 영감을 받았습니다. Codex의 사례가 운영체제의 접근성(Accessibility) 기능 위에서 비침습적인 컴퓨터 사용 에이전트(CUA)를 만들 수 있음을 보여 줬고, 이를 오픈소스로 구현한 것이 이 프로젝트입니다. 여기서 "비침습(non-intrusive)"이라는 표현이 핵심인데, 화면 픽셀을 흉내 내 클릭하는 방식이 아니라 운영체제가 앱에 제공하는 접근성 API를 통해 UI 요소를 인식하고 조작한다는 뜻입니다.
프로젝트는 저자가 AI 우선(AI-first) 프로젝트를 빠르게 시작하기 위한 자신의 하네스 템플릿(harness template) 위에서 만들어졌으며, 저장소 설명에 따르면 거의 100% AI로 생성된 프로젝트에 해당합니다. 본 게시물에서는 open-computer-use의 동작 구조, 설치와 에이전트 연결 방법, 그리고 도구를 직접 호출하는 방법을 차례대로 정리합니다.
open-computer-use의 동작 구조
동작은 위에서 아래로 흐르는 계층 구조로 이해하면 쉽습니다. 가장 위의 AI 에이전트(Codex, Claude Code, Gemini CLI, opencode 등)가 무언가를 컴퓨터에서 실행해야 할 때, 표준 프로토콜인 MCP를 통해 open-computer-use를 호출합니다. open-computer-use는 이 요청을 받아 운영체제의 접근성 API를 사용해 실제 앱의 UI 요소를 인식하고 조작합니다. 최종적으로는 macOS, Linux, Windows에서 돌아가는 앱이 그 조작의 대상이 됩니다.
이 구조의 장점은 에이전트와 컴퓨터 사용 구현이 MCP를 경계로 분리된다는 점입니다. 에이전트는 어떤 운영체제에서 어떻게 앱이 조작되는지 몰라도 되고, open-computer-use는 어떤 에이전트가 호출하는지와 무관하게 같은 방식으로 동작합니다. 실제로 저장소는 Codex 앱과 Codex CLI에서 공식 경험과 동일하게 쓰이는 데모, Gemini CLI가 MCP로 연결해 컴퓨터 사용을 수행하는 데모, 그리고 Linux에서 실행되는 데모를 제공합니다.
open-computer-use 설치와 에이전트 연결
설치는 npm 전역 설치 한 줄로 끝납니다. ocu라는 짧은 별칭도 함께 제공됩니다.
npm i -g open-computer-use
macOS에서는 런타임이 14.0 이상이어야 하고, 처음 한 번 실행한 뒤 접근성과 화면 기록 권한을 허용해야 합니다. Windows와 Linux에서는 이 단계가 필요 없습니다.
open-computer-use # 또는 ocu
에이전트에 연결하는 방법은 두 가지입니다. 내장 명령으로 각 에이전트의 설정 파일에 곧바로 등록하거나, MCP 서버 설정을 직접 추가하면 됩니다. 예를 들어 Codex는 ~/.codex/config.toml, Claude Code는 ~/.claude.json, Gemini CLI는 프로젝트의 ./.gemini/settings.json에 등록됩니다.
open-computer-use install-codex-mcp # Codex (~/.codex/config.toml)
open-computer-use install-claude-mcp # Claude Code (~/.claude.json)
open-computer-use install-gemini-mcp # Gemini CLI (프로젝트 설정)
open-computer-use install-opencode-mcp # opencode
설정 파일을 직접 다루고 싶다면 MCP 서버 항목만 추가해도 됩니다.
{
"mcpServers": {
"open-computer-use": {
"command": "open-computer-use",
"args": ["mcp"]
}
}
}
스킬 형태로 설치하는 것도 지원합니다. npx skills add iFurySt/open-codex-computer-use 명령으로 Codex나 Claude Code에 open-computer-use 스킬을 바로 넣을 수 있습니다.
open-computer-use의 도구와 명령
MCP를 통하지 않고 도구를 직접 호출해 볼 수도 있습니다. call 명령에 도구 이름을 넘기면 MCP 형식의 JSON 결과가 출력되며, 인자가 필요한 도구에는 --args로 값을 전달합니다.
open-computer-use call list_apps
open-computer-use call get_app_state --args '{"app":"TextEdit"}'
여러 도구를 한 프로세스에서 순차 실행하려면 --calls로 호출 목록을 넘깁니다. 이렇게 하면 UI 요소를 가리키는 element_index 상태가 호출 사이에 유지되며, 성공한 작업 사이에는 기본적으로 1초의 간격을 둡니다. 권한이 제대로 설정됐는지 확인할 때는 doctor 명령을 쓰고, 빠진 항목이 있을 때만 온보딩 화면이 열립니다.
open-computer-use call --calls '[{"tool":"get_app_state","args":{"app":"TextEdit"}},{"tool":"press_key","args":{"app":"TextEdit","key":"Return"}}]'
open-computer-use doctor
참고로 같은 저자는 브라우저 조작에 초점을 맞춘 자매 프로젝트 open-browser-use 도 공개하고 있어, 데스크톱 앱 대신 브라우저 자동화가 필요하면 함께 살펴볼 수 있습니다.
open-computer-use의 라이선스
open-computer-use는 MIT 라이선스로 공개되어 있어 개인 및 상업적 목적으로 자유롭게 사용할 수 있습니다.
open-computer-use 프로젝트 GitHub 저장소
이 글은 GPT 모델로 정리한 글을 바탕으로 한 것으로, 원문의 내용 또는 의도와 다르게 정리된 내용이 있을 수 있습니다. 관심있는 내용이시라면 원문도 함께 참고해주세요! 읽으시면서 어색하거나 잘못된 내용을 발견하시면 덧글로 알려주시기를 부탁드립니다. 
파이토치 한국 사용자 모임
이 정리한 이 글이 유용하셨나요? 회원으로 가입하시면 주요 글들을 이메일
로 보내드립니다! 텔레그램(Telegram)이나 Slack/Discord/Teams/Dooray/GoogleChat 등으로도 새 글 알림을 받으실 수 있습니다. 
아래
쪽에 좋아요
를 눌러주시면 새로운 소식들을 정리하고 공유하는데 힘이 됩니다~ 