Windows MCP: 다양한 AI 에이전트가 윈도우 UI 요소를 직접 제어할 수 있도록 하는 MCP Server 프로젝트

9bow · 7월 3, 2025, 9:30오후

Windows MCP 소개

Windows MCP는 AI와 윈도우 운영체제의 자연스러운 통합을 목표로 한 오픈소스 경량 MCP(Model Context Protocol) 서버입니다. 최근 AI와 윈도우 운영체제의 연동에 대한 요구가 점점 커지고 있습니다. 예를 들어, 대형 언어 모델(LLM)이 단순히 텍스트 입력·출력에서 머무르지 않고 실제 운영체제의 파일, 앱, UI 등을 제어하는 방향으로 발전하고 있습니다. 하지만 기존의 윈도우 자동화 도구는 대부분 복잡한 셋업, 컴퓨터 비전, 별도 모델 튜닝 등을 필요로 하여 접근성이 낮았습니다. Windows MCP는 이런 문제를 해결하고, 누구나 쉽고 빠르게 LLM 기반 에이전트를 윈도우 환경에 연결할 수 있도록 설계된 프로젝트입니다.

주의: Windows MCP는 윈도우 운영체제의 실제 시스템 제어를 직접 수행합니다. 따라서 신뢰할 수 없는 환경이나, 보안이 중요한 시스템에는 신중하게 적용해야 합니다. 실수로 중요한 파일 삭제, 앱 비정상 종료 등의 위험도 있으므로 충분한 테스트와 검증 후 도입을 권장합니다.

Windows MCP 서버는 윈도우 UI 요소와의 네이티브 상호작용, 앱 실행 및 제어, 마우스·키보드 입력 시뮬레이션 등 다양한 작업을 지원합니다. 기존의 비슷한 프로젝트들이 주로 컴퓨터 비전이나 별도의 Fine-tune 모델에 의존한 반면, Windows MCP는 이러한 추가 인공지능 구성요소 없이, Vision이 지원되는 LLM뿐만 아니라, Vision이 없는 LLM도 사용 가능하다는 점에서, 실질적으로 더 넓은 AI 모델 생태계와 연동할 수 있습니다.

실제로, 본 프로젝트의 목적은 LLM 에이전트가 파일 탐색, 앱 실행, UI 상호작용, QA 테스트 등 윈도우 시스템에서의 실제 사용자 행동을 자동화할 수 있도록 만드는 것입니다. 또한 오픈소스이기 때문에 누구나 소스코드를 분석하고, 필요에 따라 확장 또는 커스터마이징이 가능합니다.

Windows MCP는 윈도우 자동화 분야의 기존 도구들과 차별화되는 지점을 가지고 있습니다. 대표적인 윈도우 자동화 도구로는 AutoHotkey, PyAutoGUI, SikuliX 등이 있습니다. 이들 대부분은 스크립트 기반의 매크로 작성 혹은 이미지 기반의 UI 인식 방식을 활용합니다. 그러나, 이러한 툴은 LLM과의 직접적인 연동이 불편하거나, 컴퓨터 비전 의존도가 높아 세팅이 복잡하다는 단점이 있습니다.

반면, Windows MCP는 LLM이 텍스트로 명령을 내리면 바로 윈도우에서 동작하는 구조로, 별도의 컴퓨터 비전 모듈이나 Fine-tune 과정 없이도 현대적 AI 에이전트와 바로 연결할 수 있습니다. 특히, 최근 Claude(Anthropic), GPT-4o(오픈AI) 등 다양한 LLM을 활용한 데스크톱 에이전트 프로젝트와의 연계도 용이합니다. 실시간 상호작용 속도(1.5~2.3초)는 비슷한 오픈소스 자동화 도구 중에서도 빠른 편입니다.

Windows MCP의 주요 특징

윈도우 네이티브 연동: MCP 서버는 윈도우 UI 요소를 네이티브로 제어할 수 있습니다. 예를 들어, 앱 실행, 창 조작, 마우스 클릭, 키보드 입력, 스크린샷 캡처, 윈도우 상태정보 조회 등 거의 모든 UI 작업이 지원됩니다.
모든 LLM 지원: LLM의 종류에 관계없이 연동이 가능하며, 별도의 컴퓨터 비전 기술이나 추가 모델이 필요 없습니다.
경량 및 오픈소스: 소스코드 전체가 공개되어 있으며, 종속성도 적어 간편하게 사용할 수 있습니다.
확장성: 기본 도구(tool) 외에도 필요한 자동화 도구를 직접 확장하거나, 외부 시스템과 연동하는 것이 쉽습니다.
실시간 상호작용: 일반적으로 명령 실행 지연시간이 1.5~2.3초 내외로 빠른 편입니다.
광범위한 윈도우 지원: Windows 7, 8, 8.1, 10, 11 등 거의 모든 현대 윈도우 버전에서 동작합니다.

Windows MCP 설치 및 시작하기

설치 전 필요사항

Python 3.13+
Anthropic Claude Desktop 앱 혹은 기타 MCP 클라이언트
UV(Astra에서 제공하는 패키지 매니저): pip install uv
DXT(Anthropic 제공 데스크톱 확장): npm install -g @anthropic-ai/dxt

Windows MCP 설치 과정

저장소 클론:

git clone https://github.com/CursorTouch/Windows-MCP.git
cd Windows-MCP

DXT(Desktop eXTension) 빌드:
```
npx @anthropic-ai/dxt pack
```
Claude Desktop 앱에서 DXT 확장 설치:
- Settings → Extensions → Install Extension에서 .dxt 파일을 선택하여 설치
- 이후 MCP 서버와 통신하여 LLM 기반 자동화를 체험할 수 있습니다.

Claude Desktop 연동 및 설치 중 발생하는 일반적인 문제는 공식 MCP 문서를 참고하면 됩니다. 해당 문서에서는 로그 확인, 오류 분석 등 문제 해결에 도움이 되는 가이드가 자세히 제공됩니다.

지원 도구 목록(MCP Tools)

Windows MCP는 Claude와 같은 LLM이 아래와 같은 여러 도구(tool)를 호출하여 윈도우 환경을 자동화할 수 있게 해줍니다.

Click-Tool: 특정 좌표 클릭
Type-Tool: 텍스트 입력 및 기존 텍스트 삭제
Clipboard-Tool: 클립보드를 이용한 복사/붙여넣기
Scroll-Tool: 세로/가로 스크롤
Drag-Tool : 드래그&드롭
Move-Tool : 마우스 이동
Shortcut-Tool: 키보드 단축키 입력(Ctrl+C, Alt+Tab 등)
Key-Tool: 단일 키 입력
Wait-Tool: 일정 시간 대기
State-Tool: 현재 활성화된 앱, 인터랙티브 요소, 데스크탑 상태 등 스냅샷 제공
Screenshot-Tool : 데스크탑 전체 스크린샷
Launch-Tool: 시작 메뉴에서 앱 실행
Shell-Tool: PowerShell 명령 실행
Scrape-Tool: 웹페이지 정보 스크래핑

라이선스

Windows MCP GitHub 저장소

이 글은 GPT 모델로 정리한 글을 바탕으로 한 것으로, 원문의 내용 또는 의도와 다르게 정리된 내용이 있을 수 있습니다. 관심있는 내용이시라면 원문도 함께 참고해주세요! 읽으시면서 어색하거나 잘못된 내용을 발견하시면 덧글로 알려주시기를 부탁드립니다.

파이토치 한국 사용자 모임이 정리한 이 글이 유용하셨나요? 회원으로 가입하시면 주요 글들을 이메일로 보내드립니다! (기본은 Weekly지만 Daily로 변경도 가능합니다.)

아래쪽에 좋아요를 눌러주시면 새로운 소식들을 정리하고 공유하는데 힘이 됩니다~