AgentDesk 소개
AgentDesk는 AI 에이전트가 실제 사람처럼 데스크탑 환경을 조작할 수 있도록 설계된 오픈소스 도구입니다. 브라우저 자동화 도구인 Playwright나 Selenium과는 달리, AgentDesk는 전체 데스크탑 환경을 제어할 수 있어 GUI 기반 애플리케이션 자동화에 최적화되어 있습니다. 특히, 다양한 멀티모달 LLM(Multimodal LLM, LMM)과의 통합을 통해 시각 정보를 활용한 정밀한 작업 수행이 가능하다는 점에서 주목할 만합니다.
AgentDesk는 AgentSea 팀이 개발한 오픈소스 프로젝트로, AI 에이전트가 가상 데스크탑 환경을 프로그래밍 방식으로 제어할 수 있도록 지원합니다. 이 도구는 로컬 환경(Docker, QEMU)뿐만 아니라 클라우드 환경(GCP, AWS)에서도 데스크탑을 실행할 수 있으며, Python SDK와 CLI를 통해 마우스 이동, 클릭, 키보드 입력, URL 열기, 스크린샷 캡처 등의 다양한 작업을 수행할 수 있습니다.
AgentDesk의 핵심 구성 요소는 ‘agentd’라는 데몬으로, 데스크탑 환경을 HTTP API로 노출하여 외부에서 제어할 수 있도록 합니다. 또한, DeviceBay 프로토콜을 구현하여 다양한 장치와의 통합을 지원합니다. 기존의 브라우저 자동화 도구인 Playwright나 Selenium은 웹 브라우저 내에서의 자동화에 초점을 맞추고 있습니다. 반면, AgentDesk는 전체 데스크탑 환경을 제어할 수 있어 웹 애플리케이션뿐만 아니라 로컬 애플리케이션, 레거시 시스템 등 다양한 GUI 기반 애플리케이션의 자동화가 가능합니다.
AgentDesk의 주요 기능
- 다양한 환경 지원: 로컬(Docker, QEMU) 및 클라우드(GCP, AWS) 환경에서 데스크탑 실행 지원
- Python SDK 및 CLI 제공: 마우스 이동, 클릭, 키보드 입력, URL 열기, 스크린샷 캡처 등 다양한 작업 수행 가능
- 멀티모달 LLM 통합: 다양한 Multimodal LLM들과의 통합을 통해 시각 정보를 활용한 정밀한 작업 수행 가능
- DeviceBay 프로토콜 구현 : 다양한 장치와의 통합 지원
- 오픈소스 및 MIT 라이선스: 자유로운 사용 및 커스터마이징 가능
사용 방법
설치
pip install agentdesk
로컬 환경에서 Docker를 사용하여 데스크탑을 실행하려면 Docker가 필요합니다. QEMU를 사용하려면 QEMU 설치가 필요합니다.
예제 코드
from agentdesk import Desktop
# 로컬 데스크탑 생성
desktop = Desktop.local()
# UI 실행
desktop.view(background=True)
# Google 열기
desktop.open_url("https://google.com")
# 마우스 이동 및 클릭
desktop.move_mouse(500, 500)
desktop.click()
# 스크린샷 캡처
img = desktop.take_screenshot()
클라우드 환경에서 사용
# GCP에서 데스크탑 생성
desktop = Desktop.gce()
# AWS에서 데스크탑 생성
desktop = Desktop.aws()
자세한 내용은 공식 문서를 참고하시기 바랍니다. (docs.hub.agentsea.ai)
라이선스
AgentDesk 프로젝트는 MIT License로 공개 및 배포되고 있습니다. 상업적 사용을 포함하여 자유롭게 사용할 수 있습니다.
AgentDesk GitHub 저장소
AgentDesk 공식 문서
이 글은 GPT 모델로 정리한 글을 바탕으로 한 것으로, 원문의 내용 또는 의도와 다르게 정리된 내용이 있을 수 있습니다. 관심있는 내용이시라면 원문도 함께 참고해주세요! 읽으시면서 어색하거나 잘못된 내용을 발견하시면 덧글로 알려주시기를 부탁드립니다. 
파이토치 한국 사용자 모임
이 정리한 이 글이 유용하셨나요? 회원으로 가입하시면 주요 글들을 이메일
로 보내드립니다! (기본은 Weekly지만 Daily로 변경도 가능합니다.)
아래
쪽에 좋아요
를 눌러주시면 새로운 소식들을 정리하고 공유하는데 힘이 됩니다~ 