Skill Recorder: Microsoft가 공개한, 화면 녹화를 에이전트 스킬로 바꾸는 도구

9bow · 8월 13, 2026, 6:30오전

Skill Recorder 소개

에이전트에게 반복 업무를 맡기려면 그 업무의 절차를 글로 옮겨 적어야 합니다. 문제는 손에 익은 일일수록 글로 적기 어렵다는 데 있습니다. 스프레드시트를 열고, 거래처 이름을 검색하고, 찾은 내용을 메모 칸에 붙여 넣고, 팀 채널에 요약을 올리는 흐름은 몸이 먼저 움직이는 순서라서 막상 문서로 만들면 창 전환이나 중간 확인 같은 단계가 통째로 빠집니다. 빠진 단계는 그대로 에이전트의 실패 지점이 됩니다.

Skill Recorder는 이 순서를 사람이 받아쓰는 대신 실제 작업 한 번을 녹화해 절차로 되짚는 방향을 택한 도구입니다. 화면과 창 전환, 방문한 페이지, 원한다면 음성 설명까지 기록한 다음 GitHub Copilot CLI로 그 기록을 읽어 "무엇을 하려던 작업이었는지" 한 줄과 순서가 매겨진 단계 목록으로 재구성합니다. 저장소는 이 결과물을 "Record yourself doing a task once, then turn it into a skill your AI agent can repeat" 한 문장으로 요약합니다.

재구성된 절차는 두 가지 형태로 저장됩니다. 에이전트가 필요할 때 실행하는 SKILL.md 절차인 스킬(Skill), 그리고 같은 절차를 일정이나 트리거에 걸어 두는 자동화(Automation) 입니다. 둘 다 Electron 기반 데스크톱 앱 안에서 만들어지며, 저장소는 Microsoft가 MIT 라이선스로 공개했습니다.

Skill Recorder가 화면 녹화 자동화와 다른 점

화면을 녹화해 업무를 자동화한다는 발상 자체는 오래된 것입니다. 기존 RPA 계열 도구는 대체로 좌표와 클릭을 그대로 기록했다가 같은 자리를 다시 누르는 방식으로 동작했고, 그래서 창 크기가 바뀌거나 버튼 위치가 옮겨지면 쉽게 깨졌습니다. 한 번 녹화한 것이 정확히 그 한 번만 재현된다는 한계도 있었습니다.

Skill Recorder는 녹화를 재생 대상이 아니라 해석 대상으로 다룹니다. 저장소가 밝히는 설계 방침은 두 가지입니다. 먼저 만들어지는 스킬과 자동화 모두 UI 클릭을 재생하는 대신 gh CLI 나 web_fetch 같은 에이전트의 네이티브 도구를 우선 사용합니다. 웹 페이지에서 정보를 찾는 단계였다면 그 클릭 좌표가 아니라 검색이라는 행위가 남는 셈입니다. 다음으로 하나의 예시에서 일반화하기 때문에, 저자의 표현대로 "recording yourself submitting one form can teach the agent to submit all of them" 이 성립합니다.

이 일반화가 실제로 되는지는 저장소가 자체 평가 세트로 확인하고 있습니다. 기록을 해석하는 describer 와 스킬·자동화를 만들어 내는 builder 각각에 픽스처 기반 평가가 붙어 있고, npm run eval 로 합성 녹화에 대한 describer 점수를, npm run eval:builder 로 일반화 품질을 매깁니다.

Skill Recorder는 누구에게 유용한가

여러 앱을 오가며 손으로 처리하던 정기 업무가 있고 이미 GitHub Copilot 을 쓰고 있다면 잘 맞습니다. 절차를 글로 적는 대신 한 번 시연하면 되므로 진입 비용이 낮고, 결과물이 SKILL.md 라 마음에 들지 않는 단계는 직접 고칠 수 있습니다. 반대로 이미 API 로 깔끔하게 처리되는 작업이라면 굳이 녹화를 거칠 이유가 없습니다.

전제 조건도 분명합니다. Copilot 이 활성화된 GitHub 계정이 필요하고, 주력 지원 대상은 macOS 입니다. Windows 11 은 x64 와 ARM64 모두 지원하지만 별도의 검증 문서를 함께 두고 있으며, 브라우저 주소 수집처럼 macOS 에서만 동작한다고 명시된 항목도 있습니다. 그리고 다음 섹션의 데이터 경계를 확인하지 않은 채로는 업무용 화면에 붙이지 않는 편이 좋습니다.

Skill Recorder가 기록하는 것과 전송하는 것

이 도구는 화면을 통째로 다루므로 무엇이 어디까지 나가는지가 도입 판단의 핵심입니다. 저장소는 녹화·저장·프레임 추출·나레이션 받아쓰기가 모두 사용자 컴퓨터에서 일어나며 녹화 중에는 아무것도 밖으로 나가지 않는다고 밝힙니다. 외부로 나가는 시점은 사용자가 직접 분석(Analyze)을 누를 때 한 번입니다.

로컬에서 수집되는 항목은 활성 앱과 창 전환, 현재 보고 있는 페이지 주소, Chromium 이 녹화하는 화면 영상, 단계를 이어 주는 짧은 클립보드 미리보기입니다. 화면 영상은 매 프레임을 남기지 않고 화면이 바뀌었거나 주기가 돌아왔을 때만 낮은 빈도로 스냅샷을 남깁니다. 음성 설명은 선택 사항이고, 받아쓰기는 Whisper 가 지원하는 99개 언어에 대해 기기 안에서 처리되며 첫 사용 시 약 252MB 모델을 한 번 내려받습니다.

분석을 누르면 이벤트 타임라인(창·문서 제목, URL, 클립보드 미리보기), 추출된 화면 이미지, 나레이션 텍스트가 Copilot 처리를 위해 GitHub 클라우드로 전송됩니다. 저장소는 비밀번호·토큰·API 키 같은 정보를 녹화하거나 입력하거나 말하지 말라는 경고를 README 안에서 두 번 반복하고, 앱도 녹화를 시작할 때마다 같은 내용을 다시 알립니다.

Skill Recorder의 녹화와 분석 화면

녹화 창에는 녹화 버튼과 타이머, 나레이션 토글이 있고 톱니바퀴를 누르면 받아쓰기 언어와 마이크를 고를 수 있습니다. 아래쪽에는 준비 상태 점검 결과가 붙어서 Copilot 이 발견됐는지, 음성 받아쓰기가 오프라인·다국어로 준비됐는지를 녹화 전에 보여 줍니다. 녹화는 창을 띄워 두지 않아도 ⌘⇧R(Windows 는 Ctrl+Shift+R)로 어디서든 켜고 끌 수 있습니다.

녹화 중에는 항상 위에 뜨는 작은 막대가 캡처와 마이크 상태를 보여 주며, 이 막대에서 음소거를 바꾸거나 마이크를 갈아 끼울 수 있고 마음에 들지 않는 테이크는 확인 절차를 거쳐 버릴 수 있습니다.

분석이 끝나면 세션 목록과 결과가 나란히 놓입니다. 왼쪽에는 녹화된 세션이 길이·용량·단계 수와 함께 쌓이고, 오른쪽에는 재구성된 의도 한 줄과 번호가 매겨진 단계들이 각각 무엇을 왜 했는지 설명과 함께 나열됩니다.

단계는 클릭해서 고칠 수 있고 순서를 바꾸거나 추가·삭제할 수 있으며 수정 내용은 자동 저장됩니다. 사람이 검토를 마친 분석에서만 스킬과 자동화 생성으로 넘어가는 구조라, 잘못 읽힌 단계가 그대로 굳어지지 않습니다.

Skill Recorder 설치 및 사용법

이 프로젝트는 실행 파일이 아니라 소스 릴리즈 형태로 배포됩니다. 설치 명령 하나가 고정된 Node.js 런타임을 내려받고 해당 릴리즈 커밋을 사용자 컴퓨터에서 직접 빌드한 뒤, 다시 실행할 수 있는 Skill Recorder (Source) 앱을 추가합니다. 전역에 설치되는 것은 없습니다.

명령에 들어가는 커밋 해시는 릴리즈마다 다르므로 릴리즈 페이지에서 자기 플랫폼용 명령을 복사해 씁니다. macOS 와 Ubuntu 의 형태는 다음과 같습니다.

commit="<40자리 릴리즈 커밋 해시>"; curl -fsSL "https://raw.githubusercontent.com/microsoft/skill-recorder/$commit/install.sh" | SKILL_RECORDER_COMMIT="$commit" bash

Windows 는 PowerShell 을 사용합니다.

$commit="<40자리 릴리즈 커밋 해시>"; $env:SKILL_RECORDER_COMMIT=$commit; irm "https://raw.githubusercontent.com/microsoft/skill-recorder/$commit/install.ps1" | iex

커밋 해시가 내려받는 스크립트와 빌드되는 소스를 함께 고정하므로, 실행 전에 스크립트를 확인하고 싶다면 INSTALL.md에 검토 후 설치하는 방법과 업데이트·삭제 절차가 정리되어 있습니다. macOS 는 첫 실행 때 화면 기록 권한을 요청하며, 처음 분석을 누르는 시점에 Copilot 로그인 안내가 나타납니다.

소스를 직접 손보려면 Node.js 24 환경에서 다음과 같이 실행합니다.

npm ci
npm run compliance:licenses
npm run dev

Skill Recorder의 라이선스

Skill Recorder는 MIT 라이선스로 공개되어 있어 개인 및 상업적 목적으로 자유롭게 사용할 수 있습니다. 함께 포함된 의존성들의 라이선스는 THIRD-PARTY-NOTICES.md에 정리되어 있고, 로컬 소스 빌드와 재배포용 패키지 사이의 라이선스 경계는 INSTALL.md가 따로 설명합니다.

Skill Recorder 프로젝트 GitHub 저장소

더 읽어보기

이 글은 GPT 모델로 정리한 초안을 바탕으로 한 것으로, 원문의 내용 또는 의도와 다르게 정리된 내용이 있을 수 있습니다. 관심있는 내용이시라면 원문도 함께 참고해주세요! 읽으시면서 어색하거나 잘못된 내용을 발견하시면 댓글로 알려주시기를 부탁드립니다.

이 도구를 직접 설치해 사용해보셨다면, 파이토치 한국 사용자 모임 회원들을 위해 경험이나 팁을 댓글로 남겨주세요!