[도구 공개] 에이전트가 쓴 보고서의 숫자마다 영수증을 붙이는 스킬, receipts

에이전트에게 보고서를 쓰게 하면 끝에 "숫자를 모두 확인했습니다"라는 말이 붙곤 합니다. 그런데 어느 숫자를 무엇과 대조했는지는 남지 않습니다. 일부만 확인했거나 확인하지 않았어도 읽는 사람은 구별할 수 없습니다.

receipts는 이 확인을 코드에 맡기는 Claude Code 스킬입니다. 문서에 나온 숫자마다 출처와 다시 계산한 값을 붙이고 그렇게 하지 못한 숫자는 숨기지 않고 따로 보여 줍니다.

방식: 모델은 계획만 쓰고 판정은 코드가 한다

  • 코드가 문서의 숫자를 전부 찾습니다. 이 개수가 분모입니다. 날짜, 버전, 목록 번호 같은 것은 규칙으로 건너뛰고 무엇을 얼마나 건너뛰었는지 보여 줍니다.
  • 모델이 숫자마다 "이 문장의 이 숫자는 이 파일의 이 칸에서 이 계산으로 나온다"는 계획을 씁니다. 값은 적지 않습니다.
  • 코드가 출처를 읽고 다시 계산해 숫자마다 판정합니다. 확인됨(verified), 틀림(wrong), 확인 불가(unverifiable) 가운데 하나입니다.
  • 계획에서 빠진 숫자는 미대조(uncovered)로 나옵니다.

모델이 불편한 숫자를 계획에서 빼도, 분모는 코드가 세기 때문에 미대조로 드러납니다. 출처 파일을 읽을 수 없으면 통과시키지 않고 멈춥니다.

출처로는 CSV, TSV, JSON, 마크다운 표, 일반 텍스트, 엑셀 값, 그리고 미국 상장사가 SEC에 낸 공시 수치(EDGAR)를 읽습니다.

예: 애플 공시와 대조하기

저장소의 예제는 애플의 2026 회계연도를 다룬 짧은 글이고 숫자 하나를 일부러 틀리게 썼습니다. 결과 첫 줄은 이렇습니다.

7 numbers / 6 verified / 1 wrong / 0 unverifiable / 0 uncovered

글은 연구개발비가 매출의 10.6%라고 썼는데, 공시된 두 수치로 다시 계산하면 9.6%입니다. 영수증에는 어느 공시의 어느 항목에서 읽었는지가 함께 나옵니다. 이 예제는 SEC 응답을 잘라 낸 사본이 들어 있어 네트워크 없이 돌아갑니다.

설치는 터미널에서 한 줄입니다(Claude Code 2.1.275 이상). 앱 안에서 치는 /plugin install 명령도 같은 기능이지만 직접 시험하지는 않았습니다.

claude plugin install receipts --marketplace sinkytiger/receipts

평가: 규칙을 먼저 적고, 최종용 문제는 한 번만

평가 규칙은 해당 코드를 쓰기 전에 저장소에 커밋했습니다. 개발용 문제로 고친 뒤 코드를 동결했고 최종용 문제는 평가마다 한 번만 돌렸습니다. 개발 중에 바꾼 규칙도 있습니다. 모두 최종 실행 전에 바꿨고 이유를 평가 계획의 변경 기록에 남겼습니다. 아래 "만들면서 걸린 것들"에 적었습니다.

평가 묻는 것 최종용 결과
첫째 계획이 맞을 때 스크립트가 맞게 판정하는가? 합성 문서 64개, 문장 960개 통과 기준 8개 충족. 심어 둔 오류 288개를 모두 틀림으로, 맞는 문장 672개를 모두 확인됨으로 판정
둘째 모델이 계획을 쓰면 어떻게 되는가? 합성 문서 30개 아래 표. 통과 기준은 처음부터 두지 않음
셋째 EDGAR 연결이 공시에 인쇄된 값을 돌려주는가? 20개 회사, 공시 40건, 수치 1,169개 통과 기준 6개 충족. 틀린 값은 없었고, 공시를 지정했을 때 1,167개 확인

스킬을 쓴 쪽과 모델 혼자 검토한 쪽

같은 문서를 같은 모델(Claude Haiku 5.5)로 두 방식으로 돌렸습니다. 한쪽은 스킬 설명서와 스크립트가 뽑은 숫자 목록을 받아 계획을 쓰고 스크립트가 판정합니다. 판정 결과를 보고 계획을 두 번까지 고칠 수 있습니다. 다른 쪽은 모델이 문서와 출처를 받아 한 번에 직접 검토하고 틀린 숫자를 적습니다. 스크립트의 출력은 받지 않습니다. 문장은 오류를 심은 것이 128개, 맞는 것이 322개입니다.

스킬과 스크립트 모델 혼자 검토
심어 둔 오류를 잡음 128개 중 128개 128개 중 125개 (미리 정한 규칙으로는 118개)
맞는 문장을 틀렸다고 함 322개 중 2개 322개 중 26개
문서당 비용 0.0075달러 0.0013달러

모델 혼자 쪽의 125개는 실행 뒤에 다시 센 값입니다. 미리 정한 대응 규칙으로는 118개인데, 이 규칙이 방향 단어를 지목한 지적 7개를 인정하지 않았습니다(경위는 아래에 적었습니다). 다시 센 값으로 보면 모델 혼자서도 심어 둔 오류를 거의 다 잡았습니다. 차이는 오탐에서 났습니다. 다만 모델 혼자 쪽의 오탐 26개 중 22개는 반올림하지 않고 잘라 쓴 숫자였습니다. 평가 문제는 이런 숫자를 맞다고 보고 프롬프트에서도 그렇게 알려 줬는데 모델은 그래도 틀렸다고 했습니다. 반올림해 쓴 숫자 289개만 보면 스킬 쪽 2개, 혼자 쪽 4개로 비슷합니다.

스킬 쪽 오탐 2개는 한 문서에서 모델이 단위 환산 배수를 잘못 넣어 생겼습니다. 판정은 코드가 하지만 계획이 틀리면 맞는 숫자도 틀리게 나올 수 있습니다. 스킬 쪽은 요청이 67번으로 혼자 쪽의 30번보다 많고 요청마다 프롬프트도 길어서 문서당 비용이 5.7배였습니다. 이 평가의 API 비용은 연습을 포함해 0.36달러입니다.

그래서 이 결과로 "스킬이 오류를 더 많이 잡는다"고 말할 수는 없습니다. 다시 센 값으로는 잡는 수가 비슷했습니다. 대신 오탐이 적었고, 숫자마다 근거가 남고, 확인하지 못한 숫자가 따로 집계됩니다.

공시 연결에서 본 것

  • 같은 기간인데 공시마다 값이 다른 경우가 있습니다. 공시가 정정되거나 재분류되면 그렇게 됩니다. 이럴 때는 값을 고르지 않고 판정을 미룬 뒤 값들을 보여 줍니다. 최종용 표본 1,169개 중 22개가 그랬습니다.
  • 확인하지 못한 2개는 하루짜리 기간으로 태그된 주당 배당금이었습니다. SEC API가 이런 값을 날짜 하나로 저장해서 기간이 맞지 않았습니다. 틀린 값을 낸 것은 아니고 판정을 미뤘습니다. 다음 버전에서 고칩니다.

만들면서 걸린 것들

  • 채점기를 고장 낸 도구로 시험했습니다. 일부러 틀리게 고친 도구를 공시 연결 채점기에 넣어 봤습니다. 그중 "공시마다 값이 다를 때 말없이 최신 값을 고르는" 도구가 통과 기준을 모두 통과했습니다. 기준을 하나 더 넣었고 경위를 평가 계획의 변경 기록에 남겼습니다.
  • 독립 감사가 제 집계의 빈틈을 찾았습니다. 배포 직전 감사에서, 모델 혼자 쪽이 놓쳤다고 센 10개 중 7개는 실제로 잡은 것으로 드러났습니다. 숫자 대신 "감소했다" 같은 방향 단어를 지목해서 미리 정한 대응 규칙이 인정하지 않았습니다. 규칙은 바꾸지 않고 두 숫자(118개와 125개)를 README에 함께 적었습니다. 위 표의 125개가 다시 센 값입니다.
  • 실제 문서를 넣자마자 걸렸습니다. 첫 실제 예제에서 공시 양식 이름 10-K의 앞부분을 숫자로 셌습니다. 양식 이름은 건너뛰게 고쳤습니다.
  • 설명서의 빈틈이 연습에서 드러났습니다. 엑셀 머리글이 둘째 행에 있을 때의 지정 방법이 스킬 설명서에 빠져 있었습니다. 연습에서 모델은 칸 주소로 돌아갔고 숫자 4개를 포기했습니다. 그중 둘은 머리글 때문에 개수를 셀 수 없다는 이유였고, 둘은 합계 대비 비중을 계획으로 쓸 수 없다고 본 경우였습니다. 설명서 두 곳을 보완하고 같은 유형 문서로 다시 확인했습니다.
  • 연습 뒤에 비교 조건도 고쳤습니다. 실행기를 독립 검토에 맡겼더니, 모델 혼자 쪽에는 잘라 쓴 값도 맞다는 기준을 알려 주지 않았다는 지적이 나왔습니다. 프롬프트에 그 기준을 넣었고, 그쪽의 지적을 문장에 대응시키는 규칙도 넓혔습니다. 둘 다 최종 실행 전에 바꿨습니다.

한계

  • 첫째와 둘째 평가의 문서는 문장 틀로 만든 합성 문서입니다(영어와 한국어 절반씩). 실제 보고서는 더 지저분합니다.
  • 둘째 평가는 모델 하나, 설정 하나로 한 번 돌린 결과입니다.
  • 스킬 이름을 말하지 않았을 때 에이전트가 알아서 불러오는지는 재지 않았습니다. Claude Code가 아닌 에이전트에서도 시험하지 않았습니다.
  • 숫자가 아닌 주장(규정, 인용, "모두"나 "없다" 같은 단정)은 다루지 않습니다. 출처 자체가 맞는지도 보지 않습니다.
  • EDGAR API에는 부문별, 제품별 수치가 없습니다.

이 글에 나온 숫자도 receipts로 결과 파일과 대조했습니다. 예제에서 일부러 틀리게 쓴 값 하나만 출처 없음으로 남았고 나머지는 모두 확인됨으로 나왔습니다.

다음 단계는 한국 공시(DART) 연결입니다. 써 보시고 틀린 판정이나 불편한 점을 저장소 이슈로 알려 주시면 고치겠습니다.