에이전트에게 보고서를 쓰게 하면 끝에 "숫자를 모두 확인했습니다"라는 말이 붙곤 합니다. 그런데 어느 숫자를 무엇과 대조했는지는 남지 않습니다. 일부만 확인했거나 확인하지 않았어도 읽는 사람은 구별할 수 없습니다.
receipts는 이 확인을 코드에 맡기는 Claude Code 스킬입니다. 문서에 나온 숫자마다 출처와 다시 계산한 값을 붙이고 그렇게 하지 못한 숫자는 숨기지 않고 따로 보여 줍니다.
- 저장소: GitHub - sinkytiger/receipts: Every number your agent writes comes with a receipt, or gets flagged. A Claude Code skill and a standard-library script that checks numbers against your files or SEC filings. · GitHub (저장소와 문서는 영어이고 한국어 README가 따로 있습니다)
- 라이선스는 MIT이고 스크립트는 파이썬 표준 라이브러리만 씁니다.
방식: 모델은 계획만 쓰고 판정은 코드가 한다
- 코드가 문서의 숫자를 전부 찾습니다. 이 개수가 분모입니다. 날짜, 버전, 목록 번호 같은 것은 규칙으로 건너뛰고 무엇을 얼마나 건너뛰었는지 보여 줍니다.
- 모델이 숫자마다 "이 문장의 이 숫자는 이 파일의 이 칸에서 이 계산으로 나온다"는 계획을 씁니다. 값은 적지 않습니다.
- 코드가 출처를 읽고 다시 계산해 숫자마다 판정합니다. 확인됨(verified), 틀림(wrong), 확인 불가(unverifiable) 가운데 하나입니다.
- 계획에서 빠진 숫자는 미대조(uncovered)로 나옵니다.
모델이 불편한 숫자를 계획에서 빼도, 분모는 코드가 세기 때문에 미대조로 드러납니다. 출처 파일을 읽을 수 없으면 통과시키지 않고 멈춥니다.
출처로는 CSV, TSV, JSON, 마크다운 표, 일반 텍스트, 엑셀 값, 그리고 미국 상장사가 SEC에 낸 공시 수치(EDGAR)를 읽습니다.
예: 애플 공시와 대조하기
저장소의 예제는 애플의 2026 회계연도를 다룬 짧은 글이고 숫자 하나를 일부러 틀리게 썼습니다. 결과 첫 줄은 이렇습니다.
7 numbers / 6 verified / 1 wrong / 0 unverifiable / 0 uncovered
글은 연구개발비가 매출의 10.6%라고 썼는데, 공시된 두 수치로 다시 계산하면 9.6%입니다. 영수증에는 어느 공시의 어느 항목에서 읽었는지가 함께 나옵니다. 이 예제는 SEC 응답을 잘라 낸 사본이 들어 있어 네트워크 없이 돌아갑니다.
설치는 터미널에서 한 줄입니다(Claude Code 2.1.275 이상). 앱 안에서 치는 /plugin install 명령도 같은 기능이지만 직접 시험하지는 않았습니다.
claude plugin install receipts --marketplace sinkytiger/receipts
평가: 규칙을 먼저 적고, 최종용 문제는 한 번만
평가 규칙은 해당 코드를 쓰기 전에 저장소에 커밋했습니다. 개발용 문제로 고친 뒤 코드를 동결했고 최종용 문제는 평가마다 한 번만 돌렸습니다. 개발 중에 바꾼 규칙도 있습니다. 모두 최종 실행 전에 바꿨고 이유를 평가 계획의 변경 기록에 남겼습니다. 아래 "만들면서 걸린 것들"에 적었습니다.
| 평가 | 묻는 것 | 최종용 결과 |
|---|---|---|
| 첫째 | 계획이 맞을 때 스크립트가 맞게 판정하는가? 합성 문서 64개, 문장 960개 | 통과 기준 8개 충족. 심어 둔 오류 288개를 모두 틀림으로, 맞는 문장 672개를 모두 확인됨으로 판정 |
| 둘째 | 모델이 계획을 쓰면 어떻게 되는가? 합성 문서 30개 | 아래 표. 통과 기준은 처음부터 두지 않음 |
| 셋째 | EDGAR 연결이 공시에 인쇄된 값을 돌려주는가? 20개 회사, 공시 40건, 수치 1,169개 | 통과 기준 6개 충족. 틀린 값은 없었고, 공시를 지정했을 때 1,167개 확인 |
스킬을 쓴 쪽과 모델 혼자 검토한 쪽
같은 문서를 같은 모델(Claude Haiku 5.5)로 두 방식으로 돌렸습니다. 한쪽은 스킬 설명서와 스크립트가 뽑은 숫자 목록을 받아 계획을 쓰고 스크립트가 판정합니다. 판정 결과를 보고 계획을 두 번까지 고칠 수 있습니다. 다른 쪽은 모델이 문서와 출처를 받아 한 번에 직접 검토하고 틀린 숫자를 적습니다. 스크립트의 출력은 받지 않습니다. 문장은 오류를 심은 것이 128개, 맞는 것이 322개입니다.
| 스킬과 스크립트 | 모델 혼자 검토 | |
|---|---|---|
| 심어 둔 오류를 잡음 | 128개 중 128개 | 128개 중 125개 (미리 정한 규칙으로는 118개) |
| 맞는 문장을 틀렸다고 함 | 322개 중 2개 | 322개 중 26개 |
| 문서당 비용 | 0.0075달러 | 0.0013달러 |
모델 혼자 쪽의 125개는 실행 뒤에 다시 센 값입니다. 미리 정한 대응 규칙으로는 118개인데, 이 규칙이 방향 단어를 지목한 지적 7개를 인정하지 않았습니다(경위는 아래에 적었습니다). 다시 센 값으로 보면 모델 혼자서도 심어 둔 오류를 거의 다 잡았습니다. 차이는 오탐에서 났습니다. 다만 모델 혼자 쪽의 오탐 26개 중 22개는 반올림하지 않고 잘라 쓴 숫자였습니다. 평가 문제는 이런 숫자를 맞다고 보고 프롬프트에서도 그렇게 알려 줬는데 모델은 그래도 틀렸다고 했습니다. 반올림해 쓴 숫자 289개만 보면 스킬 쪽 2개, 혼자 쪽 4개로 비슷합니다.
스킬 쪽 오탐 2개는 한 문서에서 모델이 단위 환산 배수를 잘못 넣어 생겼습니다. 판정은 코드가 하지만 계획이 틀리면 맞는 숫자도 틀리게 나올 수 있습니다. 스킬 쪽은 요청이 67번으로 혼자 쪽의 30번보다 많고 요청마다 프롬프트도 길어서 문서당 비용이 5.7배였습니다. 이 평가의 API 비용은 연습을 포함해 0.36달러입니다.
그래서 이 결과로 "스킬이 오류를 더 많이 잡는다"고 말할 수는 없습니다. 다시 센 값으로는 잡는 수가 비슷했습니다. 대신 오탐이 적었고, 숫자마다 근거가 남고, 확인하지 못한 숫자가 따로 집계됩니다.
공시 연결에서 본 것
- 같은 기간인데 공시마다 값이 다른 경우가 있습니다. 공시가 정정되거나 재분류되면 그렇게 됩니다. 이럴 때는 값을 고르지 않고 판정을 미룬 뒤 값들을 보여 줍니다. 최종용 표본 1,169개 중 22개가 그랬습니다.
- 확인하지 못한 2개는 하루짜리 기간으로 태그된 주당 배당금이었습니다. SEC API가 이런 값을 날짜 하나로 저장해서 기간이 맞지 않았습니다. 틀린 값을 낸 것은 아니고 판정을 미뤘습니다. 다음 버전에서 고칩니다.
만들면서 걸린 것들
- 채점기를 고장 낸 도구로 시험했습니다. 일부러 틀리게 고친 도구를 공시 연결 채점기에 넣어 봤습니다. 그중 "공시마다 값이 다를 때 말없이 최신 값을 고르는" 도구가 통과 기준을 모두 통과했습니다. 기준을 하나 더 넣었고 경위를 평가 계획의 변경 기록에 남겼습니다.
- 독립 감사가 제 집계의 빈틈을 찾았습니다. 배포 직전 감사에서, 모델 혼자 쪽이 놓쳤다고 센 10개 중 7개는 실제로 잡은 것으로 드러났습니다. 숫자 대신 "감소했다" 같은 방향 단어를 지목해서 미리 정한 대응 규칙이 인정하지 않았습니다. 규칙은 바꾸지 않고 두 숫자(118개와 125개)를 README에 함께 적었습니다. 위 표의 125개가 다시 센 값입니다.
- 실제 문서를 넣자마자 걸렸습니다. 첫 실제 예제에서 공시 양식 이름
10-K의 앞부분을 숫자로 셌습니다. 양식 이름은 건너뛰게 고쳤습니다. - 설명서의 빈틈이 연습에서 드러났습니다. 엑셀 머리글이 둘째 행에 있을 때의 지정 방법이 스킬 설명서에 빠져 있었습니다. 연습에서 모델은 칸 주소로 돌아갔고 숫자 4개를 포기했습니다. 그중 둘은 머리글 때문에 개수를 셀 수 없다는 이유였고, 둘은 합계 대비 비중을 계획으로 쓸 수 없다고 본 경우였습니다. 설명서 두 곳을 보완하고 같은 유형 문서로 다시 확인했습니다.
- 연습 뒤에 비교 조건도 고쳤습니다. 실행기를 독립 검토에 맡겼더니, 모델 혼자 쪽에는 잘라 쓴 값도 맞다는 기준을 알려 주지 않았다는 지적이 나왔습니다. 프롬프트에 그 기준을 넣었고, 그쪽의 지적을 문장에 대응시키는 규칙도 넓혔습니다. 둘 다 최종 실행 전에 바꿨습니다.
한계
- 첫째와 둘째 평가의 문서는 문장 틀로 만든 합성 문서입니다(영어와 한국어 절반씩). 실제 보고서는 더 지저분합니다.
- 둘째 평가는 모델 하나, 설정 하나로 한 번 돌린 결과입니다.
- 스킬 이름을 말하지 않았을 때 에이전트가 알아서 불러오는지는 재지 않았습니다. Claude Code가 아닌 에이전트에서도 시험하지 않았습니다.
- 숫자가 아닌 주장(규정, 인용, "모두"나 "없다" 같은 단정)은 다루지 않습니다. 출처 자체가 맞는지도 보지 않습니다.
- EDGAR API에는 부문별, 제품별 수치가 없습니다.
이 글에 나온 숫자도 receipts로 결과 파일과 대조했습니다. 예제에서 일부러 틀리게 쓴 값 하나만 출처 없음으로 남았고 나머지는 모두 확인됨으로 나왔습니다.
다음 단계는 한국 공시(DART) 연결입니다. 써 보시고 틀린 판정이나 불편한 점을 저장소 이슈로 알려 주시면 고치겠습니다.