# TestSprite CLI: 코딩 에이전트가 만든 코드를 실제 앱에서 검증하는 테스트 도구

**URL:** <https://discuss.pytorch.kr/t/testsprite-cli/11160>\
**Category:** 읽을거리&정보공유\
**Tags:** apache-2, testsprite-cli, ai-testing, e2e-testing, test-automation, coding-agent\
**Created:** [7월 9, 2026, 11:30오전 UTC](https://discuss.pytorch.kr/t/testsprite-cli/11160 "2026-07-09T11:30:55Z")\
**Posts on this page:** 1\
**Page:** 1

<div class="post-metadata">

**Author:** ![9bow](https://discuss.pytorch.kr/user_avatar/discuss.pytorch.kr/9bow/32/16301_2.png) [@9bow](https://discuss.pytorch.kr/u/9bow)\
**Post date:** [7월 9, 2026, 11:30오전 UTC](https://discuss.pytorch.kr/t/testsprite-cli/11160/1 "2026-07-09T11:30:55Z")

</div>

![TestSprite CLI: 코딩 에이전트가 만든 코드를 실제 앱에서 검증하는 테스트 도구](https://discuss.pytorch.kr/uploads/default/original/3X/6/6/6632b753d57db4cd3459e1451d63bd56fa240af7.jpeg)

## TestSprite CLI 소개

코딩 에이전트는 몇 분 만에 코드를 쏟아내지만, 그 코드가 실제로 동작하는지 확인하는 속도는 그만큼 빨라지지 않았습니다. TestSprite CLI는 이 간극을 겨냥한 도구입니다. 코딩 에이전트가 만든 코드를 목(mock)이 아니라 실제로 실행 중인 앱을 상대로 사용자처럼 조작해 보고, 무엇이 깨졌는지를 에이전트가 곧바로 읽고 고칠 수 있는 형태로 되돌려 줍니다.

TestSprite 자체는 프론트엔드와 백엔드를 클라우드에서 실제 제품 대상으로 테스트하는 AI 테스트 플랫폼이고, 이 저장소는 그 플랫폼을 터미널과 코딩 에이전트의 손에 쥐여 주는 공식 CLI입니다. 핵심은 에이전트가 코드를 배포하기 전에 스스로 동작을 검증하고, 실패한 결과가 대시보드를 뒤질 필요 없이 **하나의 자기완결적인 번들(one self-consistent bundle)** 로 돌아온다는 점입니다. 사람도 같은 인터페이스를 터미널이나 CI에서 그대로 사용할 수 있습니다.

본 게시물에서는 TestSprite CLI가 코딩 에이전트를 위해 어떻게 설계됐는지, 테스트 생성부터 재실행까지 이어지는 검증 루프가 어떻게 돌아가는지, 그리고 설치와 기본 사용법을 정리합니다.

## TestSprite CLI가 코딩 에이전트를 위해 설계된 이유

일반적인 테스트 러너와 달리 TestSprite CLI는 출력과 동작 방식이 코딩 에이전트가 소비하기 좋은 형태로 맞춰져 있습니다. 저자는 다음 다섯 가지를 그 이유로 정리하고 있습니다.

- **실제 사용자처럼 테스트합니다** : 클라우드의 실제 브라우저나 API를 상대로 실제 클릭, 실제 이동, 실제 단언(assertion)을 수행합니다. 목이 아닙니다.
- **에이전트에 맞춘 출력** : `test failure get` 명령은 실패한 단계와 그 앞뒤 단계, 스크린샷, DOM 스냅샷, 테스트 소스, 원인 가설, 권장 수정 대상을 **하나의 번들** 로 돌려줍니다. 이 모든 항목은 같은 `snapshotId` 를 공유하며, CLI는 서로 다른 두 실행의 데이터를 섞는 것을 거부합니다. 에이전트가 짜깁기된 맥락 위에서 추론하는 일을 막기 위한 설계입니다.
- **한 번의 실행이 아니라 루프** : `create → run → failure get → fix → rerun` 의 각 단계는 버려지지 않고 쌓입니다.
- **스크립트 친화적이고 결정적** : 안정적인 `--output json` 계약, 예측 가능한 종료 코드(exit code), 그리고 정형 데이터로 전체 코드 경로를 오프라인에서 실행해 보는 `--dry-run` 을 제공합니다.
- **에이전트 온보딩이 명령 한 줄** : `testsprite agent install claude` 는 코딩 에이전트가 루프를 스스로 몰 수 있도록 준비된 스킬 파일을 저장소에 넣어 줍니다.

특히 두 번째 항목이 이 도구의 성격을 잘 보여줍니다. 실패 결과를 사람이 보기 좋은 리포트가 아니라, 에이전트가 한 번에 읽어 원인을 짚고 수정 지점을 특정할 수 있는 단일 자료로 만든다는 점이 일반적인 테스트 도구와의 차이입니다.

## TestSprite CLI의 검증 루프 동작 방식

 ![TestSprite CLI의 검증 루프 동작 흐름 다이어그램](https://discuss.pytorch.kr/uploads/default/original/3X/d/9/d918805fa688fa62f28c7ec5fd7385d05f6d4b2b.jpeg)

동작의 뼈대는 코딩 에이전트가 코드를 바꿀 때마다 던지는 하나의 질문입니다. **이 동작은 이미 테스트 모음(suite)에 덮여 있는가?**

- **아직 덮여 있지 않으면** `testsprite test create` 로 새 동작을 서술하고 실행합니다.
- **이미 덮여 있으면** `testsprite test rerun` 으로 기존 테스트를 재실행해, 예전에 동작하던 것이 조용히 깨지지 않았는지 확인합니다.
- **무언가 실패하면** `testsprite test failure get` 으로 하나의 자기완결적 번들을 받아, 에이전트가 코드를 고치고 다시 실행합니다.

각 실행 결과는 지속되는 테스트 모음에 쌓이므로, 프로젝트가 커질수록 커버리지가 함께 누적됩니다. 저자는 이 모음을 두고 어떤 컨텍스트 윈도우보다도 큰, 지금까지 올바르게 통과시킨 모든 요구사항의 기록이라고 표현합니다. 클라우드 쪽은 의도적으로 블랙박스로 두어, 에이전트는 의도를 서술하고 결과를 읽기만 할 뿐 테스트가 내부적으로 어떻게 구동됐는지는 알 필요가 없습니다.

## TestSprite CLI 설치 및 사용법

Node.js 20.19+, 22.13+, 또는 24+ 가 필요합니다. 전역 설치 없이 `npx @testsprite/testsprite-cli` 로도 실행할 수 있습니다.

```bash
npm install -g @testsprite/testsprite-cli
testsprite setup

```

`testsprite setup` 은 API 키를 입력받아 검증하고, 사용하는 코딩 에이전트(`claude`, `cursor`, `cline`, `windsurf`, `antigravity`, `codex` 등)에 검증 루프 스킬을 설치합니다. 명령 하나로 에이전트가 자기 작업을 스스로 검증하도록 배선되는 셈입니다. CI나 온보딩 스크립트 같은 비대화형 환경에서는 다음처럼 사용합니다.

```bash
TESTSPRITE_API_KEY=sk-... testsprite setup --from-env --yes --agent claude

```

이후 루프는 코딩 에이전트가 스스로 돌립니다. 저자가 제시한 예시 세션은 다음과 같습니다.

```bash
# 1 — 보장하고 싶은 동작을 서술하고 실행한 뒤 대기
testsprite test create --project proj_8f0f6 --type frontend \
  --plan-from ./checkout-flow.plan.json --run --wait --output json
# → 종료 코드 1: 실행 실패

# 2 — 하나의 자기완결적 실패 번들을 가져옴
testsprite test failure get test_3a9f21c7 --out ./.testsprite/failure

# 3 — 에이전트가 번들을 읽고 코드를 고친 뒤 다시 실행
testsprite test rerun test_3a9f21c7 --wait --output json
# → 종료 코드 0: 통과. 이 테스트는 이제 지속되는 테스트 모음에 남습니다.

```

## TestSprite CLI의 명령어 구성

명령어는 역할별 그룹으로 나뉩니다. 시작점은 언제나 `setup` 입니다.

| 그룹 | 대표 명령 | 하는 일 |
| --- | --- | --- |
| Setup | `setup` | API 키 설정, 검증, 에이전트 검증 스킬 설치를 한 번에 |
| Auth | `auth status` / `auth remove` | 활성 프로필의 사용자·키·스코프 확인 및 제거 |
| Read | `test get`, `test failure get`, `test failure summary` | 프로젝트·테스트 조회, 실패 번들 및 한 화면짜리 요약 카드 확인 |
| Write | `test create`, `test create-batch`, `test code put` | 테스트 생성(플랜 파일 기반 일괄 생성 포함), 생성 코드 교체 |
| Run | `test run`, `test rerun`, `test wait` | 새 실행 트리거(`--wait` 로 종료까지 블록), 저렴한 재실행, 특정 실행 대기 |
| Agent | `agent install` / `agent list` | 코딩 에이전트 대상 추가·조회(순수 로컬 동작) |

각 명령의 모든 플래그와 예시, 프로필 설정, 종료 코드 규칙은 저장소의 [DOCUMENTATION.md](https://github.com/TestSprite/testsprite-cli/blob/main/DOCUMENTATION.md) 에 정리되어 있습니다. 참고로 저자는 [CoderCup](https://codercup.ai) 이라는 공개 리더보드에서 TestSprite를 심판으로 두고 프론티어 코딩 에이전트들이 같은 앱을 같은 규칙으로 만들게 했을 때, 가장 저렴한 모델이 가장 비싼 모델의 절반 비용으로 89%라는 가장 높은 정확도를 기록했다고 주장합니다. 이 수치는 저자가 제시한 리더보드 결과이므로 그대로 인용해 둡니다.

## TestSprite CLI의 라이선스

TestSprite CLI는 [Apache-2.0 라이선스](https://github.com/TestSprite/testsprite-cli/blob/main/LICENSE)로 공개되어 있어 개인 및 상업적 목적으로 자유롭게 사용할 수 있습니다. 다만 CLI가 연결되는 TestSprite 클라우드 플랫폼은 별도의 API 키가 필요한 유료 서비스라는 점은 구분해 둘 필요가 있습니다.

## 🏠 TestSprite CLI 공식 홈페이지

> **[AI Testing Agent & Automation Platform | TestSprite](https://www.testsprite.com)**
>
> TestSprite's AI offers end-to-end software testing by building test plans, writing code, executing tests, debugging, and reporting—all with minimal input. Ideal for dev teams needing self-serve testing across multiple scenarios.

## 📚 TestSprite CLI 문서 사이트

[https://www.testsprite.com/docs](https://www.testsprite.com/docs)

## :github: TestSprite CLI 프로젝트 GitHub 저장소

> **[GitHub - TestSprite/testsprite-cli: Official TestSprite CLI — AI-powered automated...](https://github.com/TestSprite/testsprite-cli)**
>
> Official TestSprite CLI — AI-powered automated testing from your terminal

## 더 읽어보기

- [E2E Test Agent: 자연어로 작성한 테스트 시나리오를 기반으로 테스트를 수행하는 AI E2E 테스트 프레임워크](https://discuss.pytorch.kr/t/e2e-test-agent-ai-e2e/8204)

- [Magnitude: 테스트 자동화 프레임워크에서 AI 브라우저 제어 자동화 프레임워크로 진화한 프로젝트](https://discuss.pytorch.kr/t/magnitude-ai/7203)

- [Ani Code: API 테스트 및 QA 자동화 등을 지원하는, Claude Code의 오픈소스 대안(Claude Code Alternative)](https://discuss.pytorch.kr/t/ani-code-api-qa-claude-code-claude-code-alternative/7681)

- [Alumnium: 자연어를 사용한 테스트 자동화 라이브러리](https://discuss.pytorch.kr/t/alumnium/7038)

- [openai‑testing‑agent‑demo: OpenAI가 공개한 UI 테스트 에이전트 데모](https://discuss.pytorch.kr/t/openai-testing-agent-demo-openai-ui/7144)

* * *

_이 글은 GPT 모델로 정리한 글을 바탕으로 한 것으로, 원문의 내용 또는 의도와 다르게 정리된 내용이 있을 수 있습니다. 관심있는 내용이시라면 원문도 함께 참고해주세요! 읽으시면서 어색하거나 잘못된 내용을 발견하시면 덧글로 알려주시기를 부탁드립니다._ 🤗

[:pytorch:파이토치 한국 사용자 모임🇰🇷](https://pytorch.kr/)이 정리한 이 글이 유용하셨나요? [회원으로 가입](https://discuss.pytorch.kr/signup)하시면 주요 글들을 이메일💌로 보내드립니다! [텔레그램(Telegram)](https://t.me/pytorchkr)이나 [Slack/Discord/Teams/Dooray/GoogleChat 등](https://discuss-noti.pytorch.kr)으로도 새 글 알림을 받으실 수 있습니다. 😃

🎁 아래↘쪽에 좋아요👍를 눌러주시면 새로운 소식들을 정리하고 공유하는데 힘이 됩니다~ 🤩