# \#rubberduck **URL:** https://discuss.pytorch.kr/tag/rubberduck/5355.md [최신](https://discuss.pytorch.kr/latest.md) · [카테고리](https://discuss.pytorch.kr/categories.md) · [태그](https://discuss.pytorch.kr/tags.md) --- ## [Rubberduck🦆: 주요 LLM 제공자의 API를 에뮬레이션하는 LLM API Caching Reverse Proxy Server](https://discuss.pytorch.kr/t/rubberduck-llm-api-llm-api-caching-reverse-proxy-server/7555)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [8월 24, 2025, 5:30오전 UTC](https://discuss.pytorch.kr/t/rubberduck-llm-api-llm-api-caching-reverse-proxy-server/7555 "2025-08-24T05:30:52Z")
Rubberduck 소개 최근 몇 년간 OpenAI, Anthropic, Google, Microsoft 같은 주요 기업들이 제공하는 대규모 언어 모델(LLM)을 활용한 서비스가 폭발적으로 늘어나고 있습니다. 하지만 LLM API를 직접 호출하면서 개발하거나 테스트를 진행하다 보면 여러 가지 어려움이 있습니다. 예를 들어, 네트워크 지연이나 속도 제한, 예측 불가능한 에러가 발생할 수 있고, 이런 문제는 실제 서비스 환경에서 갑자기 드러나는 경우가 많습니다. 또한 API 호출 비용도 무시하기 힘든 수준입니다. 이런 상황에서 유용하게 사용할 수 있는 도구가 바로 :duck:Rubberduck입니다. Rubberduck은 로컬 환경에서 동작하는 \*\*LLM 캐싱 리버스 프록시 서버(LLM API Caching Reverse Proxy Server)\*\*로, OpenAI, Anthropic, Azure OpenAI, AWS Bedrock, Google Vertex AI 등 주요 LLM 제공자의 API를 에뮬레이션할 수 있습니다. 즉, 실제 환경과 거의 똑같은 방식으로 동작하면서도 비용 부담 없이 다양한 상황을 시뮬레이션할 수 있습니다. 개발자는 Rubberduck을 통해 요청/응답 캐싱, 실패 주입, 속도 제한, 토큰 사용량 추적, 사용자별 프록시 인스턴스 격리 등을 손쉽게 테스트할 수 있습니다. 또한 React 기반의 직관적인 웹 대시보드도 제공하여 프록시 생성과 모니터링을 시각적으로 쉽게 할 수 있습니다. 많은 개발자들이 OpenAI API나 Anthropic API를 이용해 챗봇, 문서 요약, 코드 보조 도구 등을 만들고 있습니다. 하지만 이 과정에서 다음과 같은 고민이 생깁니다: 비용 문제: 매번 실제 API를 호출하면 토큰 사용량이 쌓여 금방 비용이 올라갑니다. 불안정성 문제: API 제공자가 속도 제한을 걸거나, 간헐적인 에러를 반환할 수 있는데 이를 테스트하기 어렵습니다. 테스트 어려움: 로컬 개발 환경에서 QA 테스트를 할 때, 다양한…