# \#ai-gateway **URL:** https://discuss.pytorch.kr/tag/ai-gateway/2313.md [최신](https://discuss.pytorch.kr/latest.md) · [카테고리](https://discuss.pytorch.kr/categories.md) · [태그](https://discuss.pytorch.kr/tags.md) --- ## [Envoy AI Gateway가 Agent Router로, AAIF 합류 후에도 CRD와 aigw CLI는 그대로](https://discuss.pytorch.kr/t/envoy-ai-gateway-agent-router-aaif-crd-aigw-cli/11880)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [9월 10, 2026, 7:30오전 UTC](https://discuss.pytorch.kr/t/envoy-ai-gateway-agent-router-aaif-crd-aigw-cli/11880 "2026-09-10T07:30:20Z")
Agent Router 소개 Agent Router는 애플리케이션과 에이전트가 하나의 OpenAI 호환 API로 모든 모델과 MCP(Model Context Protocol) 도구에 접근하게 해주는 오픈소스 컨트롤 플레인(Control Plane)이며, 실제 트래픽은 그 아래에서 Envoy가 처리합니다. 2026년 9월 9일, 이 프로젝트는 Envoy AI Gateway라는 기존 이름을 내려놓고 Agent Router로 개명하면서 Agentic AI Foundation(AAIF)의 프로젝트로 합류한다고 발표했습니다. 프로젝트 블로그가 적은 공식 합류일은 하루 뒤인 9월 10일입니다. 이 프로젝트의 출발점은 모델이 아니라 트래픽이었습니다. 2024년 여름 Bloomberg의 엔지니어들은 외부 모델과 자체 운영 모델에 연결하면서, 자신들이 마주한 문제가 모델의 문제가 아니라 업계가 이미 10년 동안 풀어 온 트래픽 문제라는 것을 알아차렸습니다. 프로바이더를 가로지르는 단일 API, 프로바이더 사이의 장애 전환(Failover), 토큰 집계와 속도 제한(Rate Limiting), 각 업스트림에 대한 인증이 필요했고, 이 목록을 Envoy 커뮤니티에 들고 갔습니다. 거기서 Envoy Proxy와 Envoy Gateway 양쪽에 메인테이너를 두고 있던 Tetrate가 합류하면서 두 회사의 공동 작업으로 시작됐습니다. 문제의 성격은 에이전트가 늘어날수록 더 분명해집니다. 하나의 작업을 수행하는 에이전트는 모델 호출과 도구 호출을 연달아 발생시키는데, 어떤 작업은 몇 번의 요청으로 끝나고 어떤 작업은 200번에 이릅니다. 응답은 몇 분씩 스트리밍되고, 프로바이더마다 요청 형식과 자격 증명(Credential)과 실패 모드가 제각각입니다. 도구 서버도 마찬가지여서 엔드포인트가 다르고 누가 무엇을 호출해도 되는지에 대한 기준도 다릅니다. 이 모든 것을 애플리케이션 코드가 떠안으면 프로바이더를 하나 추가할 때마다 통합 코드를 다시 써야 합니다. Agent Route… --- ## [Weave Router: 코딩 에이전트의 요청마다 로컬 임베딩으로 모델을 골라 주는 LLM 라우팅 프록시](https://discuss.pytorch.kr/t/weave-router-llm/11740)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [8월 28, 2026, 12:30오후 UTC](https://discuss.pytorch.kr/t/weave-router-llm/11740 "2026-08-28T12:30:59Z")
Weave Router 소개 코딩 에이전트를 한 시간만 켜 두어도 상위 모델로 나가는 API 요청 수는 사람이 대화한 횟수와 전혀 다른 규모로 늘어납니다. 사용자가 질문을 한 번 던지면 에이전트는 파일을 읽고 명령을 실행하고 그 결과를 다시 판단하면서 요청을 여러 번 보냅니다. 문제는 이 요청들의 성격이 균일하지 않다는 것입니다. 도구 실행 결과를 정리하는 요청과 설계를 새로 세우는 요청이 같은 최고 성능 모델로 나가는 것이 기본 동작이고, 요금은 그 기본 동작을 따라 쌓입니다. 요청마다 알맞은 모델을 지정하면 되지만, 사람이 매번 판단해서 모델을 바꾸는 방식은 에이전트가 초 단위로 요청을 보내는 환경에서는 성립하지 않습니다. 이번에 소개할 Weave Router는 그 판단을 요청 단위로 자동화하는 라우팅 프록시(Routing Proxy) 프로젝트입니다. 에이전트가 바라보는 API 주소를 라우터로 바꿔 두면, 라우터가 요청을 하나씩 받아 어떤 모델로 보낼지 결정한 뒤 해당 제공자에게 그대로 중계합니다. 결정 근거는 프롬프트를 다시 LLM에 물어보는 방식이 아니라 라우터 프로세스 안에서 실행되는 작은 임베딩 모델이며, Weave는 이 선택을 "a tiny on-box embedder, not a vibes-based prompt"라고 설명하고 있습니다. 요청을 임베딩한 벡터를 미리 계산해 둔 클러스터 중심(Centroid)과 비교하고, 그 클러스터에 딸린 순위표에서 모델을 고르는 구조입니다. Weave Router는 Go 1.25 이상에서 빌드되는 서버이고, 엔지니어링 활동 분석 도구를 만드는 Weave가 공개했습니다. 저장소 코드를 내려받아 자체 호스팅할 수 있으며, Weave가 같은 라우터를 관리형 서비스로도 운영하기 때문에 명령 한 줄로 그 호스팅 라우터에 연결하는 경로도 함께 제공됩니다. Weave는 요청당 라우팅 판단이 50밀리초 안에 끝나고 비용이 40에서 70퍼센트까지 줄어든다고 저장소 설명에 적어 두었습니다. 이 수치는 Weave가 … --- ## [opencodex: 어떤 LLM이든 Codex와 Claude Code에서 쓰게 해주는 범용 프록시](https://discuss.pytorch.kr/t/opencodex-llm-codex-claude-code/11408)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [7월 27, 2026, 11:30오전 UTC](https://discuss.pytorch.kr/t/opencodex-llm-codex-claude-code/11408 "2026-07-27T11:30:39Z")
opencodex 소개 OpenAI의 Codex CLI나 Claude Code 같은 코딩 에이전트는 특정 백엔드 API에 맞춰 통신합니다. 그래서 Claude, Gemini, Grok, DeepSeek 같은 다른 모델을 쓰고 싶어도, 도구가 해당 제공자를 공식 지원할 때까지 기다려야 하는 경우가 많습니다. 로컬 모델을 붙이거나 여러 계정을 번갈아 쓰는 것도 도구마다 방식이 달라 손이 많이 갑니다. opencodex는 이 문제를 프록시 계층으로 푸는 도구입니다. Codex의 Responses API 요청을 각 제공자가 이해하는 형식으로 번역해 전달하는 가벼운 로컬 프록시로, 스트리밍, 도구 호출(tool call), 추론 토큰(reasoning token), 이미지가 양방향으로 모두 동작합니다. 덕분에 Codex의 워크플로우는 그대로 두고 뒤에 있는 모델만 바꿀 수 있습니다. opencodex는 Codex뿐 아니라 Claude Code에서도 같은 방식으로 동작하며, Anthropic, Google, xAI, DeepSeek, Kimi, Qwen, GLM, Ollama를 비롯한 여러 제공자를 지원합니다. OpenAI 자신도 대상 제공자 중 하나로 포함됩니다. opencodex의 동작 구조 opencodex의 핵심은 하나의 OpenAI 호환 엔드포인트로 여러 모델을 라우팅하는 통합 프록시 계층이라는 점입니다. 아래 그림은 Codex 클라이언트에서 opencodex를 거쳐 각 제공자로 요청이 흘러가는 구조를 보여줍니다. Codex CLI, 앱, SDK 등 Responses API로 통신하는 클라이언트는 /v1/responses 로 요청을 보내고, opencodex는 이를 받아 Anthropic의 Messages API, Google의 Gemini, 그 외 제공자의 Chat Completions API로 각각 변환해 전달합니다. 이 프록시 계층은 OpenAI 호환 API 표면(surface), 스마트 라우팅과 장애 조치(failover), 사용량 추적… --- ## [agentgateway: MCP와 A2A, LLM 트래픽을 하나로 묶는 AI 에이전트용 오픈소스 게이트웨이](https://discuss.pytorch.kr/t/agentgateway-mcp-a2a-llm-ai/10957)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [6월 28, 2026, 3:30오전 UTC](https://discuss.pytorch.kr/t/agentgateway-mcp-a2a-llm-ai/10957 "2026-06-28T03:30:35Z")
agentgateway 소개 AI 에이전트가 실제 업무에 투입되면서, 에이전트는 더 이상 혼자 동작하지 않습니다. 에이전트끼리 작업을 주고받고(agent-to-agent), 내부 시스템이나 도구를 호출하고(agent-to-tool), 외부 LLM에 추론을 요청합니다(agent-to-LLM). 그런데 이 에이전트와 도구들은 서로 다른 프레임워크로 만들어지고 서로 다른 API와 데이터 소스에 접근하기 때문에, 연결 방식이 환경마다 제각각으로 흩어집니다. MCP(Model Context Protocol)와 A2A(Agent-to-Agent) 같은 프로토콜이 통신 규약 자체는 정의하지만, 인증과 권한, 거버넌스, 관측 같은 운영 단계의 문제까지 풀어 주지는 않습니다. agentgateway는 이 빈틈을 메우기 위해 MCP와 A2A 위에 세워진 오픈소스 프록시입니다. agent-to-LLM, agent-to-tool, agent-to-agent 통신 경로에 보안과 관측, 거버넌스를 별도 코드 수정 없이 더해 주며, 특정 에이전트 프레임워크나 실행 환경에 묶이지 않습니다. Rust로 작성되어 롱리브드 연결과 팬아웃(fan-out) 패턴이 많은 에이전트 트래픽에서도 높은 처리량과 낮은 지연을 내도록 설계되었습니다. 처음에는 Solo.io가 개발했고, 현재는 Linux Foundation 프로젝트로 호스팅되고 있습니다. agentgateway의 또 다른 축은 하나의 데이터 플레인 으로 일반 API 트래픽과 AI 워크로드를 함께 처리한다는 점입니다. 로드 밸런싱, 타임아웃, 재시도, TLS, 속도 제한, 권한 정책을 갖춘 범용 HTTP·gRPC 데이터 플레인 위에서, 같은 프록시로 LLM 추론과 MCP 도구 서버, A2A 에이전트 트래픽을 함께 다룹니다. 덕분에 "일반" 게이트웨이와 "AI" 게이트웨이를 따로 운영할 필요가 없습니다. 본 게시물에서는 agentgateway가 풀려는 문제와 핵심 기능, 설치 방법을 정리합니다. agentgateway가 풀려는 문제 a… --- ## [OpenClaw: 사용자의 로컬 환경에서 구동하고 다양한 방식으로 연동할 수 있는 오픈소스 AI 비서 프로젝트 (Clawdbot, Moltbot🦞에서 이름 변경)](https://discuss.pytorch.kr/t/openclaw-ai-clawdbot-moltbot/8849)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [1월 28, 2026, 4:30오전 UTC](https://discuss.pytorch.kr/t/openclaw-ai-clawdbot-moltbot/8849 "2026-01-28T04:30:27Z")
Moltbot 소개 Moltbot은 사용자의 로컬 환경 또는 개인 서버에서 직접 구동되는 오픈소스 AI 에이전트이자 개인 비서 플랫폼입니다. "The lobster way :lobster:"라는 독특한 슬로건을 가진 이 프로젝트는, 단순히 웹 브라우저에서 대화하는 챗봇을 넘어 사용자의 모든 커뮤니케이션 채널과 디지털 환경 전반에 깊숙하게 관여하고 이를 하나로 연결하는 'AI 게이트웨이(Gateway)' 역할을 지향합니다. 즉, 사용자의 개인 장비(로컬 컴퓨터, 서버 등)를 거점으로 삼아 동작하며, 사용자가 즐겨 쓰는 다양한 메신저 앱과 강력한 LLM(대규모 언어 모델) 사이를 연결하는 게이트웨이(Gateway) 겸 신경망 역할을 수행합니다. :notebook: Moltbot은 초기 Anthropic의 Claude 모델을 주로 활용하는 봇이라는 의미와, 랍스터(Lobster)의 집게발(claw)이라는 중의적인 의미를 담아 Clawdbot으로 이름을 지었습니다. 하지만, 최근 이름을 Moltbot으로 변경하고 있습니다. 이에 따라 홈페이지 및 GitHub 저장소에서는 이름 변경이 진행 중이며, 일부 사이트/패키지가 정상적으로 접속/설치되지 않을 수 있습니다. Moltbot의 핵심은 연결성과 제어권입니다. 현재 대부분의 상용 AI 서비스는 공급자의 클라우드 서버 내에 데이터가 갇혀 있고, 웹사이트나 전용 앱을 통해서만 접근할 수 있습니다. 반면 Moltbot은 사용자가 자신의 데이터와 도구에 대한 통제권을 100% 가질 수 있도록 설계되었습니다. 사용자는 WhatsApp이나 Telegram, Discord와 같은 친숙한 메신저를 통해 Moltbot에게 작업을 지시할 수 있으며, Moltbot은 단순한 답변 생성을 넘어 사용자의 컴퓨터에서 직접 파일을 검색하거나, 웹을 브라우징하고, 캘린더 일정을 관리하는 등 실질적인 행동을 수행합니다. Moltbot은 특히 '연결성'에 중점을 둡니다. Anthropic의 Claude, OpenAI의 GPT 시리즈, … --- ## [Cloudflare, 단일 API Endpoint에서 여러 AI 모델을 연결/관리하는 AI Gateway의 신규 업데이트 공개](https://discuss.pytorch.kr/t/cloudflare-api-endpoint-ai-ai-gateway/7635)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [9월 2, 2025, 3:30오전 UTC](https://discuss.pytorch.kr/t/cloudflare-api-endpoint-ai-ai-gateway/7635 "2025-09-02T03:30:31Z")
AI Gateway 소개 AI 애플리케이션을 개발할 때 가장 큰 어려움 중 하나는 비결정적(non-deterministic) 특성을 가진 AI 모델을 안정적이고 예측 가능하게 운영하는 것입니다. 동일한 입력을 주더라도 결과가 다르게 나올 수 있고, 모델 버전이나 시스템 프롬프트, 심지어는 API 호출 환경에 따라 결과가 달라집니다. 여기에 성능, 비용, 안정성까지 고려해야 하니 개발자는 여러 겹의 복잡성과 마주하게 됩니다. Cloudflare는 이미 인터넷 트래픽을 효율적으로 관리하고 보안과 성능을 보장하는 데 강점을 보여왔습니다. 그리고 2년 전, 이러한 철학을 AI 시대에도 적용하기 위해 AI Gateway를 선보였습니다. Cloudflare의 AI Gateway는 개발자가 AI 애플리케이션을 보다 쉽게 관리하고 제어할 수 있도록 지원하는 중앙 집중형 관측 및 제어 플랫폼으로, 이를 통해 요청 사용량, 토큰 수, 오류 및 비용 등의 인사이트를 실시간으로 확인할 수 있으며, 캐싱이나 요청 속도 제한(rate limiting), 자동 재시도, 모델 폴백(model fallback) 등의 기능을 통해 신뢰성과 성능을 높이는 것이 가능합니다 AI Gateway 업데이트 내용 소개 2025년 8월 말 공개된 AI Gateway 업데이트는 이전의 중앙 집중형 관측 및 제어 기능을 한 단계 확장해, 개발자가 다양한 AI 모델을 손쉽게 연결하고 비용과 보안을 통합 관리할 수 있는 환경을 제공합니다. 이번 업데이트를 통해 AI Gateway는 통합 결제, 보안 키 관리, 동적 라우팅(Dynamic Routing), 데이터 손실 방지(DLP, Data Loss Prevention)를 통한 보안 제어 등 다수의 기능을 강화했습니다. 즉, 이제 개발자는 Cloudflare의 AI Gateway 하나만으로 여러 AI 제공자를 연결하고, 사용량을 관리하며, 모델 간 트래픽을 유연하게 제어할 수 있습니다. 이는 기업과 개인 개발자 모두에게 관리 효율성과 비용 최… --- ## [Portkey AI Gateway: 여러 AI 모델들을 빠르고 신뢰성있게 라우팅하는 오픈소스 솔루션](https://discuss.pytorch.kr/t/portkey-ai-gateway-ai/7205)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [7월 1, 2025, 3:30오전 UTC](https://discuss.pytorch.kr/t/portkey-ai-gateway-ai/7205 "2025-07-01T03:30:05Z")
Portkey AI Gateway 소개 AI 모델을 실제 서비스에 적용하고 운영하는 과정에서 가장 중요한 과제 중 하나는 ‘안정성’과 ‘유연성’입니다. 특히 다양한 LLM(Large Language Model)을 동시에 다루거나, 서비스 장애에 대비한 자동 재시도, 로드 밸런싱, 또는 멀티모달 처리까지 고려해야 할 요소가 많습니다. 이러한 현실 속에서 Portkey-AI의 오픈소스 프로젝트인 AI Gateway는 이러한 복잡한 요구사항을 효과적으로 해결하기 위한 솔루션으로 주목받고 있습니다. Portkey AI Gateway는 단일 API를 통해 200개 이상의 LLM 제공자(OpenAI, Google Gemini, Anthropic, Mistral 등)와 연결할 수 있는 경량화된 오픈소스 게이트웨이입니다. 주요 특징은 빠른 응답 속도(1ms 이하), 뛰어난 확장성, 신뢰도 높은 자동 재시도 및 폴백(fallback) 처리, 보안 중심의 데이터 검증 기능 등입니다. 특히 122KB에 불과한 작은 크기로도 대규모 운영 환경에서도 1일 수십억 토큰 수준의 처리 성능을 보유하고 있습니다. 많은 기업과 개발자들이 LLM 애플리케이션을 구축하면서 발생하는 가장 큰 문제 중 하나는 벤더 락인과 관리 복잡성입니다. AI Gateway는 이러한 문제에 대해 “라우팅”이라는 해결책을 제시합니다. 사용자는 자신의 키를 통해 다양한 LLM을 조건에 따라 선택적으로 호출할 수 있고, 비즈니스 상황에 맞춰 손쉽게 전환하거나 확장할 수 있습니다. Portkey AI Gateway는 단순한 프록시 API가 아닌, 자동 재시도, 조건 기반 라우팅, 보안 검증, 멀티모달 지원, 스마트 캐싱 등 일반적인 프록시 솔루션이나 API 게이트웨이보다 한층 더 AI 친화적인 기능을 제공합니다. 기존의 OpenAI SDK, LangChain, Autogen, CrewAI 등과도 원활하게 통합되며, AWS, GCP, Azure 등 다양한 클라우드 환경에서도 엔터프라이즈 수준의 배포가 가능… --- ## [Cloudflare-RAG, Cloudflare의 AI Workers 및 D1 등의 서비스를 활용한 RAG 애플리케이션](https://discuss.pytorch.kr/t/cloudflare-rag-cloud-flare-ai-workers-d1-rag/5216)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [9월 19, 2024, 7:27오후 UTC](https://discuss.pytorch.kr/t/cloudflare-rag-cloud-flare-ai-workers-d1-rag/5216 "2024-09-19T19:27:44Z")
Clouldflare RAG 프로젝트 소개 Cloudflare RAG 프로젝트는 ChatWithCloud의 개발자 Rafal Wilinski가 공개한 프로젝트입니다. Cloudflare RAG 프로젝트는 Cloudflare에서 제공하는 다양한 서비스(Workers, Pages, D1, KV, R2, AI Gateway와 Workers AI)들을 활용하여 RAG(Retrieval Augmented Generation) 앱을 구축할 수 있는 방법을 소개하는 프로젝트입니다. 이 프로젝트는 Cloudflare의 다양한 기술 스택을 활용해 RAG 앱을 구축하는 예제를 제공합니다. RAG는 주어진 질문에 대해 데이터베이스에서 관련 정보를 검색하고, 이를 이용해 AI 모델의 응답을 보강하는 방법입니다. Cloudflare의 D1을 활용한 전통적인 전체 텍스트 검색과 Vectorize를 활용한 벡터 검색을 결합해 보다 정교한 검색 결과를 제공합니다. 사용자는 여러 AI 제공자(OpenAI, Groq, Anthropic 등) 간의 전환이 가능하며, Cloudflare의 AI Gateway를 통해 자동 폴백 기능도 지원합니다. 이 프로젝트는 전통적인 RAG 시스템과 달리, Cloudflare의 인프라를 최대한 활용해 보다 빠르고 효율적인 검색을 제공합니다. 기존의 RAG는 주로 하나의 검색 방식(예: 전체 텍스트 검색 또는 벡터 검색)에 의존하지만, Cloudflare RAG는 두 가지 방식을 동시에 사용해 더욱 정확한 검색 결과를 제공합니다. 주요 기능 실시간 스트리밍: Server-Sent Events를 사용하여 서버에서 클라이언트로 실시간 스트리밍을 통해 사용자 인터페이스에 결과를 빠르게 표시합니다. 하이브리드 검색: Cloudflare D1을 통한 전체 텍스트 검색과 Vectorize를 통한 벡터 검색을 결합하여 정확도를 높입니다. 다양한 AI 제공자 전환: OpenAI, Groq, Anthropic 등의 다양한 AI 제공자를 지원하… --- ## [\[GN\] BricksLLM - LLM을 위한 AI Gateway](https://discuss.pytorch.kr/t/gn-bricksllm-llm-ai-gateway/3072)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [12월 19, 2023, 5:37오전 UTC](https://discuss.pytorch.kr/t/gn-bricksllm-llm-ai-gateway/3072 "2023-12-19T05:37:35Z")
GeekNews의 xguru님께 허락을 받고 GN에 올라온 글들 중에 AI 관련된 소식들을 공유하고 있습니다. :smiley\_cat: 소개 Go 로 작성된 클라우드 네이티브 AI 게이트웨이 OpenAI 에 대한 Proxy로 동작 Rate Limit, Cost Limit, TTL 이 있는 API 키를 생성해서 OpenAI 가 제공해주지 않는 상세한 접근 제어 기능을 제공 가능 목표는 LLama2, Claude, PaLM2 등의 다양한 LLM을 지원하고, LLM 운영을 간소화 하는 것 원문 BricksLLM 홈페이지 GitHub 저장소 https://github.com/bricks-cloud/BricksLLM 출처 / GeekNews