[GN] OpenLLMetry - LLM 어플리케이션을 위한 오픈소스 Observability

9bow · 2월 23, 2024, 11:02오전

GeekNews의 xguru님께 허락을 받고 GN에 올라온 글들 중에 AI 관련된 소식들을 공유하고 있습니다.

소개

LLM 애플리케이션에 대한 완벽한 통합 가시성(Observability)을 제공
내부적으로 OpenTelemetry 기반이기 때문에 Datadog, New Relic, Grafana Tempo, Splunk 같은 기존 솔루션과도 연동 가능
- Traceloop
- Dynatrace
- Datadog
- New Relic
- Honeycomb
- Grafana Tempo
- HyperDX
- SigNoz
- Splunk
- OpenTelemetry Collector
- IBM Instana
Instrumentation 가능
- LLM : OpenAI/Azure OpenAI, Anthropic, Cohere, HuggingFace, AWS Bedrock, Vertext AI, Replicate, IBM WatsonX
- Vector DB: Chroma, Pinecone, Qdrant, Weaviate, Milvus
- Frameworks: LangChain, LlamaIndex, Haystack, LiteLLM
JS/TS 버전용 OpenLLMetry-JS도 별도로 제공