OpenLIT: OpenTelemetry 기반 생성형 AI 및 LLM 모니터링 도구
소개
OpenTelemetry를 기반으로 한 GenAI 및 LLM 애플리케이션 관측 도구인 OpenLIT는 개발자들이 GenAI 프로젝트에 관측 기능을 쉽게 통합할 수 있도록 설계되었습니다. 단 한 줄의 코드만으로도 통합이 가능해, 사용이 매우 간편합니다. 이 도구는 OpenAI와 HuggingFace와 같은 인기 있는 LLM 라이브러리뿐만 아니라 ChromaDB와 같은 벡터 데이터베이스와의 통합을 원활하게 지원합니다. 이 글에서는 OpenLIT의 핵심 기능과 설치 방법, 그리고 사용법에 대해 자세히 알아보겠습니다.
OpenLIT은 LLM(Large Language Models) 응용 프로그램의 성능과 신뢰성을 향상시키는 데 필요한 중요한 통찰력을 제공하는 GenAI 및 LLM 응용 프로그램 관측 도구입니다. 이 도구는 OpenTelemetry 커뮤니티의 Semantic Conventions을 따르며 관측의 최신 표준과 일치하도록 지속적으로 업데이트됩니다.
OpenLIT은 벤더 중립적인 SDK를 제공함으로써 Grafana Tempo와 같은 다양한 텔레메트리 백엔드와의 호환성을 보장하며, 이는 다른 관측 도구들이 특정 벤더에 종속되어 있는 것과 대비됩니다.
주요 기능
- OpenTelemetry 네이티브 지원: OpenLIT은 자연스러운 확장처럼 느껴지도록 프로젝트에 통합됩니다.
- 세분화된 사용 통찰력 제공: 스테이징 또는 프로덕션 환경별, 또는 응용 프로그램별로 메트릭을 세분화하여 LLM 응용 프로그램의 성능과 비용을 평가할 수 있습니다.
- 벤더 중립적 SDK: OpenLIT의 SDK는 백엔드 벤더와 관계없이 사용할 수 있으며, 다양한 텔레메트리 백엔드와의 호환성 문제를 걱정할 필요가 없습니다.
사용 방법
OpenLIT 배포
레포지토리의 루트 디렉터리에서 다음 명령을 실행하여 OpenLIT을 배포합니다:
# Docker를 사용한 배포
docker-compose up -d
OpenLIT SDK 설치 및 애플리케이션 계측
OpenLIT SDK를 설치하고 다음과 같이 애플리케이션을 계측합니다:
import openlit
openlit.init(otlp_endpoint="http://127.0.0.1:4318")
OTLP 엔드포인트를 설정하여 OpenTelemetry Collector와 같은 HTTP OTLP 엔드포인트로 텔레메트리 데이터를 전송할 수 있습니다.
성능 최적화 및 시각화
LLM 관측 데이터가 수집되면 OpenLIT UI에서 데이터를 시각화하고 분석하여 애플리케이션의 성능과 행동을 파악하고 개선할 수 있는 영역을 식별할 수 있습니다. 브라우저에서 127.0.0.1:3000을 방문하면 아래와 같은 대시보드를 확인할 수 있습니다.
더 읽어보기
OpenLIT 문서
OpenLIT GitHub 저장소
https://github.com/openlit/openlit
유사한 모니터링 / 관측(Observability) 도구
- [GN] OpenLLMetry - LLM 어플리케이션을 위한 오픈소스 Observability
- 🪢 Langfuse: LLM 기반 어플리케이션 관측 및 분석을 위한 오픈소스 도구
- 생성형 AI의 구성 요소 (The Building Blocks of Generative AI)
이 글은 GPT 모델로 정리한 글을 바탕으로 한 것으로, 원문의 내용 또는 의도와 다르게 정리된 내용이 있을 수 있습니다. 관심있는 내용이시라면 원문도 함께 참고해주세요! 읽으시면서 어색하거나 잘못된 내용을 발견하시면 덧글로 알려주시기를 부탁드립니다. 
파이토치 한국 사용자 모임
이 정리한 이 글이 유용하셨나요? 회원으로 가입하시면 주요 글들을 이메일
로 보내드립니다! (기본은 Weekly지만 Daily로 변경도 가능합니다.)
아래
쪽에 좋아요
를 눌러주시면 새로운 소식들을 정리하고 공유하는데 힘이 됩니다~ 