🪢 Langfuse: LLM 기반 어플리케이션 관측 및 분석을 위한 오픈소스 도구

9bow · 8월 31, 2023, 11:58오전

소개

Langfuse는 LLM 기반 애플리케이션을 위한 오픈 소스 관측 및 분석 솔루션입니다. 이 도구는 주로 생산 환경에서의 사용을 목적으로 하지만, 일부 사용자들은 자신의 LLM 애플리케이션의 로컬 개발에도 사용합니다. (ee/ 폴더를 제외하고 MIT 라이선스 적용)

관측(Observability): 시각적 UI에서 복잡한 로그 / Trace 탐색 및 디버깅

Explore and debug complex logs & traces in a visual UI

분석(Analytics): 비용, 지연 시간 및 응답 품질 측정 및 개선

Measure & improve costs, latency and response quality

Langfuse 소개

Langfuse의 특징

Langfuse는 LLM 위에 구축된 애플리케이션에 중점을 두고 있습니다. 최근에는 에이전트, 연결된 프롬프트, 임베딩 기반 검색, LLM의 REPL 및 API 액세스와 같은 많은 새로운 추상화와 일반적인 모범 사례가 발전했습니다. 이러한 기능은 애플리케이션을 더욱 강력하게 만들지만, 개발자들이 그들의 애플리케이션의 품질, 비용 및 전반적인 대기 시간에 어떻게 변화가 미치는지를 완전히 예측할 수 없게 만듭니다. 따라서 Langfuse는 이러한 애플리케이션을 모니터링하고 디버깅하는 데 도움을 주는 것을 목표로 합니다.

관측(Observability) 기능

trace

Langfuse는 관측된 데이터를 탐색하기 위한 관리자 UI를 제공합니다. LLM 앱 실행의 중첩 된 뷰; 대기 시간, 비용, 점수에 대한 자세한 정보를 포함합니다.

feedback

또한, 사용자 피드백별로 실행 흔적을 분할하여 생산 문제를 식별합니다.

분석(Analytics) 기능

usage

아래 내용에 대한 리포팅
- 모델별 토큰 사용량
- Trace 용량
- 점수(Score) / 평가(Eval)
아래 기준들로 세분화(break-down)
- 사용자별
- 릴리스별
- 프롬프트/체인 버전별
- 프롬프트/체인 유형별
- 시간별

더 알아보기

홈페이지

데모 (계정 필요)

문서

GitHub 저장소

API 문서

커뮤니티 (Discord)

라이선스

9bow · 9월 6, 2023, 11:26오전

GeekNews의 xguru님께 허락을 받고 GN에 올라온 글들 중에 AI 관련된 소식들을 공유하고 있습니다.

[GN] LangFuse - LLM앱을 위한 오픈소스 Observability & Analytics 솔루션

소개

LLM을 이용하여 만들어진 앱들을 위한 도구
Observability
- 복잡한 로그와 트레이스를 비쥬얼 UI로 탐색 및 디버그
- 사용자 피드백에 따라 실행 트레이스를 세그먼트화
Analytics: 비용, 지연시간 및 응답 품질을 측정 & 개선
- 모델별 토근 사용량, 스코어/평가 점수 리포트
- 사용자, 릴리즈, 프롬프트/체인 버전과 종류, 시간대 별로 분석 제공