Korvus: RAG 파이프라인을 통합 검색 SDK (feat. PostgresML)

Korvus 소개

Korvus는 PostgresML팀이 개발한 오픈소스 RAG 파이프라인입니다. RAG는 검색-증강 생성(Retrieval-Augmented Generation)의 약자로, 검색을 통해 관련 데이터를 찾아와 생성 모델에 입력하여 더 나은 결과를 생성하는 기술입니다. Korvus는 Postgre 위에 구축되어 있으며 Python, JavaScript, Rust와 같은 여러 프로그래밍 언어를 지원합니다. Korvus의 가장 큰 장점은 복잡한 RAG 작업을 단일 SQL 쿼리로 실행할 수 있다는 점입니다. 이는 외부 서비스와 API 호출의 필요성을 없애고, 지연 시간과 복잡성을 크게 줄여줍니다.

Korvus를 사용하려면 pgml 및 pgvector가 설치된 Postgres 데이터베이스가 필요합니다. 또한, Korvus는 기존의 RAG 솔루션과 비교하여 몇 가지 큰 차별점을 가지고 있습니다:

  1. Postgres-Native RAG: Postgres의 강력한 기능을 활용하여 복잡한 RAG 작업을 데이터베이스 내에서 직접 수행합니다. 이는 외부 서비스와 API 호출의 필요성을 없애고, 지연 시간과 복잡성을 크게 줄여줍니다.

  2. 단일 쿼리 효율성: Korvus는 임베딩 생성부터 텍스트 생성까지의 전체 RAG 파이프라인을 단일 SQL 쿼리로 실행합니다. 이 "하나의 쿼리로 모든 것을 해결"하는 접근 방식은 아키텍처를 단순화하고 성능을 향상시킵니다.

  3. 확장성 및 성능: Postgres를 기반으로 구축된 Korvus는 데이터가 증가함에 따라 뛰어난 확장성과 성능을 유지합니다.

주요 기능

Korvus 데모

  • 간소화된 아키텍처: 복잡한 서비스 지향 아키텍처를 단일 강력한 쿼리로 대체합니다.

  • 고성능: API 호출과 데이터 이동을 최소화하여 더 빠른 처리와 높은 신뢰성을 제공합니다.

  • 오픈소스: MIT License로 공개된 오픈소스 소프트웨어와 로컬 Docker에서 실행되는 모델로 개발자 경험을 개선합니다.

  • 다양한 언어 지원: Python, JavaScript, Rust, C 언어에서 Korvus를 사용할 수 있습니다.

  • 통합 파이프라인: 임베딩 생성, 벡터 검색, 재정렬, 텍스트 생성을 하나의 쿼리로 결합합니다.

  • Postgres 기반: 효율적인 SQL 쿼리로 구동되는 Postgres 플랫폼의 안정성을 활용합니다.

라이센스

이 프로젝트는 MIT License로 공개 및 배포되고 있습니다.

:github: Korvus GitHub 저장소

https://github.com/postgresml/korvus

:books: Korvus 공식 문서 사이트




이 글은 GPT 모델로 정리한 글을 바탕으로 한 것으로, 원문의 내용 또는 의도와 다르게 정리된 내용이 있을 수 있습니다. 관심있는 내용이시라면 원문도 함께 참고해주세요! 읽으시면서 어색하거나 잘못된 내용을 발견하시면 덧글로 알려주시기를 부탁드립니다. :hugs:

:pytorch:파이토치 한국 사용자 모임:kr:이 정리한 이 글이 유용하셨나요? 회원으로 가입하시면 주요 글들을 이메일:love_letter:로 보내드립니다! (기본은 Weekly지만 Daily로 변경도 가능합니다.)

:gift: 아래:arrow_lower_right:쪽에 좋아요:+1:를 눌러주시면 새로운 소식들을 정리하고 공유하는데 힘이 됩니다~ :star_struck:

1개의 좋아요