소개
- 대규모 언어 모델(LLM)과 이들에게 맥락 정보를 제공하는 데이터 저장소 사이에 큰 격차가 생겼습니다. 이 격차를 메우는 것은 AI 시스템을 효율적이고 사실적인 영역에 뿌리내리게 하는 중요한 단계입니다.
- Tiger AI의 오픈소스 도구모음 TigerLab은 TigerRAG, TigerTune, TigerDA, TigerArmor으로 구성되어 있으며, 개발자들이 특정한 요구에 맞춤화된 AI 모델과 언어 애플리케이션을 만들 수 있도록 돕습니다.
주요 내용
TigerRAG, TigerTune, TigerArmor, TigerDA 소개
- TigerRag: 임베딩 기반 검색(EBR), 검색-증강 생성(RAG), 생성-증강 검색(GAR)을 사용하여 질의에 대한 답을 찾습니다. 추가로 임베딩 시에는 BERT를, 임베딩 인덱싱하는 DB는 FAISS를, 그리고 생성에 text-davinci-003을 사용한 데모를 제공합니다.
- TigerTune: 텍스트 생성 모델과 텍스트 분류 모델을 미세 조정하고, 추론하고, 평가할 수 있는 Python SDK입니다.
- TigerDA(Data Augment; 데이터 증강)와 TigerArmor(AI-Safety): 곧 출시될 예정입니다.
설치 및 설정
- 프로젝트 설정을 시작하기 전에 OpenAI API 토큰과 같은 의존성 요구 사항들을 먼저 설치 완료해야 합니다.
- 저장소를 클론하고 Python 요구 사항을 설치한 후, TigerRag와 TigerTune을 설치할 수 있습니다.
generation_example.py를 실행하기 위해서는 CUDA GPU가 필요합니다.