GPT4All | LLaMA 기반

읽을거리&정보공유
1

:desktop_computer:GPT4All

코드, 스토리, 대화 등을 포함한 깨끗한 데이터로 학습된 7B 파라미터 모델(LLaMA 기반)인 GPT4All이 출시되었습니다. 특징으로는 80만 개의 데이터 샘플과 CPU에서 실행할 수 있는 양자 4bit 버전도 있습니다. 개인적으로 정말 놀라운 것같습니다.

repo: https://lnkd.in/eg2vSEJA
technical report: https://lnkd.in/e_ivgpRm

3개의 좋아요
2

GeekNews에 xguru님께서 정리해주신 소개글을 추가로 퍼와봅니다. :slight_smile:

  • 어시스턴트 스타일 대규모 언어모델
  • 수집된 데이터, 데이터 수집 프로시져, 훈련 코드, 최종 모델 가중치 등을 모두 공개
  • GPT 3.5 Turbo로 생성된 800k 데이터(코드/스토리/대화)로 훈련
    • LAION OIG, 스택오버플로우의 코딩 질문, Big-Science/P3 의 명령어 튜닝 등을 기본 데이터 셋으로 활용
    • 스탠포드 알파카 등을 참고하고, 데이터를 ATLAS에 올려서 큐레이션 및 클리닝 진행