[GN] llama-tokenizer-js - 브라우저에서 실행되는 LLaMA 토크나이저

읽을거리&정보공유
, , ,
1

GeekNews의 xguru님께 허락을 받고 GN에 올라온 글들 중에 AI 관련된 소식들을 공유하고 있습니다. :smiley_cat:

소개

image
image1064×745 32.3 KB

  • 클라이언트 사이드에서 토큰을 정확하게 계산하기 위해 사용 가능
  • 의존성 전혀없는 하나의 파일로 쉽게 사용 가능
  • 대부분의 LLaMA 기반 모델과 호환
  • 약 2천개의 토큰을 20ms 안에 토큰화 가능

원문

GitHub 저장소

Demo

출처 / GeekNews