파이토치 한국 사용자 모임
[GN] llama-tokenizer-js - 브라우저에서 실행되는 LLaMA 토크나이저
읽을거리&정보공유
tokenize
,
llama
,
geeknews
,
llama-tokenizer-js
9bow
(박정환)
6월 28, 2023, 12:25오전
1
GeekNews
의
xguru
님께 허락을 받고 GN에 올라온 글들 중에 AI 관련된 소식들을 공유하고 있습니다.
소개
image
1064×745 32.3 KB
클라이언트 사이드에서 토큰을 정확하게 계산하기 위해 사용 가능
의존성 전혀없는 하나의 파일로 쉽게 사용 가능
대부분의 LLaMA 기반 모델과 호환
약 2천개의 토큰을 20ms 안에 토큰화 가능
원문
GitHub 저장소
Demo
출처 /
GeekNews