GeekNews의 xguru님께 허락을 받고 GN에 올라온 글들 중에 AI 관련된 소식들을 공유하고 있습니다. 
소개
- LLM의 제로샷 성능이 좋으려면 고품질 인스트럭션 셋이 필수적이고, VLM(시각-언어 모델)도 마찬가지
- 하지만 현재 vision-language 인스트럭션 셋은 수량/다양성/창의성 면에서 매우 제한적
- MIMIC-IT(MultI-Modal In-Context Instruction Tuning)을 제시
- 이미지 & 비디오 에서 가져온 220만개의 고유명령과, 280만개의 멀티모달 명령-응답 쌍으로 구성된 데이터 셋
- MIMIC-IT 데이터셋으로 훈련한 대규모 VLM이 Otter
- 8개 언어 지원: 영어, 중국어, 한국어, 일본어, 독일어, 프랑스어, 스페인어, 아랍어
원문
데모 영상
데모 사이트
https://ottervideo.cliangyu.com/