GeekNews의 xguru님께 허락을 받고 GN에 올라온 글들 중에 AI 관련된 소식들을 공유하고 있습니다.
소개
- DeepMind의 Flamingo 모델을 오픈소스로 구현한 것
- 3B, 4B, 9B 모델을 공개
- MPT-1B/7B 와 RedPajama-3B 기반
- 같은 Flamingo 모델 성능의 80% 이상을 달성
- 학습 및 평가 코드를 개선
- Fully Sharded Data Parallel (FSDP) 지원
- 새로운 데이터셋(TextVQA, VizWiz, HatefulMemes, Flickr30k)을 평가 스윗에 추가