안녕하세요
국내 최대 오프라인 인공지능 커뮤니티 모두의연구소입니다.
오늘은 DeepSpeed-Chat에 대한 소식, OpenFlamingo에 대한 소식 마지막으로 MusicLDM에 대한 소식입니다!
Microsoft DeepSpeed팀이 ChatGPT에 맞는 새로운 시스템을 고안했다고 합니다! ChatGPT와 유사한 모델들이 많이 등장했지만, 매개변수 규모로 학습할 때 접근가능하고 비용효율적인 RLHF 파이프라인이 부족하다는 현실인데요. 이러한 모델을 위해 쉽게 학습시킬 수 있고 InstructGPT의 훈련 파이프라인을 복제한 RLHF 파이프라인을 구축한 이번 DeepSpeed-Chat을 만들었다고 합니다. DeepSpeed-Chat은 적은 비용으로 빠른 시간 내에 훈련시킬 수 있다고 하는데요! DeepSpeed의 새로운 시스템이 나왔다는 점에서 앞으로의 오픈소스 LLM이 더 활성화될거라는 생각이 듭니다!
DeepSpeed-Chat: Easy, Fast and Affordable RLHF Training of ChatGPT-like Models at All Scales
딥마인드에서 만든 Flamingo를 복제한 OpenFlamingo를 소개합니다! Flamingo는 딥마인드에서 만든 Vision-Language 모델로 2022년에 공개됐었는데요. 이 모델의 경우 다양한 task를 수행한다는 점에서 좋은 평가를 받지만. 아직까지 오픈소스가 아니라는 아쉬운 점이 있었죠. 그래서 이번에 OpenFlamingo가 기존의 Flamingo와 비교했을 때 성능이 좋다고 합니다! 오픈소스 VLM이 앞으로 더 많이 나왔으면 좋겠네요!
OpenFlamingo: An Open-Source Framework for Training Large Autoregressive Vision-Language Models
Diffusion 모델이 등장하면서 Text-to-Image 모델에서는 큰 두각을 보였지만 아직까지 음악쪽에서는 아직이었죠. 여러 이유가 있지만 음악의 경우 저작권과 표절이라는 민감한 문제를 갖고 있기 때문이었는데요. 이런 문제를 해결하기 위해서 Diffusion 모델과 AudioLDM 모델 아키텍쳐를 활용한 MusicLDM을 구축했다고 합니다~! MusicLDM의 경우 Diffusion을 도입하고 믹스업 전략 2개를 사용해 새로운 음악을 생성하도록 유도하는 동시에 생성된 음악이 해당 스타일에 충실하고 다양해질 수 있다고합니다. 이제 AI가 음악쪽을 넘보면서 확장하고 있네요! 흥미롭지 않나요!
AI 90% 순도 높은 아이펠만의 커리큘럼으로 배우세요!
- AI학교 아이펠 무료 입학하기 : 아이펠 캠퍼스 - 모두의연구소가 만든 AI학교 아이펠