안녕하세요
국내 최대 오프라인 인공지능 커뮤니티 모두의연구소입니다.
오늘은 애플이 LLM에 뛰어든 이야기, ChatGPT 성능이슈, 마지막으로 CLIP을 추론에 강하게 만드는 기법에 대한 이야기입니다.
애플도 드디어 LLM대전에 참전한다는 새로운 소식입니다.
현재 마이크로소프트, 구글을 비롯한 수많은 기업들이 모델을 추론해서 결과를 얻을 때 나오는 비용이 너무 천문학적이다 보니 자체 칩을 개발하고 있는 상황인데요, 강력한 엔비디아의 아성을 도전하고 있는 여러 기업들 중, 실제 효과적인 칩을 보여준 회사는 AMD, Intel, 애플이라고 생각합니다.
다만 이전까지 애플이 시리나 갤러리에 AI를 잘 도입해왔지만 LLM에는 비교적 소극적으로 대응하는 듯한 인상을 주었던 것도 사실입니다. 애플이 LLM을 준비하고 있다는 소식이 들려오니 애플이 갖고 있는 실리콘칩이 더 큰 효과를 얻을 것 같다는 생각이 드네요~
이전부터 커뮤니티 내부에서 챗GPT의 성능이 떨어졌다는 이야기가 심심치 않게 나오고 있습니다.
그러나 대부분의 내용은 경험적인 추측성 이야기라서 반신반의하는 분위기였는데요,
이번에 논문으로 챗GPT 성능이 실제로 떨어졌다는 결과가 제시되었습니다.
성능이 떨어진 원인으로는 작은 GPT 모델들을 묶어서 사용해 큰 모델인 것처럼 동작하지만 실제로는 더 저렴한 비용으로 실행하고 있다는 추론이 나오고 있기 때문인데요,
아직 명확하게 밝혀진 부분은 없지만 실제 성능이 떨어지는 것이라면 상당히 우려스럽네요~
CLIP과 같은 이미지-텍스트 모델들은 Diffusion 모델에서 이미지-텍스트를 연결해주는 중요한 역할을 수행합니다. 그러나 시각 언어 모델은 Winoground와 같이 시각 언어적 추론하는 모델에서 성능이 좋지 않습니다.
이번 모델은 Winoground처럼 시각 언어적 추론 능력에서도 좋은 평가를 얻기 위해서 이미지 매개변수를 미분가능하게 만들어 CLIP을 미세 조정하는 방식을 택합니다.
실제로 이렇게 진행하면 언어 추론이 최대 3%까지 향상될 수 있으며 제로샷 성능 또한 매우 향상됩니다. 간단한 아이디어지만 이렇게 작은 아이디어 하나로 성능이 더 개선된다면 딥러닝의 세계는 앞으로도 더욱 심오하게 발전될 수 있다고 생각합니다!
모두의연구소와 함께 지식을 나누고 성장할 여러분을 기다립니다.
AI학교 아이펠 쏘카 캠퍼스 모집 중 ⇒ 아이펠 캠퍼스 - 모두의연구소가 만든 AI학교 아이펠