안녕하세요
국내 최대 인공지능 커뮤니티 모두의연구소입니다!
오늘은 GPT 수능 국어 1등급 프로젝트, Hugging Face 엔드포인트로 MusicGen 배포하는 프로젝트 마지막으로 CNN으로 이루어진 CLIP에 대한 소식입니다.
GPT-4로 수능 국어 1등급에 도전하는 프로젝트를 소개합니다~~!~~ 이 프로젝트의 경우 GPT-4를 프롬프트 엔지니어링 없이 사용한다면 3등급정도 나온다고 하는데요. 이 프로젝트에서 CoT를 활용한다면 2등급까지 나올 수 있다고 했고 해당 프롬프트까지 공개가 됐습니다. 현재 깃허브에서 빈출 유형 대응 프롬프트도 작성하고 예시를 통해 작성하고 있습니다. EBS 해설과 GPT-4의 해설을 비교했을 때 상당히 유사하다는 걸 확인했는데 GPT-4로 이정도까지 할 수 있다는 점이 놀랍지 않나요?
Hugging Face에서 Inference 엔드포인트를 활용해 MusicGen을 배포하는 내용의 블로그를 소개합니다! MusicGen은 텍스트 프롬프트와 멜로드를 받아 음악을 출력하는 모델인데요! 배포할 때 Hugging Face에 있는 엔드포인트를 활용해서 깃허브 구성하는 방식, 엔드포인트를 만드는 방식, 결과값을 다운받는 것 까지 전부 자세하게 설명되어 있습니다. 모델 데모를 간단하게 배포할 때 Hugging Face에 있는 Inference 엔드포인트를 활용하는 것도 좋을것 같으니 꼭 참고해보세요~!
Deploy MusicGen in no time with Inference Endpoints
CLIP을 구성할 때 CNN을 활용한 논문을 소개합니다. CLIP은 ViT를 백본모델로 만들어진 모델인데요. 이 논문은 ClLP을 구현하되 CNN기반으로 만들었으며, 채택 이유는 ViT를 사용하기 위해 마스크 생성기를 통과시키고 예측된 마스트와 함께 CLIP모델을 사용하는 2단계로 구축하는데 CNN을 활용하면 1단계로 줄어들어 효율성이 높아진다고 합니다. 또한 CNN으로 만들어진 CLIP이 더 큰 해상도로 일반화가 잘 되는 특성도 갖고 있는데요. 현재 Transformer류가 대세이긴 하나 CNN이 갖고 있는 장점은 확실히 있기 때문에 CNN에 관련된 연구도 지속되는 것도 기대가 됩니다!
Convolutions Die Hard: Open-Vocabulary Segmentation with Single Frozen Convolutional CLIP
모두의연구소에서 지식을 나누며 함께 성장해요!
AI학교 아이펠 6기 모집 중 ⇒ 아이펠 캠퍼스 - 모두의연구소가 만든 AI학교 아이펠
