안녕하세요
국내 최대 오프라인 인공지능 커뮤니티 모두의연구소입니다!
오늘은 Hugging Face Inference APi를 활용한 LLM 배포, Segment Anything과 Point Tracking을 활용한 비디오 세그멘테이션, 마지막으로 Hugging Face에서 새롭게 출시된 Text-to-Image 모델 학습 기법에 대한 내용입니다!
Hugging Face가 LLM LeaderBoard를 운영하면서 다양한 모델들을 그루핑하여 모아둬 저장소 역할도 하고 있는데요, Hugging Face가 이번에 새롭게 Inference API를 활용해 LLM을 배포하는 튜토리얼을 만들었다고 하네요! Hugging Face는 Inference API를 활용하면 코드없이 클릭만으로 LLM을 배포할 수 있고 MLOps와 같은 고민은 할 필요도 없으며 비용절감 효과까지 얻게 된다고 합니다. AI를 도입하려는 수많은 스타트업 입장에서는 Hugging Face Inference를 사용해서 LLM 배포하는 방식도 상당히 매력적으로 도전해볼 만한 가치가 있다고 생각합니다!
Meta의 Segment Anything 모델을 비디오로 확장하는 새로운 모델이 출시되어 소개해드립니다. Segment Anything 모델은 zero-shot으로 이미지를 세그먼트하는 방식의 모델인데요, 이번 연구는 Segment Anything 모델을 확장해서 Point Tracking으로 비디오도 해당 작업을 수행할 수 있게 만든 모델입니다. SAM-PT는 비디오를 세그먼트 할 때 zero-shot으로도 가능할 수 있게 만들었다는 것이 주요 핵심 포인트입니다. 또한 Point Tracking으로 진행하기에 클러스터링과 재초기화 전략도 구사가 가능합니다. 비디오쪽으로 연구하는 분들께는 또 다른 연구로써 자리 잡아 나아갈 수 있을 것 같아서 공유드려요!
Hugging Face에서 컨트롤할 수 있는 Text-to-Image 모델 기법에 대한 논문이 새롭게 릴리즈 되었습니다. 현재 Text-to-Image 모델의 경우 퀄리티는 뛰어나지만 유저가 편집을 진행할 때 완벽하게 컨트롤 되지 않는다는 단점이 있습니다. 그렇기에 Hugging Face는 실제 이미지 편집에서 사용하는 DDPM inversion기법과 언어적 지도를 주고 실제 이미지 편집을 용이하게 만드는 기법을 고안했습니다. 이 기법을 사용하게 되면 미묘하고 광범위한 편집을 쉽게 진행할 수 있을 뿐만 아니라 모델을 최적화하거나 확장시킬 필요가 없습니다. 실제 Stable Diffusion에도 이 기법이 적용되면 훨씬 편집이 쉬워질 거라는 생각이 드네요~
모두의연구소와 지식을 나누고 함께 성장할 개발자를 기다립니다.
모두의연구소가 만든 AI학교 쏘카 캠퍼스 모집 중 ⇒ https://me2.kr/IvLsN