안녕하세요 여러분, 오늘도 안녕한 하루 보내고 계신가요 ? ㅎㅎ
오늘의 AI 뉴스 공유드립니다.
현재 모델이 점점 커지면서 이제는 일반인들이 사용하고 있는 GPU로도 fine-tuning하기 쉽지 않은 세상이 온것 같습니다. 그래서 요즘 Parameter-Efficient-Fine-Tuning(PEFT)가 조금씩 대세로 자리잡는 것 같습니다. PEFT란 LLM의 대부분의 파라미터를 freezing시키고 소수의 모델 파라미터만 fine-tuning하는 기법입니다. 해당 내용은 코랩에서도 실행할 수 있게끔 설계되었으니 관심있으면 클릭해주세요.
구글리서치에서 2022년에 했던 연구와 그 이후 추가연구에 대한 내용을 블로그로 배포하고 있습니다. 이번 구글 리서치에서 발표한 내용은 알고리즘 설계 부분입니다. 저번 내용은 효율적인 학습에 중점을 두었다면 이번에는 서비스에 투입되었을때 효율성, 성능, 속도가 향상되는 알고리즘에 주안점을 두고 있습니다. 구글과 같은 빅테크기업들이 머신러닝 알고리즘 설계를 할때 어떻게 할지 궁금하다면 링크를 클릭해주세요..!!
구글에서 텍스트 프롬프트로 사실적인 동영상을 합성하는 모델이 2022년 10월에 나왔습니다. 해당 모델이름은 페나키이며 페나키는 컴퓨팅 비용과 적은 데이터, 다양한 길이의 비디오 데이터를 극복하기 위해서 압축하는 video representation과 Transformer구조를 차용했다고 합니다. 위의 링크는 해당 논문을 소개하는 Two-minute Papers에서 소개했으니 궁금하시다면 클릭해주세요!!