안녕하세요
국내 최대 오프라인 인공지능 커뮤니티 모두의연구소입니다!
구글에서 프롬프트 엔지니어링에 관한 논문을 소개합니다! 기존 프롬프트 엔지니어링은 Instruction Tuning으로 지시를 먼저 하고 예시를 든 다음 관련 있는 라벨을 붙였습니다. 이번에 구글이 공개한 심볼 튜닝은 자연어 레이블에 임의의 기호로 대체하는 걸로 사용합니다. 심볼 튜닝을 할 경우 눈에 보이지 않는 컨텍스트에 조금 더 잘 대응할 수 있고 레이블이 없는것 처럼 지정되지 않은 프롬프트에도 훨씬 강하다고 합니다! 해당 연구는 Flan-PaLM으로 진행했다고 하는데 이걸 GPT-4 프롬프트 엔지니어링에 쓰면 더 강력하지 않을까 생각되네요. 논문의 상세 내용은 아래 링크에서 확인해보세요!
Symbol tuning improves in-context learning in language models
현재 대부분의 컴퓨터 비전 모델들은 이미지 크기가 고정 해상도로 사용하고 있습니다. 그러나 ViT와 같은 Transformer계열의 모델들은 시퀀스 기반으로 모델링이 되기 때문에 입력 시퀀스 길이를 다양하게 만들 수 있습니다. 이런 특징을 활용해서 NaViT는 어떠한 해상도와 종횡비의 입력을 처리하게 만들었으며 범용성있게 사용할 수 있다고 합니다! 해당 설명을 듣고 괜찮은 아이디어라고 생각이 들었고 NaViT로 인해 ViT연구도 많이 진행되면 좋을것 같네요!
Patch n' Pack: NaViT, a Vision Transformer for any Aspect Ratio and Resolution
오픈소스 다국어 대규모 언어 모델인 PolyLM이 공개됐습니다! GPT-4나 Bard의 경우 다국어 지원이 가능하지만 기본적으로 영어가 메인입니다. 이번에 소개할 PolyLM은 다국어를 가정해서 만든 모델입니다. 그렇기에 평가방식도 다국어 이해, 질문답변, 생성과 같은 작업을 수집합니다. 그렇다고 영어로 나오는 벤치마크도 떨어지는 수준이 아니며 LLaMA나 BLOOM 과 같은 모델을 뛰어넘는 수준이라고 하네요. 이전까지는 다국어 지원되는 모델들이 나오기 시작했다면 다국어를 기반으로 만든 모델들이 나오면 영어를 주언어로 사용하지 않는 우리나라같은 나라들에게 한줄기 빛이 될것 같네요!
PolyLM: An Open Source Polyglot Large Language Model
AI학교 아이펠 ‘쏘카 캠퍼스’에서 데이터 AI 엔지니어로 함께 성장해요!
아이펠 캠퍼스 - 모두의연구소가 만든 AI학교 아이펠 (aiffel.io)