안녕하세요
국내 최대 인공지능 오프라인 커뮤니티 모두의연구소입니다!
오늘은 Hugging Face의 딥러닝 모델의 편향 문제 해결, MLP 모델의 스케일을 키우는 논문, 마지막으로 객관적인 언어모델 평가방식 제안에 대한 이야기입니다.
Hugging Face는 Text-to-Image 모델에 대한 편향 문제를 다루는 뉴스레터를 발간했습니다! Hugging Face는 현재 수천개의 Text-to-Image 생성모델을 보유하고 있으며, 이 모델들은 잠재적으로 편향에 취약할 수 있다는 단점을 가졌는데요. 이에 Hugging Face는 훈련 데이터셋, 사전학습 데이터 필터링, 추론 과정 등의 요소에서 발생하는 편향을 조사와 실험을 통해 해결책을 찾고 있습니다. 이러한 AI의 윤리와 모델의 편향에 대한 노력이 더 궁금하다면, Hugging Face의 블로그를 추천합니다.
Ethics and Society Newsletter #4: Bias in Text-to-Image Models
딥러닝에서 가장 기본이 되는 모델은 MLP입니다. 최근에는 트랜스포머 모델이 가장 많이 사용되고 있으며, 이 모델은 inductive bias(귀납적 편향)가 적을수록 성능이 더 좋다는 의미를 갖고 있죠. 그래서 MLP 연구는 컨벌루션 연구와 마찬가지로 중요한 주제로 다뤄지고 있는데요. 이번에 소개할 연구는 MLP 모델의 성능을 개선하기 위해 scale-up(규모 확장)을 활용하였으며, 단일 GPU를 사용했다고 합니다! 자세한 내용은 아래 링크에서 확인해보세요!
Scaling MLPs: A Tale of Inductive Bias
대규모 언어 모델이 등장한 이후 실제 데이터에서 언어모델이 어떻게 동작하는지 측정하는 것은 필수이죠. 하지만 현재 대규모 언어모델이 사용하고 있는 평가방식은 사람이 큐레이션한 레이블이 있는 소규모 도메인 데이터셋을 활용해 문제를 접근합니다. 그러다 보니 좁고 단순화된 분포에서 샘플링되며 데이터 소스가 유출되는 위험성이 있는데요. 이 문제를 해결하고자 입력 텍스트 변형에 대한 민감도와 불변성을 분석해 LLM이 스스로 평가하는 모델을 제안하는 연구를 진행했다고 합니다. 실제 이 모델을 진행한다면 모델을 평가하는데 훨씬 객관적일거라 생각합니다~!
Bring Your Own Data! Self-Supervised Evaluation for Large Language Model
AI학교 아이펠 ‘쏘카 캠퍼스’에서 데이터 AI 엔지니어로 함께 성장해요!
아이펠 캠퍼스 - 모두의연구소가 만든 AI학교 아이펠 (aiffel.io)