안녕하세요
국내 최대 오프라인 인공지능 커뮤니티 모두의연구소입니다!
오늘은 인간 뇌파로 노래를 재생성하는 논문, 멀티모달 학습에서 하나의 모델을 사용하는 실험, 마지막으로 OpenAI와 백악관이 함께하는 AI거버넌스에 대한 이야기입니다.
구글 리서치에서 발표한 인간의 뇌 활동을 기반으로 음악을 재생성하는 모델을 구현하는 논문을 소개합니다. 이 모델은 노래를 듣고 fMRI를 사용해서 뇌활동을 찍으며 뇌활동 데이터를 선형회귀, 뮤직 임베딩을 거쳐 음악 데이터로 변환한다고 합니다. 마지막으로 구글에서 만든 MusicLM을 사용했는데요! 데모페이지에서 노래가 재구성되는걸 확인할 수 있습니다! 뇌활동을 통해서 이렇게까지 구현된 것이 너무 신기하네요!
Brain2Music: Reconstructing Music from Human Brain Activity
요즘 멀티모달 학습을 진행할 때 단일 모델을 사용하는 것이 대세죠! 이번에 소개할 모델은 Meta-Transformer로 자연어, 2D이미지, 3D 포인트 클라우드 등 다양한 양식을 처리할 수 있는 트랜스포머 모델입니다. Meta Transformer는 입력 데이터를 토큰 공간에 매핑해서 고정된 인코덛가 입력 데이터의 특징을 추출하는 방법으로 구성되어 있는데요. 실제 실험을 돌렸을때 기본적인 내용부터 데이터 마이닝 등 다양한 작업을 수행했다고 합니다. 현 트렌드가 멀티모달을 하나의 모델인것 같아 추후에는 완벽한 모델이 나올거라는 생각이 드네요! 자세한 내용은 본문을 확인해보세요~
Meta-Transformer: A Unified Framework for Multimodal Learning
OpenAI는 지속적으로 AI 기술과 서비스의 안전, 보안, 신뢰성을 강화하기 위해 여러가지 방면으로 노력하고 있습니다. 그중에서 백악관과 조율하고 있는 프로세스이며 즉 미국과 전세계적으로 의미 있고 효과적인 AI거버넌스를 발전시키는 방식에 대한 이야기를 가져왔어요~! 블로그에 내용에 따르면 대부분 이전에 OpenAI가 했던 내용과 비슷하게 구성되어 있는데요. 백악관도 동일 날짜에 성명서를 제출했다는 점이 놀라웠습니다. 과연 미국에서는 AI거버넌스가 어떻게 정리될지 궁금하지 않나요~?
모두의연구소에서 함께 지식을 나누고 성장할 개발자를 기다립니다.
AI학교 아이펠 6기 모집 중 ⇒ 아이펠 캠퍼스 - 모두의연구소가 만든 AI학교 아이펠