안녕하세요
국내 최대 오프라인 인공지능 커뮤니티 모두의연구소입니다!
오늘은 인간 뇌파로 노래를 재생성하는 논문, 멀티모달 학습에서 하나의 모델을 사용하는 실험, 마지막으로 OpenAI와 백악관이 함께하는 AI거버넌스에 대한 이야기입니다.
인간 뇌파로 노래 재생성, 구글의 신기한 실험!구글 리서치에서 발표한 인간의 뇌 활동을 기반으로 음악을 재생성하는 모델을 구현하는 논문을 소개합니다. 이 모델은 노래를 듣고 fMRI를 사용해서 뇌활동을 찍으며 뇌활동 데이터를 선형회귀, 뮤직 임베딩을 거쳐 음악 데이터로 변환한다고 합니다. 마지막으로 구글에서 만든 MusicLM을 사용했는데요! 데모페이지에서 노래가 재구성되는걸 확인할 수 있습니다! 뇌활동을 통해서 이렇게까지 구현된 것이 너무 신기하네요!
Brain2Music: Reconstructing Music from Human Brain Activity
멀티모달 학습의 미래는 이 모델에 달렸다!요즘 멀티모달 학습을 진행할 때 단일 모델을 사용하는 것이 대세죠! 이번에 소개할 모델은 Meta-Transformer로 자연어, 2D이미지, 3D 포인트 클라우드 등 다양한 양식을 처리할 수 있는 트랜스포머 모델입니다. Meta Transformer는 입력 데이터를 토큰 공간에 매핑해서 고정된 인코덛가 입력 데이터의 특징을 추출하는 방법으로 구성되어 있는데요. 실제 실험을 돌렸을때 기본적인 내용부터 데이터 마이닝 등 다양한 작업을 수행했다고 합니다. 현 트렌드가 멀티모달을 하나의 모델인것 같아 추후에는 완벽한 모델이 나올거라는 생각이 드네요! 자세한 내용은 본문을 확인해보세요~
Meta-Transformer: A Unified Framework for Multimodal Learning
OpenAI는 지속적으로 AI 기술과 서비스의 안전, 보안, 신뢰성을 강화하기 위해 여러가지 방면으로 노력하고 있습니다. 그중에서 백악관과 조율하고 있는 프로세스이며 즉 미국과 전세계적으로 의미 있고 효과적인 AI거버넌스를 발전시키는 방식에 대한 이야기를 가져왔어요~! 블로그에 내용에 따르면 대부분 이전에 OpenAI가 했던 내용과 비슷하게 구성되어 있는데요. 백악관도 동일 날짜에 성명서를 제출했다는 점이 놀라웠습니다. 과연 미국에서는 AI거버넌스가 어떻게 정리될지 궁금하지 않나요~?
모두의연구소에서 함께 지식을 나누고 성장할 개발자를 기다립니다.
AI학교 아이펠 6기 모집 중 ⇒ https://me2.kr/xjtoH