AudioMuse-AI 소개
AudioMuse-AI는 개인 음악 서버(Jellyfin, Navidrome 등)와 연동해 사용자의 음악 데이터를 분석하고, 인공지능을 통해 자동으로 맞춤형 플레이리스트를 생성해주는 오픈소스 프로젝트입니다. 핵심은 Librosa, TensorFlow, 그리고 사전 학습된 MusiCNN 모델을 이용해 음악의 템포, 키, 에너지, 무드 등을 추출하고, 이를 기반으로 곡들을 클러스터링하여 분위기와 목적에 맞는 재생 목록을 자동으로 만들어준다는 점입니다.
일반적인 음악 스트리밍 서비스는 이미 이런 AI 기반 추천 기능을 제공하고 있지만, 오픈소스로 제공되는 AudioMuse-AI는 개인 서버 환경에서 똑같은 기능을 구현할 수 있도록 돕습니다. 즉, Spotify나 Apple Music과 같은 상용 서비스에 의존하지 않고도 개인이 구축한 음악 서버에서 똑똑한 추천 기능을 누릴 수 있습니다.
또한 이 프로젝트는 Docker 및 Kubernetes(K3S) 환경에서 쉽게 배포할 수 있도록 설계되었습니다. Docker Compose, Helm Chart, Podman Quadlets를 이용해 손쉽게 환경을 구성할 수 있으며, 분석 및 플레이리스트 생성을 위한 웹 인터페이스도 제공합니다. 다만, 현재는 BETA 버전으로 테스트 목적에 적합하며, 실제 프로덕션 환경에서 안정적으로 운영하기에는 아직 부족할 수 있습니다.
개발자는 이 프로젝트를 “재미로 시작한 실험”이라고 밝히고 있으며, 따라서 기능 실험과 새로운 시도의 흔적이 곳곳에 남아 있습니다. 그럼에도 불구하고 이미 AI 기반 음악 분석, 유사 곡 추천, 사용자 청취 이력 기반 맞춤 추천 등 상당히 완성도 높은 기능을 제공하고 있습니다.
Spotify, YouTube Music, Apple Music 등 상용 스트리밍 서비스는 이미 자체 AI 알고리즘을 활용해 맞춤형 추천과 자동 플레이리스트를 제공합니다. 하지만 이들은 폐쇄적이고, 데이터 접근이 제한되어 있어 사용자가 직접 커스터마이징하기 어렵습니다.
반면 AudioMuse-AI는 완전히 오픈소스로 공개되어 있어, 원하는 방식으로 분석 파라미터를 조정하고, 다른 서버와 연동하거나 자체 기능을 확장할 수 있습니다. 또한 Subsonic API를 지원하기 때문에 Navidrome뿐만 아니라 LMS(Logitech Media Server) 같은 다양한 서버와도 호환이 가능합니다.
즉, 상용 서비스는 편리성과 안정성이 장점이지만, AudioMuse-AI는 자유로운 확장성과 개인 서버 환경에서의 데이터 주권이 강점입니다. AI 모델을 Ollama(셀프 호스팅)나 Google Gemini API와 연동하여 플레이리스트 이름을 AI가 자동으로 생성하도록 할 수도 있습니다.
AudioMuse-AI의 주요 기능
음악 분석 및 클러스터링
- Librosa + TensorFlow 기반 분석: 곡의 템포, 키, 에너지, 무드 태그 등을 추출
- MusiCNN Embedding: 200차원의 임베딩 벡터를 생성해 심층적인 음악 특징을 반영
- 클러스터링 알고리즘: K-Means, DBSCAN, GMM, Spectral Clustering 지원
- 진화적 몬테카를로 탐색을 통해 최적의 플레이리스트 구성을 자동으로 탐색
플레이리스트 생성 방식
- Instant Playlist: 채팅 인터페이스에서 자연어로 요청하면 AI가 SQL 쿼리를 생성해 즉시 플레이리스트 생성
- Similar Song Playlist: 특정 곡을 기준으로 유사한 곡들을 찾아 새로운 재생 목록 생성
- Sonic Fingerprint: 사용자의 청취 이력을 분석해 개인의 “소닉 지문”을 기반으로 플레이리스트 생성
- Song Path: 두 곡 사이의 “음악적 경로”를 따라가며 중간 곡들을 연결하는 리스트 생성
배포 및 확장성
- Kubernetes (Helm Chart 지원) , Docker Compose , Podman Quadlets 등 다양한 환경에서 배포 가능
- amd64, arm64 아키텍처 지원 (Raspberry Pi 같은 ARM 기반 서버도 지원)
- Nvidia GPU 가속(실험적) 지원 – 대규모 음악 라이브러리 분석 속도 향상 가능
기타 특징
- AI Playlist Naming: Ollama 또는 Google Gemini API와 연동해 감각적인 플레이리스트 이름 자동 생성
- Collection Sync(실험적): 중앙 데이터베이스와 분석 결과 공유 가능 (개인 음원 데이터는 공유하지 않음)
- Redis Queue + PostgreSQL 기반의 안정적인 작업 관리 및 취소 기능
라이선스
AudioMuse-AI 프로젝트는 AGPL-3.0 라이선스로 공개되어 있습니다.
AudioMuse-AI 공식 홈페이지
AudioMuse-AI 프로젝트 GitHub 저장소
이 글은 GPT 모델로 정리한 글을 바탕으로 한 것으로, 원문의 내용 또는 의도와 다르게 정리된 내용이 있을 수 있습니다. 관심있는 내용이시라면 원문도 함께 참고해주세요! 읽으시면서 어색하거나 잘못된 내용을 발견하시면 덧글로 알려주시기를 부탁드립니다. 
파이토치 한국 사용자 모임
이 정리한 이 글이 유용하셨나요? 회원으로 가입하시면 주요 글들을 이메일
로 보내드립니다! (기본은 Weekly지만 Daily로 변경도 가능합니다.)
아래
쪽에 좋아요
를 눌러주시면 새로운 소식들을 정리하고 공유하는데 힘이 됩니다~ 