# \#voice-llm
**URL:** https://discuss.pytorch.kr/tag/voice-llm/3766.md
[최신](https://discuss.pytorch.kr/latest.md) · [카테고리](https://discuss.pytorch.kr/categories.md) · [태그](https://discuss.pytorch.kr/tags.md)
---
## [Parlor: 클라우드 없이 온디바이스로 실행되는 실시간 멀티모달 AI 대화 앱](https://discuss.pytorch.kr/t/parlor-ai/9599)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\
**댓글:** 0\
**마지막 업데이트:** [4월 7, 2026, 9:30오전 UTC](https://discuss.pytorch.kr/t/parlor-ai/9599 "2026-04-07T09:30:55Z")
Parlor 소개 AI 음성 대화 서비스는 대부분 클라우드 서버에 의존하고 있어 인터넷 연결이 필수이며, 사용자의 음성과 화상 정보가 외부 서버로 전송되는 프라이버시 문제가 늘 따라붙었습니다. Parlor는 이 문제를 해결하기 위해 설계된 오픈소스 프로젝트로, AI 추론부터 음성 인식, 텍스트 음성 변환(TTS)까지 모든 처리를 사용자의 로컬 기기에서 수행합니다. Parlor의 핵심 아이디어는 최신 경량 모델들의 발전을 활용하여 "로컬에서 실행 가능한 실시간 멀티모달 AI"를 구현하는 것입니다. Google DeepMind의 Gemma 4 E2B 모델이 음성과 화상 이해를 담당하고, Hexgrad의 Kokoro TTS가 텍스트를 자연스러운 음성으로 변환합니다. Silero의 브라우저 기반 음성 활성화 감지(VAD, Voice Activity Detection) 기술을 활용하여 사용자가 말을 시작하고 멈추는 순간을 자동으로 감지하므로, 별도의 버튼을 누를 필요가 없습니다. LiteRT-LM(Google AI Edge)이 GPU 가속 추론을 담당하여 전체 파이프라인을 로컬에서 실시간으로 처리할 수 있도록 합니다. 프로젝트 자체는 현재 리서치 프리뷰(early-stage experimental) 상태이며, Apple Silicon(M 시리즈) 또는 Linux GPU 환경에서의 실행을 지원합니다. macOS에서는 Kokoro의 MLX 백엔드를, Linux에서는 ONNX 백엔드를 사용합니다. Parlor의 기술 스택 및 동작 방식 Parlor는 FastAPI 백엔드와 HTML5 프론트엔드로 구성된 웹 서비스 형태로 동작합니다. 사용자가 브라우저에서 http://localhost:8000에 접속하면, 마이크와 카메라에 접근하여 실시간 대화를 시작할 수 있습니다. 백엔드와 프론트엔드 간의 통신은 WebSocket을 통해 실시간으로 이루어지며, TTS 음성이 생성되는 즉시 스트리밍으로 재생됩니다. Browser (mic + camera) │ …
---
## [LLaMA-Omni: 음성으로 LLM과 상호작용할 수 있는 음성-언어 모델 (feat. Llama-3.1-8B)](https://discuss.pytorch.kr/t/llama-omni-llm-feat-llama-3-1-8b/5220)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\
**댓글:** 0\
**마지막 업데이트:** [9월 20, 2024, 4:57오후 UTC](https://discuss.pytorch.kr/t/llama-omni-llm-feat-llama-3-1-8b/5220 "2024-09-20T16:57:05Z")
LLaMA-Omni 소개 LLaMA-Omni는 Llama-3.1-8B-Instruct 기반의 고급 음성-언어 모델로, 사용자의 음성 명령에 실시간으로 고품질의 응답을 제공하는 모델입니다. 이 모델은 텍스트와 음성 응답을 동시에 생성하며, 낮은 지연 시간 환경에서 원활한 상호작용을 제공하는 것을 목표로 합니다. GPT-4 수준의 음성 상호작용 기능을 구현하는 것이 주요 목적입니다. LaMA-Omni는 PyTorch 기반의 fairseq와 고성능 음성 합성을 위한 flash-attention을 활용하여 사전 학습된 음성 인코더, 음성 어댑터, LLM, 스트리밍 음성 디코더를 통합하여 음성 명령을 텍스트로 변환하지 않고 직접 텍스트와 음성 응답을 동시에 생성합니다. 또한, 음성 상호작용 시나리오에 맞게 InstructS2S-200K라는 데이터셋을 구성했습니다. 실험 결과에 따르면 LLaMA-Omni는 기존 음성-언어 모델에 비해 응답의 내용과 스타일 모두에서 뛰어난 성능을 보여주며, 226ms라는 매우 낮은 응답 지연 시간을 기록합니다. 또한 LLaMA-Omni의 학습은 4개의 GPU로 3일 이내에 완료할 수 있어, 향후 효율적인 음성-언어 모델 개발에 기여할 것으로 기대됩니다. 주요 특징 Llama-3.1-8B-Instruct 기반: 고품질의 응답을 보장하는 대규모 언어 모델입니다. 낮은 지연 시간: 226ms의 지연 시간으로, 빠르고 즉각적인 음성 상호작용을 지원합니다. 동시 응답 생성: 음성 명령에 대해 텍스트와 음성 응답을 동시에 생성할 수 있습니다. 간편한 훈련 환경: 단 4개의 GPU로 3일 이내에 학습을 완료할 수 있습니다. 라이선스 LLaMA-Omni 프로젝트는 Apache-2.0 License로 배포되고 있습니다. 하지만, Llama-3.1 모델을 기반으로 하고 있기 때문에, Meta의 Llama 3.1 라이선스 조건도 함께 준수해야 합니다. :scroll: LLaMA-Omni 논문: Seamle…