# \#fairseq

**URL:** https://discuss.pytorch.kr/tag/fairseq/3768.md

[최신](https://discuss.pytorch.kr/latest.md) · [카테고리](https://discuss.pytorch.kr/categories.md) · [태그](https://discuss.pytorch.kr/tags.md)

---

## [LLaMA-Omni: 음성으로 LLM과 상호작용할 수 있는 음성-언어 모델 (feat. Llama-3.1-8B)](https://discuss.pytorch.kr/t/llama-omni-llm-feat-llama-3-1-8b/5220)

<div class="topic-metadata">

**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\
**댓글:** 0\
**마지막 업데이트:** [9월 20, 2024, 4:57오후 UTC](https://discuss.pytorch.kr/t/llama-omni-llm-feat-llama-3-1-8b/5220 "2024-09-20T16:57:05Z")

</div>

LLaMA-Omni 소개 LLaMA-Omni는 Llama-3.1-8B-Instruct 기반의 고급 음성-언어 모델로, 사용자의 음성 명령에 실시간으로 고품질의 응답을 제공하는 모델입니다. 이 모델은 텍스트와 음성 응답을 동시에 생성하며, 낮은 지연 시간 환경에서 원활한 상호작용을 제공하는 것을 목표로 합니다. GPT-4 수준의 음성 상호작용 기능을 구현하는 것이 주요 목적입니다. LaMA-Omni는 PyTorch 기반의 fairseq와 고성능 음성 합성을 위한 flash-attention을 활용하여 사전 학습된 음성 인코더, 음성 어댑터, LLM, 스트리밍 음성 디코더를 통합하여 음성 명령을 텍스트로 변환하지 않고 직접 텍스트와 음성 응답을 동시에 생성합니다. 또한, 음성 상호작용 시나리오에 맞게 InstructS2S-200K라는 데이터셋을 구성했습니다. 실험 결과에 따르면 LLaMA-Omni는 기존 음성-언어 모델에 비해 응답의 내용과 스타일 모두에서 뛰어난 성능을 보여주며, 226ms라는 매우 낮은 응답 지연 시간을 기록합니다. 또한 LLaMA-Omni의 학습은 4개의 GPU로 3일 이내에 완료할 수 있어, 향후 효율적인 음성-언어 모델 개발에 기여할 것으로 기대됩니다. 주요 특징 Llama-3.1-8B-Instruct 기반: 고품질의 응답을 보장하는 대규모 언어 모델입니다. 낮은 지연 시간: 226ms의 지연 시간으로, 빠르고 즉각적인 음성 상호작용을 지원합니다. 동시 응답 생성: 음성 명령에 대해 텍스트와 음성 응답을 동시에 생성할 수 있습니다. 간편한 훈련 환경: 단 4개의 GPU로 3일 이내에 학습을 완료할 수 있습니다. 라이선스 LLaMA-Omni 프로젝트는 Apache-2.0 License로 배포되고 있습니다. 하지만, Llama-3.1 모델을 기반으로 하고 있기 때문에, Meta의 Llama 3.1 라이선스 조건도 함께 준수해야 합니다. :scroll: LLaMA-Omni 논문: Seamle…
