# \#mamba

**URL:** https://discuss.pytorch.kr/tag/mamba/2271.md

[최신](https://discuss.pytorch.kr/latest.md) · [카테고리](https://discuss.pytorch.kr/categories.md) · [태그](https://discuss.pytorch.kr/tags.md)

---

## [ReplaySSM: 상태-공간 모델(SSM)의 상태 쓰기를 줄여 하이브리드 모델 디코딩을 가속하는 NVIDIA 블로그 글 정리](https://discuss.pytorch.kr/t/replayssm-ssm-nvidia/12174)

<div class="topic-metadata">

**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\
**댓글:** 0\
**마지막 업데이트:** [10월 13, 2026, 10:30오후 UTC](https://discuss.pytorch.kr/t/replayssm-ssm-nvidia/12174 "2026-10-13T22:30:34Z")

</div>

핵심 요약 NVIDIA와 프린스턴 대학교 Dao AI Lab이 ReplaySSM 소개 블로그와 논문으로, SSM 레이어의 상태를 매 스텝 저장하지 않고 체크포인트와 최근 입력 버퍼로 표현하는 디코딩 방법을 공개했습니다. 배치 256에서 SSM 커널은 1.46~1.80배, 디코드 스텝 전체는 1.20~1.47배 빨라졌고, 120B급 두 모델의 투기적 디코딩 처리량은 배치 512에서 vLLM 투기적 디코딩 대비 1.85배와 2.10배였습니다. 배치 1에서는 오히려 커널이 느렸습니다. 같은 구조로 읽기용 저정밀도 상태와 재귀용 고정밀도 상태를 나누면, NVFP4 상태의 GPQA-Diamond 정확도 손실이 4개 모델 평균 13.05점에서 1.77~2.36점으로 줄었습니다. 이 정확도 실험은 에뮬레이션한 양자화로 측정했습니다. 공개 vLLM 릴리스(v0.31.0)의 ReplaySSM 경로는 Mamba-2 표준 디코딩(실험 기능 --use-replayssm)뿐이고, 같은 플래그가 Kimi-K3에서는 별도 구현인 RecoverSSM을 켭니다. vLLM용 GDN 경로와 저정밀도 커널은 ReplaySSM GitHub 저장소의 vLLM 포크에만 있습니다. ReplaySSM 소개 ReplaySSM은 하이브리드 언어 모델의 상태 공간 모델(State-Space Model, SSM) 레이어를 위한 디코딩 방법입니다. 핵심은 상태를 매 토큰마다 GPU 메모리에 다시 쓰는 대신 마지막 체크포인트와 그 뒤의 최근 입력 몇 개로 표현하는 것입니다. 저자들은 서빙 배치가 클 때 SSM 레이어가 디코딩 지연의 가장 큰 부분을 차지한다는 관찰에서 출발했습니다. 이 표현 하나로 메모리 트래픽, 투기적 디코딩의 되돌리기, 상태 양자화(Quantization) 오차라는 세 문제를 함께 다룹니다. 배경부터 보겠습니다. Transformer의 어텐션은 지나간 토큰의 키와 값을 KV 캐시(KV cache) 에 모두 보관하므로, 컨텍스트가 길어질수록 저장 공간과 매 스텝 읽는 양이 늘어납니다. …

---

## [Soofi S 30B-A3B: 독일어/영어를 위한 주권형 오픈소스 하이브리드 Mamba-MoE 모델](https://discuss.pytorch.kr/t/soofi-s-30b-a3b-mamba-moe/11331)

<div class="topic-metadata">

**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\
**댓글:** 0\
**마지막 업데이트:** [7월 21, 2026, 1:30오전 UTC](https://discuss.pytorch.kr/t/soofi-s-30b-a3b-mamba-moe/11331 "2026-07-21T01:30:27Z")

</div>

대형 언어 모델(Large Language Model)을 실제 서비스에 올릴 때는, 모델이 얼마나 똑똑한가만큼이나 얼마나 빠르고 저렴하게 돌아가는가가 중요합니다. 이 리포트는 독일어와 영어에 특화된 주권형(sovereign) 오픈소스 파운데이션 모델 Soofi S 30B-A3B 를 소개하며, 역량과 배포 효율을 동시에 잡기 위한 하이브리드 Mamba-Transformer 혼합 전문가(Mixture-of-Experts, MoE) 설계와 약 27 조 토큰 규모의 완전 공개 사전학습 레시피를 다룹니다. 실제로 Soofi S는 최상위권 역량을 유지하면서도 40\\text{K} 컨텍스트 기준 측정 처리량에서 비교 대상 중 가장 빠른 축에 속합니다. Soofi S 소개 오픈 모델에 남아있는 세 가지 격차 오픈 언어 모델은 빠른 속도로 발전해 왔지만, 막상 무엇을 배포할지 결정하는 입장에서 보면 여전히 세 가지 격차가 눈에 띕니다. 첫째, 이름뿐이 아닌 실질적 개방성입니다. 수많은 모델이 공개되고 있지만 대부분은 가중치(weight)만 공개하는 방식이며, 학습 과정을 총 토큰 수 정도로만 기술한 채 재현이나 감사를 위해 필요한 데이터, 레시피, 의사결정을 생략합니다. 무엇으로 학습했는지 알 수 없다면, 그 모델을 검증하거나 다시 만들 수 없습니다. 둘째, 언어입니다. 범용 다국어 모델은 영어 중심이거나, 수십 개 언어에 용량을 얇게 나눠 씁니다. 그 결과 독일어는 경제적, 학문적 비중에 비해 과소대표됩니다. 지금까지의 유럽 주권형 시도들(Teuken, Salamandra, EuroLLM, Apertus 등)은 개방성과 언어 커버리지를 우선하느라 최전선 역량은 뒤로 미뤄왔습니다. 셋째, 배포 비용입니다. 이것이 이 연구가 겨냥하는 지점입니다. 경제적인 동시성(concurrency) 수준에서 생성 비용을 결정하는 것은 모델이 명목상 몇 개의 파라미터를 갖는지도, 토큰당 몇 개를 활성화하는지도 아닌 메모리 대역폭(memory bandwidth)입니다. 디코딩되는 모든…

---

## [Hunyuan-T1, 텐센트가 공개한 최초의 Mamba 기반 초대형 모델](https://discuss.pytorch.kr/t/hunyuan-t1-mamba/6612)

<div class="topic-metadata">

**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\
**댓글:** 0\
**마지막 업데이트:** [3월 23, 2025, 9:30오후 UTC](https://discuss.pytorch.kr/t/hunyuan-t1-mamba/6612 "2025-03-23T21:30:05Z")

</div>

Hunyuan-T1 소개 최근 대형 언어 모델의 사후 훈련 단계에서 강화 학습이 새로운 스케일링 패러다임을 선도하며 주목받고 있습니다. OpenAI의 O 시리즈 모델과 DeepSeek R1의 연이은 발표는 이러한 강화 학습의 중요성을 입증했습니다. 이러한 흐름 속에서, 텐센트의 Hunyuan 팀은 중간 규모의 Hunyuan 기반으로 한 추론 모델인 Hunyuan T1-Preview를 출시하였습니다. Hunyuan-T1 은 Mamba 아키텍처를 기반으로 하여 추론 능력을 크게 향상시켜, 사용자들에게 신속하고 깊이 있는 추론 경험을 제공할 것으로 기대됩니다. Hunyuan-T1은 TurboS 빠른 추론 기반과 Mamba 아키텍처를 결합한 초대형 모델로서, 인간의 선호도에 맞게 최적화된 향상된 추론 능력을 제공합니다. 특히, TurboS의 장점인 긴 텍스트 처리 능력과 Mamba 아키텍처의 효율적인 긴 시퀀스 처리 능력을 결합하여, 긴 텍스트 추론 시 문맥 손실과 장거리 정보 의존성 문제를 효과적으로 해결합니다. 또한, 동일한 배포 조건에서 디코딩 속도가 2배 빨라졌습니다. 이러한 특성은 경쟁 모델인 DeepSeek-R1과 비교할 때도 우수한 성능을 나타냅니다. Hunyuan-T1의 주요 특징 강화 학습 기반 사후 학습: 모델의 추론 능력을 향상시키고 인간의 선호도에 맞게 최적화하기 위해 전체 연산력의 96.7%를 RL 학습에 투자하였습니다. 광범위한 데이터셋 활용: 수학, 논리 추론, 과학, 코딩 등 다양한 분야의 데이터를 수집하여 모델의 다양한 추론 작업에 대한 우수한 성능을 보장합니다. 커리큘럼 학습 접근법: 데이터의 난이도를 단계적으로 증가시키고 모델의 컨텍스트 길이를 확장하여, 모델이 추론 능력을 향상시키면서도 토큰을 효율적으로 사용하는 방법을 학습하도록 했습니다. 강화 학습 전략 채택: 데이터 재생 및 주기적인 정책 재설정과 같은 클래식한 강화 학습 전략을 참고하여, 모델 훈련의 장기적인 안정성을 50% 이상 향…

---

## [\[2024/08/05 ~ 08/11\] 이번 주의 주요 ML 논문 (Top ML Papers of the Week)](https://discuss.pytorch.kr/t/2024-08-05-08-11-ml-top-ml-papers-of-the-week/5018)

<div class="topic-metadata">

**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\
**댓글:** 0\
**마지막 업데이트:** [8월 11, 2024, 9:25오후 UTC](https://discuss.pytorch.kr/t/2024-08-05-08-11-ml-top-ml-papers-of-the-week/5018 "2024-08-11T21:25:46Z")

</div>

\[2024/08/05 ~ 08/11\] 이번 주의 주요 ML 논문 (Top ML Papers of the Week) PyTorchKR​:fire::south\_korea: :thinking::speech\_balloon: 이번 주에 선정된 논문들에서는 몇 가지 두드러진 트렌드가 관찰되었습니다. 첫 번째로, 대규모 언어 모델(LLMs)을 활용한 연구가 주를 이루고 있습니다. 논문 제목을 보면, 'From LLMs to LLM-based Agents for Software Engineering', 'Enhancing LLMs for RAG', 'Synthesizing Text-to-SQL Data from Weak and Strong LLMs'와 같은 제목들이 포함되어 있습니다. 이는 대규모 언어 모델의 응용과 관련된 연구가 활발히 진행되고 있다는 것을 보여줍니다. 두 번째 트렌드는 설명 가능 인공지능(XAI)과 관련된 연구입니다. 이 주제는 'Transformer Explainer' 논문에서 잘 드러나며, 그 외에도 'Self-Taught Evaluators'와 같은 논문이 이와 관련된 내용을 다루고 있습니다. 이러한 연구들은 인공지능 모델의 내부 작동 방식을 더 잘 이해하고 설명할 수 있는 기법들을 개발하는 데 초점을 맞추고 있습니다. 이러한 트렌드가 두드러지는 이유는 여러 가지가 있습니다. 첫째, 대규모 언어 모델은 최근 몇 년 동안 비약적인 성능 향상을 보여 왔기 때문에 많은 연구자들이 이를 다양한 도메인에 적용하여 새로운 가능성을 탐구하고 있습니다. 특히 소프트웨어 엔지니어링이나 데이터 기반 질의 생성 등 특정 분야에 특화된 LLM 사용 사례가 증가하고 있습니다. 둘째, 설명 가능 인공지능(XAI, eXplainable AI)에 대한 관심은 인공지능 모델의 투명성과 신뢰성을 높이기 위한 필수 요소로 자리매김하고 있습니다. 모델의 결정 과정을 이해하고 설명할 수 있는 능력은 다양한 실세계 응용 분야에서 필수적입니다. 따라서 XAI 기술을 연구…

---

## [Samba: Microsoft가 공개한 효율적인 무제한 컨텍스트 언어 모델 (Mamba + MLP + Sliding Window Attention + 고품질 Dataset)](https://discuss.pytorch.kr/t/samba-microsoft-mamba-mlp-sliding-window-attention-dataset/4642)

<div class="topic-metadata">

**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\
**댓글:** 0\
**마지막 업데이트:** [6월 14, 2024, 3:43오후 UTC](https://discuss.pytorch.kr/t/samba-microsoft-mamba-mlp-sliding-window-attention-dataset/4642 "2024-06-14T15:43:13Z")

</div>

Samba: Microsoft가 공개한 효율적인 무제한 컨텍스트 언어 모델 (Mamba + MLP + Sliding Window Attention + 고품질 Dataset) 들어가며 :pytorch::kr: Microsoft가 최근 공개한 새로운 언어 모델, Samba를 소개합니다. Samba는 단순하면서도 강력한 하이브리드 모델로, 무제한 컨텍스트 길이를 제공합니다. 특히, 효율적인 성능과 확장성을 자랑하며, 다양한 벤치마크에서 뛰어난 성과를 보여줍니다. 이 글을 통해 Samba의 주요 특징과 활용 방법을 자세히 살펴보세요. :smiley: Samba 소개 Samba는 Microsoft에서 개발한 최신 언어 모델로, Mamba, MLP, 슬라이딩 윈도우 어텐션, MLP 스태킹을 결합한 하이브리드 모델입니다. 이 모델의 가장 큰 특징은 무제한 컨텍스트 길이를 지원하면서도 선형 복잡도를 유지한다는 점입니다. 다음과 같이 매우 간단한 아키텍처를 갖췄습니다: Samba = Mamba + MLP + 슬라이딩 윈도우 어텐션 + 레이어 레벨의 MLP 스태킹. Samba-3.8B 모델은 Phi3 데이터셋에서 3.2조 개의 토큰으로 학습되어, 주요 벤치마크(MMLU, GSM8K, HumanEval)에서 기존 Phi3-mini 모델을 큰 차이로 능가합니다. Samba는 최소한의 인스트럭션 튜닝만으로도 완벽한 장기 컨텍스트 검색 능력을 발휘하며, 이는 장기 컨텍스트 요약과 같은 다운스트림 작업에서도 뛰어난 성과를 제공합니다. 성능 비교 Samba는 여러 벤치마크에서 우수한 성능을 입증했습니다. 아래 표는 Samba-3.8B 모델과 Phi-3-mini-4K 모델의 성능을 비교한 것입니다. 모델 MMLU GSM8K HumanEval GovReport SQuALITY Phi-3-mini-4K-instruct 68.8 82.5 58.5 14.4 21.6 Samba-3.8B-instruct (preview) 71.9 87.6 62.8 18…

---

## [Jamba: AI21이 공개한 Mamba 기반의 MoE 공개 모델 (OpenLLM)](https://discuss.pytorch.kr/t/jamba-ai21-mamba-moe-openllm/3888)

<div class="topic-metadata">

**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\
**댓글:** 0\
**마지막 업데이트:** [3월 29, 2024, 11:00오전 UTC](https://discuss.pytorch.kr/t/jamba-ai21-mamba-moe-openllm/3888 "2024-03-29T11:00:16Z")

</div>

AI21이 새로 공개한 Jamba는 기존의 트랜스포머 아키텍처의 한계를 극복하기 위해 설계된 새로운 구조의 SSM(Structured State Space) 모델, Mamba를 기반으로 합니다. Jamba는 높은 성능과 효율성을 자랑하며, 특히 다른 기존 모델들 대비 긴 Context 크기를 가지면서도 3배 가까운 처리량 증가를 보이고 있습니다. Jamba: AI21이 공개한 Mamba 기반의 MoE 공개 모델 (OpenLLM) 소개 Jamba는 Mamba, 즉 새로운 구조의 SSM 아키텍처를 기반으로 한 첫 번째 생산 등급 모델입니다. 이 모델은 트랜스포머 아키텍처의 한계를 극복하려는 시도에서 출발했으나, Mamba만의 한계도 있었습니다. Jamba는 트랜스포머와 SSM의 장점을 모두 살려, 기존 모델들과 비교해 뛰어난 성능을 보여주는 동시에, 긴 문맥에서의 처리량을 3배 가까이 향상시키는 등 비용 효율성과 접근성을 우선시하는 모델입니다. 주요 특징 새로운 SSM-트랜스포머 하이브리드 아키텍처를 기반으로 구축된 최초의 프로덕션 수준의 맘바 기반 모델 Mixtral 8x7B 대비 긴 컨텍스트에서 3배의 처리량 제공 대규모 256K 컨텍스트 창에 대한 액세스의 대중화 단일 GPU에서 최대 140K 컨텍스트까지 지원하는 동급 유일 모델 Apache 2.0 라이선스로 모델 가중치를 공개한 공개 LLM (OpenLLM) Hugging Face에서 사용 가능하며, NVIDIA API 카탈로그에도 곧 추가 예정 하이브리드 아키텍처의 뛰어난 성능 Jamba는 비슷한 크기의 다른 모델들과 비교했을 때, 더 뛰어나거나 비슷한 성능을 보입니다. 추론(reasoning) 관련 벤치마크들에서 좋은 결과를 보이고 있습니다. Jamba는 SSM과 트랜스포머 아키텍처의 장점을 결합한 세계 최초의 프로덕션급의 Mamba 기반 모델입니다. 이 하이브리드 구조는 트랜스포머의 강력한 언어 이해 능력과 SSM의 효율적인 메모리 관…

---

## [Vision Mamba(Vim): 양방향 상태 공간 모델(SSM)을 활용한 효율적 시각 표현 학습](https://discuss.pytorch.kr/t/vision-mamba-vim-ssm/3423)

<div class="topic-metadata">

**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\
**댓글:** 0\
**마지막 업데이트:** [2월 3, 2024, 4:25오전 UTC](https://discuss.pytorch.kr/t/vision-mamba-vim-ssm/3423 "2024-02-03T04:25:57Z")

</div>

PyTorchKR​:fire::south\_korea: :thinking::speech\_balloon: 양방향의 상태 공간 모델(State Space Model)을 사용하여 시각 데이터로부터 위치 감도와 전역 컨텍스트를 모두 활용하는 Vision Mamba(Vim, 비전 맘바) 모델을 소개합니다. SSM의 효율적 활용을 위해 셀프 어텐션을 제거하여 연산 속도 및 메모리 효율을 높이면서도 다양한 작업에서 우수한 성능을 보인 비전 맘바를 함께 살펴보시죠. :star\_struck: 이 글은 GPT 모델로 정리한 것으로, 잘못된 부분이 있을 수 있으니 글 아래쪽의 원문도 함께 참고해주세요! 읽으시면서 어색하거나 잘못된 내용을 발견하시면 덧글로 알려주시기를 부탁드립니다. :hugs: Vision Mamba(Vim): 양방향 상태 공간 모델(SSM)을 활용한 효율적 시각 표현 학습 (Vision Mamba: Efficient Visual Representation Learning with Bidirectional State Space Model) 소개 Vision Mamba(Vim, 비전 맘바)는 효율적 시각 표현 학습을 위한 새로운 모델입니다. Vim은 양방향 상태 공간 모델(bidirectional State-Space Model)을 사용하여 시각 데이터로부터 위치 민감도(position sensitivity)와 전역 컨텍스트(global context)를 잘 활용할 수 있습니다. 예를 들어, 영상 데이터를 처리하기 위해 사용한 CNN은 지역적 특성(local feature)은 잘 추출하였지만 이미지 전체로부터의 전역 컨텍스트(global context)는 잘 식별하지 못했으며, 최근 많이 사용하고 있는 비전 트랜스포머(ViT, Vision Transformer)는 셀프 어텐션 기법을 사용하여 전역 컨텍스트 식별은 가능하지만, 연산량이 많고 메모리 효율성이 떨어지는 문제가 있었습니다. Vision Mamba는 이러한 문제들을 해결하면서도 ImageNet 분…

---

## [\[GN\] 2023년은 오픈 LLM의 해](https://discuss.pytorch.kr/t/gn-2023-llm/3087)

<div class="topic-metadata">

**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\
**댓글:** 0\
**마지막 업데이트:** [12월 21, 2023, 2:25오전 UTC](https://discuss.pytorch.kr/t/gn-2023-llm/3087 "2023-12-21T02:25:06Z")

</div>

GeekNews의 xguru님께 허락을 받고 GN에 올라온 글들 중에 AI 관련된 소식들을 공유하고 있습니다. :smiley\_cat: 소개 대규모 언어 모델(LLM)에 대한 대중의 관심이 증가하고, 오픈 소스와 비공개 소스에 대한 논의가 확산됨 Pretrained LLM을 위한 레시피 모델 아키텍처: 특정 구현과 수학적 형태를 설명 훈련 데이터셋: 모델이 학습하는 예시와 문서를 포함 토크나이저: 텍스트를 숫자로 변환하는 방법 정의 훈련 하이퍼파라미터: 모델 훈련 방법 정의 컴퓨팅 파워와 전문가의 모니터링 필요 사전 훈련된 모델의 가중치는 추론에 사용됨 2022년, 크기 경쟁에서 데이터 경쟁으로 2022년초까지는 모델 크기가 성능에 중요한 요소 BLOOM, OPT, GLM-130B 등의 모델 출시 DeepMind의 새로운 연구로 데이터 크기의 중요성이 강조 되며 패러다임 전환 2023년, 오픈 릴리스의 해 작은 LLM의 부상 : 2월에는 LLaMA(Meta), 4월에는 Pythia(Eleuther AI), 5월에는 MPT(MosaicML) , 6월에는 X-GEN(Salesforce), Falcon(TIIUAE), 7월에는 Llama 2(Meta)가 출시되었습니다. 9월에는 Qwen(Alibaba) 및 Mistral(Mistral.AI), 11월에는 Yi(01-ai), 12월에는 DeciLM(Deci), Phi-2(Microsoft) 및 SOLAR(Upstage) 출시 모델 가중치가 포함됭고 있고, 작은측 모델에서 좋은 성능을 보여서 커뮤니티에서 빠르게 채택 핵심 차이점은 훈련 데이터와 모델 라이센스 대화형 모델의 등장 2023년에는 대부분의 사전 훈련된 모델이 대화형 버전과 함께 출시됨 채팅 기반 파인튜닝, 인스트럭션 파인튜닝, 인간 피드백에서 강화 학습(RLHF), DPO(Direct Preference Optimzation) 등의 방법 사용 MPT, Falcon, XGen, Llama-2, Qwen, Yi, DeciLM 모델의 대화형 버전…

---

## [Mamba: 선택적 상태 공간을 활용한 선형 시간 시퀀스 모델링 (Linear-Time Sequence Modeling with Selective State Spaces)](https://discuss.pytorch.kr/t/mamba-linear-time-sequence-modeling-with-selective-state-spaces/3043)

<div class="topic-metadata">

**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\
**댓글:** 0\
**마지막 업데이트:** [12월 14, 2023, 8:20오전 UTC](https://discuss.pytorch.kr/t/mamba-linear-time-sequence-modeling-with-selective-state-spaces/3043 "2023-12-14T08:20:47Z")

</div>

이 글은 GPT 모델로 자동 요약한 설명으로, 잘못된 내용이 있을 수 있으니 원문을 참고해주세요! :smile: 읽으시면서 어색하거나 잘못된 내용을 발견하시면 덧글로 알려주시기를 부탁드립니다! :bowing\_man: Mamba: 선택적 상태 공간을 활용한 선형 시간 시퀀스 모델링 (Linear-Time Sequence Modeling with Selective State Spaces) 개요 Mamba(맘바)는 언어 모델링과 같이 정보 밀도가 높은 데이터에 대해 뛰어난 성능을 보이는 새로운 상태 공간 모델 아키텍처입니다. 이는 구조화된 상태 공간 모델을 바탕으로 하며, 효율적인 하드웨어 인식 설계와 구현을 특징으로 합니다 Mamba는 긴 데이터 시퀀스를 효율적으로 모델링하는 새로운 신경망 모델을 제안합니다. 이 모델은 기존 시퀀스 모델, 특히 트랜스포머(Transformer)의 한계를 극복하기 위해 설계된 새로운 선택적 상태 공간 모델(Selective State Space Models, SSMs)입니다. 이 모델은 순환 신경망(Recurrent Neural Networks, RNNs)과 합성곱 신경망(Convolutional Neural Networks, CNNs)의 조합으로, 고전적인 상태 공간 모델에서 영감을 받았습니다​​​​. Mamba(맘바) 모델 소개 Mamba(맘바)는 선택적 집중을 통해 입력에 따라 특정 정보에 집중하거나 무시할 수 있습니다. 이는 입력에 기반하여 SSM(Selective State Space Model) 가중치를 매개변수화함으로써, 모델이 관련 없는 정보를 걸러내고 관련 있는 데이터를 무기한 유지할 수 있게 합니다​​. 또한, Mamba는 하드웨어 인식 알고리즘(Hardware-aware Algorithm)을 사용하여 모델을 합성곱 대신 재귀적으로 계산합니다. 이 접근 방식은 확장된 상태를 실체화하지 않고, GPU 메모리 계층 간의 I/O 접근을 방지할 수 있어 기존 방법보다 빠르고 효율적입니다​​. 긴 시…
