맘바 챗은 맘바가 발표되고 몇 일되지 않아 발표되었는데 구글 Colab을 통해 사용해 볼 수 있습니다.
해당 링크는 여기에 있습니다. GitHub - havenhq/mamba-chat: Mamba-Chat: A chat LLM based on the state-space model architecture 🐍
edge LLM치고는 빠른 속도로 응답하지만 Training Dataset이 작아서 엉뚱한 답을 하고 쉽게 할루시네이션에 빠지고 훈련시킨 dataset이 2020년 이전것이라 이와 관련한 오답이 많습니다.
지금 llama에 Mamba SSM 모델을 탑재하기 위하여 개발자들이 개발 중에 있으니 아마도 곧 llama에 mamba가 적용된 모델도 나오지 않을까 생각됩니다. 그 내용은 여기 참고하세요. Possible of implementing mamba ssm · Issue #4353 · ggerganov/llama.cpp · GitHub
그러면 작은 parameter를 가진 edge LLM model들도 빠르게 작동하지 않을까 싶네요. 아무튼 기대가 큽니다. 아주 긴 sequence [한번에 1 million sequence (=tokens)]도 real time 처리가 가능하다니 기대해 봅니다.
여기 관련된 미디엄 포스팅이 있어 링크합니다. 이미 누군가 Mamba-1.4라고 하여 LLM을 Training 시켰는데 그 결과가 놀랍습니다.
Mamba: A shallow dive into a new architecture for LLMs | by Geronimo | Dec, 2023 | Medium
Windows에 올리게 누가 porting을 해주면 좋겠는데 Mamba가 Linux에만 쓰이는 Pytorch package중의 하나를 쓴다고 합니다. Ollama같은 상황이네요. 그래도 WLS에서는 설치가 가능하다니...