파이토치 한국 사용자 모임이 한땀한땀 정리한 오늘의 주요 AI/ML 소식들을 전해드립니다.
StripedHyena-7B: TogetherAI에서 출시한 최신 AI 모델
-
RedPajama 등의 모델을 공개했던 TogetherAI에서는 긴 컨텍스트에서 잘 동작하는 새로운 모델을 공개했습니다. 이 모델은 Transformer 구조가 아닌 신호 처리에서 영감을 받은 시퀀스 모델에 기반한 새로운 구조를 적용한 것이 특징입니다. 이번에 공개한 모델은 Base 모델인 StripedHyena-Hessian-7B (SH 7B)과 Chat 모델인 StripedHyena-Nous-7B (SH-N 7B)의 2종류입니다.
-
더 읽어보기
100배 속도 향상을 목표로, 트랜스포머의 추론 최적화 기법 소개
-
트랜스포머 구조에서의 추론을 최적화하기 위해 전체적인 기술 스택에 대해서 다루고 있습니다:
NVIDIA의 A100 메모리 계층 구조와 같은 GPU 하드웨어 사양부터 FlashAttention, vLLM 같은 MLSys 방법론, 모델 아키텍처(Mixture of Experts), 디코딩 알고리즘(Speculative Decoding 및 그 변형) 등에서의 최적화를 통해 트랜스포머 추론의 규모를 확장하고 속도를 높일 수 있습니다. -
더 읽어보기
Stable LM Zephyr 3B: Stable AI가 공개한 에지 디바이스용 LLM 어시스턴트
-
Stable LM Zephyr 3B는 3억 개의 매개변수를 가진 대형 언어 모델(LLM)로, 기존의 7B 모델보다 60%가량 작아 더 다양한 장치들에서 정확하고 빠른 출력을 제공할 수 있습니다. MT Bench와 AlpacaEval 등에서 Falcon-4b-Instruct, WizardLM-13B-v1, Llama-2-70b-chat, Claude-V1과 같은 더 큰 모델들과 비교했을 때 경쟁력 있는 성능을 보여줍니다. 비영리 목적으로 사용할 수 있도록 비영리 라이선스로 공개되었습니다.
-
더 읽어보기
- 출시 공지(원문): Introducing Stable LM Zephyr 3B: A New Addition to Stable LM, Bringing Powerful LLM Assistants to Edge Devices — Stability AI
- 출시 공지(번역): Stable LM Zephyr 3B 모델 공개: Stable LM 시리즈에 새롭게 추가된, 엣지 디바이스에 탑재할 수 있는 강력한 LLM 어시스턴트 모델
- 모델 사용법 및 가중치: stabilityai/stablelm-zephyr-3b · Hugging Face
- 사용 예시 노트북: OpenVINO, notebooks/273-stable-zephyr-3b-chatbot/273-stable-zephyr-3b-chatbot.ipynb
- 관련 태그: stability-ai stablelm small-llm
FollowMe: 로봇이 사용자를 식별(ReID)하고 따라가며 명령어를 수행하는 프레임워크
-
Leonardo Labs과 이탈리아 기술연구소(IIT)의 연구진들이 IEEE ARSO에서 발표한 논문입니다. 현실세계에서 로봇이 주변의 사람들을 재식별하고, 사람들을 따라가며 그들의 손동작에 대응하는 특정 행동을 수행할 수 있도록 하는 프레임워크를 소개합니다.
-
더 읽어보기
오늘의 주요 소식이 유용하셨나요?
아래
쪽에 좋아요
를 눌러주시면 뉴스 발행에 힘이 됩니다~ 