# \#safetensors
**URL:** https://discuss.pytorch.kr/tag/safetensors/361.md
[최신](https://discuss.pytorch.kr/latest.md) · [카테고리](https://discuss.pytorch.kr/categories.md) · [태그](https://discuss.pytorch.kr/tags.md)
---
## [FlashTensors: 단일 GPU 환경에서 다수의 모델을 빠르게 바꿔가며 운용할 수 있도록 하는 추론 엔진](https://discuss.pytorch.kr/t/flashtensors-gpu/8169)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\
**댓글:** 0\
**마지막 업데이트:** [11월 10, 2025, 9:30오후 UTC](https://discuss.pytorch.kr/t/flashtensors-gpu/8169 "2025-11-10T21:30:20Z")
FlashTensors 소개 FlashTensors는 대규모 AI 모델을 초고속으로 로드하고, 단일 GPU 환경에서도 수십~수백 개 모델을 유연하게 핫스왑하며 운용할 수 있도록 설계된 고성능 추론 엔진입니다. 특히 모델을 SSD에서 GPU 메모리로 로딩하는 데 있어서 기존 로더보다 최대 10배 빠른 속도를 자랑하며, TTFT(Time to First Token)도 2초 미만으로 단축시킵니다. 현대 AI 환경에서는 수많은 모델을 빠르게 교체하며 서비스해야 하는 경우가 많습니다. 그러나 기존의 safetensors나 torch.load() 기반 모델 로더는 이 과정에서 병목을 유발하며, 사용자 경험에 영향을 줄 수 있습니다. FlashTensors는 이러한 문제점을 해결하기 위해 모델을 불러오는 속도를 빠르게 하는 설계를 채택하였으며, 로컬에서 여러 모델을 동시에 다뤄야 하는 에이전트 기반 워크플로우나 로봇 등의 경량 환경에도 적합합니다. 이러한 기술은 특히 개인화 AI, 서버리스 추론, 로컬 배포, 로보틱스 등 다양한 도메인에서 활용될 수 있습니다. 단일 GPU에서 수십 개 모델을 동시에 핸들링하며 핫스왑이 가능하다는 점은 기존 인프라 비용을 줄이고, 개발 유연성을 극대화하는 데 핵심적인 역할을 합니다. 특히, FlashTensors는 safetensors 대비 모델 로딩 속도에서 약 4~6배 정도 빠르며, 특히 대규모 모델에서 그 효과가 극대화됩니다. 예를 들어, Qwen 3-32B 모델은 safetensors로 로딩 시 약 24초가 걸리지만, FlashTensors를 사용하면 4초 수준으로 단축됩니다. 또한 coldstart 시간도 일관되게 5초 미만으로 유지됩니다. 모델 FlashTensors (초) safetensors (초) 속도 배율 Qwen3-0.6B 2.74 11.68 ~4.3배 Qwen3-4B 2.26 8.54 ~3.8배 Qwen3-8B 2.57 9.08 ~3.5배 Qwen3-14B 3.02 12.91 ~…
---
## [\[TLDR\] 오늘의 AI 뉴스, 2023-05-24: Anthropic’s 4억 5천만 달러 규모 투자 유치💰, Bing Chat 출시🪟, 비디오LLM📹](https://discuss.pytorch.kr/t/tldr-ai-2023-05-24-anthropic-s-4-5-bing-chat-llm/1635)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\
**댓글:** 0\
**마지막 업데이트:** [5월 25, 2023, 3:21오전 UTC](https://discuss.pytorch.kr/t/tldr-ai-2023-05-24-anthropic-s-4-5-bing-chat-llm/1635 "2023-05-25T03:21:47Z")
파이토치 한국 사용자 모임에서는 TLDR 뉴스레터의 승인을 받아 AI 소식을 DeepL로 번역하여 전합니다. :star\_struck: 더 많은 AI 소식 및 정보를 공유하고 함께 성장하고 싶으시면 파이토치 한국 사용자 모임에 방문해주세요! :robot: :rocket: 주요 뉴스 & 신규 출시 소식 / Headlines & Launches Windows용 Bing Chat 출시 / Bing Chat comes to Windows (4 minute read) 플러그인을 사용하여 AI 시스템이 도구를 사용하고 디지털 시스템과 상호 작용하도록 할 수 있습니다. 이 기능은 이제 자사 및 타사 코파일럿 스타일 플러그인을 통해 Windows에 제공됩니다. 아직 성공적인 데스크톱 네이티브 코파일럿은 없지만, 실행 속도를 고려하면 곧 시장에 출시될 것입니다. Plugins allow AI systems to use tools and interact with digital systems. This ability is now coming to Windows with first and third party copilot style plugins. There has yet to be a successful desktop native copilot, but with the speed of execution we'll get to see this first push to market. 백악관, AI 위험 연구를 위한 새로운 발걸음 / White House Takes New Steps To Study AI Risks (2 minute read) 지난 화요일, 백악관은 업무의 본질을 변화시킬 것으로 예상되는 기술에 대한 연방 투자를 할당하면서, 노동자들로 하여금 고용주가 AI를 사용하여 근로자를 어떻게 모니터링하는지 묻게 될 것이라고 말했습니다. The White House said on Tuesday that it would ask workers how their e…