# \#ai-hardware **URL:** https://discuss.pytorch.kr/tag/ai-hardware/2983.md [최신](https://discuss.pytorch.kr/latest.md) · [카테고리](https://discuss.pytorch.kr/categories.md) · [태그](https://discuss.pytorch.kr/tags.md) --- ## [\[밋업\] Beyond GPU: AI Hardware Meetup (9/29, 화)](https://discuss.pytorch.kr/t/beyond-gpu-ai-hardware-meetup-9-29/11919)
**Author:** [@Bumjin](https://discuss.pytorch.kr/u/Bumjin)\ **댓글:** 0\ **마지막 업데이트:** [9월 15, 2026, 1:29오전 UTC](https://discuss.pytorch.kr/t/beyond-gpu-ai-hardware-meetup-9-29/11919 "2026-09-15T01:29:24Z")
오는 9월 29일, ML2에서 AI Hardware 밋업을 개최합니다! NVIDIA 너머에는 지금 어떤 변화가 일어나고 있을까요? GPU, NPU, 새로운 AI Accelerator부터 Compiler와 Runtime까지, AI Hardware와 컴퓨팅 환경은 빠르게 변하고 있습니다. 눈여겨 볼 기술은 계속 늘어나지만, 혼자서 모든 흐름을 따라가기는 쉽지 않은데요. 그래서 이번 9월 29일 화요일, ML2에서 AI Hardware와 새로운 컴퓨팅 생태계에 관심 있는 분들이 가볍게 모여 각자 보고 있는 기술과 고민, 해보고 싶은 것들을 나누고자 자리를 마련해보았습니다. 이번 모임에서는 NVIDIA GPU뿐만 아니라 AMD, Intel, Apple Silicon, Tenstorrent, RISC-V 기반 아키텍처 등 다양한 AI Hardware를 함께 살펴보고, 새로운 하드웨어 생태계 위에서 어떤 Application을 만들어볼 수 있을지도 이야기해보려고 합니다. :small\_blue\_diamond: 𝐆𝐏𝐔 & 𝐀𝐈 𝐀𝐜𝐜𝐞𝐥𝐞𝐫𝐚𝐭𝐨𝐫𝐬 :small\_blue\_diamond: 𝐀𝐈/𝐌𝐋 𝐒𝐲𝐬𝐭𝐞𝐦𝐬 :small\_blue\_diamond: 𝐎𝐩𝐞𝐧 𝐒𝐨𝐮𝐫𝐜𝐞 & 𝐎𝐩𝐞𝐧 𝐇𝐚𝐫𝐝𝐰𝐚𝐫𝐞 :small\_blue\_diamond: 𝐑𝐨𝐛𝐨𝐭𝐢𝐜𝐬 & 𝐏𝐡𝐲𝐬𝐢𝐜𝐚𝐥 𝐀𝐈 :small\_blue\_diamond: 그리고 그 밖의 새로운 컴퓨팅 기술들 딱딱한 발표의 장이라기보다는 각자 요즘 관심 있는 기술과, 해보고 싶은 것들을 편하게 나누는 자리입니다. 그래서 참여하시는 분들도 간단한 자기소개와 함께, 요즘 관심 있는 주제를 담은 5분 이내의 짧은 라이트닝 토크를 준비해주시면 됩니다. 라이트닝 토크 이후에는 근처에서 간단히 치킨과 맥주를 즐기며 편하게 이야기를 이어갈 예정입니다. :clinking\_beer\_mugs: AI Hardware와 새로운 컴퓨팅 생태계가 궁금하거나, 요즘 눈여겨보고 있는 기술을 다른 사람들과 함께 이야기해보고 싶다면 편… --- ## [Taalas, 초당 약17,000 토큰 생성이 가능한, Llama 3.1 8B 모델을 하드웨어로 직접 구현한 HC1 공개](https://discuss.pytorch.kr/t/taalas-17-000-llama-3-1-8b-hc1/9038)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [2월 23, 2026, 3:30오전 UTC](https://discuss.pytorch.kr/t/taalas-17-000-llama-3-1-8b-hc1/9038 "2026-02-23T03:30:21Z")
Taalas의 첫 번째 제품, HC1: 하드웨어로 구현된 Llama 3.1 8B 압도적인 성능의 HC1 보드 Taalas가 자사의 철학을 바탕으로 선보인 첫 번째 제품은 Llama 3.1 8B 모델을 하드웨어로 직접 구워낸(Hard-wired) HC1 보드입니다. 현재 챗봇 데모 및 추론 API 서비스 형태로 제공되는 이 제품은 사용자당 초당 17,000 토큰(17K tokens/sec/user)이라는 경이로운 처리 속도를 기록했습니다. 이는 Nvidia의 H200 및 B200, 그리고 Groq, Cerebras 등 현존하는 최고 수준의 경쟁 기술과 비교해도 무려 10배 가까이 빠른 수치입니다. 더 놀라운 것은 이러한 성능을 내면서도 구축 비용은 20배 저렴하고, 전력 소비는 10배 적다는 점입니다. 하드와이어링의 유연성과 양자화(Quantization) 타협점 속도를 극대화하기 위해 모델을 하드웨어에 고정했음에도 불구하고, Taalas의 Llama는 실용적인 유연성을 잃지 않았습니다. 컨텍스트 윈도우(Context Window) 크기를 사용자가 설정할 수 있으며, LoRA(Low-Rank Adapters)를 통한 파인튜닝(Fine-tuning) 기능도 완벽히 지원합니다. 다만 초기 1세대 칩셋을 설계할 당시에는 저정밀도 파라미터 포맷이 표준화되지 않았기에, 자체적인 3-bit 기본 데이터 유형을 사용했습니다. 이로 인해 3-bit와 6-bit 파라미터를 결합한 공격적인 양자화가 적용되어 GPU 벤치마크 대비 약간의 품질 저하가 존재합니다. 하지만 곧 도입될 2세대 실리콘에서는 표준 4-bit 부동소수점 포맷을 채택하여 속도를 유지하면서도 이 문제를 완전히 해결할 예정입니다. Taalas 소개 현재 인공지능(AI)은 특정 도메인에서 이미 인간의 성능을 능가하며, 인류의 창의성과 생산성을 전례 없는 수준으로 증폭시키는 도구로 자리 잡았습니다. 하지만 이러한 AI가 우리 일상과 모든 산업 전반에 널리 채택되기 위해서는 높은 지연 시간(Latency)… --- ## [OpenAI, 해커톤에서 탄생한 실험적인 Hardware AI Assistant 프로젝트 'Reflect' 공개](https://discuss.pytorch.kr/t/openai-hardware-ai-assistant-reflect/7521)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [8월 19, 2025, 9:00오후 UTC](https://discuss.pytorch.kr/t/openai-hardware-ai-assistant-reflect/7521 "2025-08-19T21:00:11Z")
OpenAI의 Reflect 프로젝트 소개 Reflect는 OpenAI 해커톤에서 실험적으로 만들어진 하드웨어 기반 AI 어시스턴트 프로젝트입니다. 이 프로젝트는 정식 제품이나 안정화된 SDK라기보다는, 새로운 아이디어를 빠르게 시도해보기 위한 프로토타입에 가깝습니다. 특히 ESP32 계열의 마이크로컨트롤러를 중심으로 설계되었으며, 화면보다는 소리·빛·색상 같은 직관적인 인터페이스를 활용해 사람과 자연스럽게 소통할 수 있도록 고안되었습니다. 이 프로젝트의 특징은 ‘가볍고 수정하기 쉬운 AI 어시스턴트’라는 점에 있습니다. Reflect는 사용자의 스마트폰을 핵심 키(key)로 활용하며, 디바이스 자체에는 개인 데이터를 저장하지 않습니다. 즉, 보안과 확장성 측면에서 간단하면서도 유연하게 구성할 수 있습니다. 이러한 접근 방식은 AI를 활용한 새로운 인터랙션 실험을 하고 싶은 개발자나 하드웨어 메이커들에게 매력적인 출발점이 될 수 있습니다. :warning:주의:warning:: reflect 프로젝트는 OpenAI 해커톤에서 시범적으로 제작된 데모 성격의 프로젝트입니다. reflect 저장소의 코드는 학습과 실험을 목적으로 공개된 것으로, OpenAI는 공개한 코드의 정확성, 완전성, 성능 등에 대한 어떠한 보증도 하지 않습니다. 특히, 보안 취약점이나 신뢰성, 안정성 등에 대한 충분한 검토를 거치지 않았으므로 실제 운영 환경에는 적합하지 않으며, 상업적 서비스나 민감한 데이터 처리, 운영 환경에는 적합하지 않습니다. reflect 활용 및 실행 과정에서 발생하는 모든 문제, 손실, 손해는 전적으로 사용자의 책임이므로, 연구나 학습, 프로토타이핑 등의 목적으로만 활용하는 것을 권장합니다. Reflect는 일정 관리, 학습 보조, 위치 기반 행동, 음악 재생 등 다양한 기능을 제안하고 있으며, 이를 통해 ‘화면 없는 AI 어시스턴트’라는 새로운 가능성을 탐구합니다. 프로젝트 자체는 해커톤 산출물이므로 완성도가 높지는 않지만, … --- ## [GPU 성능](https://discuss.pytorch.kr/t/gpu/4464)
**Author:** [@future0610](https://discuss.pytorch.kr/u/future0610)\ **댓글:** 4\ **마지막 업데이트:** [5월 24, 2024, 6:36오전 UTC](https://discuss.pytorch.kr/t/gpu/4464 "2024-05-24T06:36:19Z")
파이토치 버전이랑 cudnn 버전은 이렇습니다. rtx 3090 ti를 쓰는 컴퓨터는 정상적으로 작동합니다. 위의 사진은 4090을 쓰는 컴퓨터에서 찍은 건데요, 4090으로 학습하는 게 3090 Ti로 학습하는 것보다 훨씬 느린데 왜 이럴까요? 참고로 cpu는 3090 ti는 amd 5900x, 4090은 7900x입니다. 아래 사진은 segmentation 데이터셋을 학습시키는 동안 작업관리자에서 gpu 사용률을 확인한 건데요, 지금 문제인 4090의 경우입니다. 일종의 병목 현상인 거 같은데 원인은 모르겠네요. Resnet으로 cifar10학습시킬 때도 4090을 쓰는 쪽이 약간 더 느리지만 그나마 괜찮은데 어째서 3090 ti가 성능이 훨씬 더 좋게 나오는지 모르겠네요. 큰맘 먹고 산 4090인데 돈만 날린 거 같네요... --- ## [Limitless, 음성 기반 Personal AI 기기 Pendant 출시 예정 (2024 4Q)](https://discuss.pytorch.kr/t/limitless-personal-ai-pendant-2024-4q/4106)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [4월 18, 2024, 3:25오전 UTC](https://discuss.pytorch.kr/t/limitless-personal-ai-pendant-2024-4q/4106 "2024-04-18T03:25:00Z")
:pytorch:PyTorchKR:kr: 사용자의 음성 데이터를 기반으로 개인화된 AI 서비스를 제공하는 Limitless에서 AI 기기 펜던트(Pendant)의 곧 출시할 것이라고 밝혔습니다. 펜던트는 일상의 대화를 기록하고 관리하는 개인화된 AI 기능을 제공하고 있어, 회의나 일상 대화 등을 자동으로 기록 및 분석하여 사용자가 중요한 순간들을 관리할 수 있도록 합니다. Humane AI Pin이 반응이 미적지근한 가운데, Pendant는 어떨지 함께 살펴보시죠. :thinking: Limitless, 음성 기반 Personal AI 기기 Pendant 출시 예정 (2024, 4Q) 소개 펜던트는 가벼운 무게와 휴대성을 갖춘 웨어러블 기기로, 사용자가 하루 종일 말하는 것을 기억합니다. 이 장치는 의상에 맞춰 착용할 수 있으며, 일상 생활에서 손쉽게 사용할 수 있도록 설계되었습니다. 펜던트는 개인 회의, 런치 미팅, 의사 방문 등 다양한 상황에서 대화를 기록하고, 개인적인 성찰이나 생각을 캡처하는 데 사용됩니다. 펜던트는 유사한 웨어러블 기기들과 비교했을 때, 전체적인 디자인과 기능 면에서 두드러집니다. 특히 사용자의 개인 정보를 보호하는 권한 기반 데이터 보호 기능은 사용자의 프라이버시를 강화하고, 다른 기기들과의 차별점을 제공합니다. 또한, 100시간의 배터리 수명과 방수 기능은 제공하고 있어, 외부 활동 시에 사용하기 적합해 보입니다. 펜던트는 직관적인 앱을 통해 대화를 쉽게 검색하고 관리할 수 있습니다. 장치를 탭하여 중요한 순간을 즉시 북마크하거나, 길게 눌러 개인화된 AI에 질문할 수 있습니다. 사용자는 펜던트를 통해 녹음된 내용을 언제든지 회상하고, 필요한 정보를 빠르게 검색할 수 있습니다. 2024년 4분기 중 출시 예정으로 현재 예약 주문을 받고 있으며, 본체 가격은 $99, 배송비는 미국 내는 $15, 미국 외는 $30입니다. 주요 특징 장시간 배터리 수명: 최대 100시간 동안 사용…