# \#ai-chip **URL:** https://discuss.pytorch.kr/tag/ai-chip/1757.md [최신](https://discuss.pytorch.kr/latest.md) · [카테고리](https://discuss.pytorch.kr/categories.md) · [태그](https://discuss.pytorch.kr/tags.md) --- ## [OpenAI와 Broadcom이 공개한 첫 자체 LLM 추론 전용 칩 Jalapeño (feat. Celestica)](https://discuss.pytorch.kr/t/openai-broadcom-llm-jalapeno-feat-celestica/10925)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [6월 25, 2026, 7:30오전 UTC](https://discuss.pytorch.kr/t/openai-broadcom-llm-jalapeno-feat-celestica/10925 "2026-06-25T07:30:28Z")
Jalapeño 소개 OpenAI와 Broadcom(NASDAQ: AVGO)이 OpenAI의 첫 자체 추론 가속기 Jalapeño(할라페뇨) 를 공개했습니다. OpenAI는 이 칩을 자사 첫 "지능 프로세서(Intelligence Processor)"로 부르며, 대규모 언어 모델(Large Language Model, LLM) 추론을 위해 백지 상태에서 새로 설계한 가속기라고 설명합니다. Jalapeño는 두 회사가 함께 만들어 갈 다세대(multi-generation) 컴퓨팅 플랫폼의 첫 번째 AI 가속기이기도 합니다. 여기서 핵심은 Jalapeño가 기존 AI 워크로드용 칩을 추론에 맞게 개조한 것이 아니라, 처음부터 LLM 추론만을 겨냥해 설계되었다는 점입니다. OpenAI는 ChatGPT, Codex, API 등 매일 운영하는 시스템과 향후 에이전트형 제품의 요구사항, 그리고 자사 모델 로드맵에서 얻은 커널(kernel), 메모리 이동, 네트워킹, 서빙(serving) 패턴에 대한 이해를 바탕으로 칩 아키텍처를 직접 정의했습니다. 실제로 Jalapeño의 엔지니어링 샘플은 이미 실험실에서 양산 목표 주파수와 전력으로 GPT-5.3-Codex-Spark를 포함한 ML 워크로드를 구동하고 있다고 합니다. 이번 발표가 주목받는 이유는 단순히 새 칩 하나가 나왔기 때문이 아닙니다. OpenAI는 그동안 프론티어 모델과 그 위의 제품을 만드는 회사였는데, 이제 그 아래의 인프라, 즉 칩 아키텍처까지 직접 설계하는 단계로 내려왔습니다. 모델을 가장 잘 아는 회사가 그 모델을 돌릴 하드웨어를 직접 그린다는 발상으로, 이는 Google이나 AWS 같은 하이퍼스케일러들이 걸어온 길을 OpenAI도 본격적으로 따라가기 시작했다는 신호입니다. 한편 OpenAI가 Broadcom과 자체 칩을 논의 중이라는 소식은 이전부터 전해졌던 내용으로, 이번 발표는 그 협력이 실제 실리콘으로 결실을 맺었음을 보여줍니다. 왜 지금 추론 전용 칩인가: 학습에서 추론으로 옮겨가는 … --- ## [AlphaChip: 강화학습(RL) 기반의 칩 배치 생성 방법에 대한 연구 (feat. Google)](https://discuss.pytorch.kr/t/alphachip-rl-feat-google/5291)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [10월 4, 2024, 7:43오전 UTC](https://discuss.pytorch.kr/t/alphachip-rl-feat-google/5291 "2024-10-04T07:43:55Z")
들어가며 :pytorch::kr: 지난 9월 말 AlphaChip이라고 이름 붙인, 강화학습 기반의 칩 배치 생성 방법에 대한 짧은 추가 논문(Addendum)이 nature에 공개되었습니다. AlphaChip은 지난 2020년 공개된 강화학습(RL) 기반의 칩 설계 및 배치(Chip Design & Placement) 생성 방법에 대한 연구(A graph placement methodology for fast chip design)를 기반으로 하고 있으며, Google의 TPU 설계에 실제로 적용된 것으로 유명합니다. 이번에 추가된 논문(Addendum)에서는 사전학습을 활용한 효율성 증대를 비롯하여 초기 배치와 벤치마크 등에 대한 내용을 다루고 있습니다. 이러한 추가 논문 이해를 위해 먼저 지난 2020년 공개된 논문 내용을 간략히 다루고, 추가된 내용을 살펴보도록 하겠습니다. AlphaChip의 기반 연구: A graph placement methodology for fast chip design 2020년 Google에서 공개한 연구는 강화학습(Reinforcement Learning) 기법을 칩 설계, 그 중에서도 칩의 물리적 배치(Floorplanning)를 최적화하는데 집중하였습니다. 플로어플래닝(Floorplanning)은 칩의 각 구성 요소(메모리, 컴퓨팅 유닛, 제어 논리 시스템 등)를 물리적 공간에 배치하는 과정입니다. 각 구성 요소는 전기적 신호로 연결되어 있어 배치 방식에 따라 성능, 전력 소모, 발열 등이 크게 달라집니다. 플로어플래닝은 컴퓨터 칩 설계에서 가장 초기 단계 중 하나로, 나중 단계에서 발생할 수 있는 물리적 제약을 미리 고려해야 하는 복잡한 문제입니다. 현대의 칩 설계에서는 수십억 개의 트랜지스터가 사용되며, 이를 최적화하지 못하면 성능 저하 및 비용 증가로 이어집니다. 특히, 전력 소비는 모바일 장치나 데이터 센터 운영에 매우 중요한 요소이며, 이를 줄이는 것이 목표입니다. 플로어플래닝이 잘못되면 칩의 성능과 효율성… --- ## [\[GN\] TPU로의 전환: AI 전용칩의 10년 역사 돌아보기](https://discuss.pytorch.kr/t/gn-tpu-ai-10/4996)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [8월 7, 2024, 3:41오전 UTC](https://discuss.pytorch.kr/t/gn-tpu-ai-10/4996 "2024-08-07T03:41:19Z")
'TPU로의 전환: AI 전용칩의 10년 역사 돌아보기' 글 소개 약 10년 전 Google 연구진은 AI 컴퓨팅 수요가 당시 인프라 능력을 초과할 것이라 예견함 당시 수요를 충족시킬 대안이 시장에 없음을 깨닫고, 새로운 종류의 칩인 TPU(Tensor Processing Unit) 개발을 시작 단일 특정 목적 칩 CPU는 컴퓨터의 만능 "두뇌" 역할을 하는 반면, TPU는 AI에 최적화된 특정 목적의 칩임 TPU는 AI 모델 구축 및 실행에 필요한 행렬 및 벡터 기반 수학 연산에 특화된 ASIC(application-specific integrated circuit)임 2015년 내부 배포된 TPU v1은 Google 전반에 즉시 히트쳤으며, 이후 10년간 TPU는 성능과 효율성 면에서 발전을 거듭함 AI 혁신에 보조 맞추기 TPU 진화는 머신러닝 및 AI 혁신과 밀접하게 연계됨 TPU v1은 추론에 초점을 맞췄지만, 곧 모델 훈련 효율화를 위해 TPU v2 훈련 슈퍼컴퓨터 개발함 이후 TPU는 더 빠른 주기로 출시되며 성능, 효율성, 처리능력 면에서 큰 도약을 이뤘음 최신 세대에서는 데이터 처리 속도가 매우 빨라 칩 간 연결 케이블 배선에도 주의가 필요함 Sharing the love 초기에 Google만 AI 모델 개발 및 실행을 위한 더 나은 방법을 모색한 것은 아님 2018년 초 Google Cloud는 고객이 자체 훈련 및 추론 워크로드를 가속화할 수 있도록 Cloud TPU 1세대 출시함 오늘날 Anthropic, Midjourney, Salesforce 등 잘 알려진 AI 팀들이 Cloud TPU를 집중적으로 사용 중임 이 모든 처리 능력은 여전히 시작에 불과함 향후 데이터센터 설계를 TPU 요구사항에 더 잘 맞추는 방향으로 변화시킬 계획임 단일 칩이나 단일 TPU 포드를 넘어, TPU로 가득 찬 글로벌 데이터센터 네트워크를 구축하고 있음 미래는 실리콘에서 콘크리트에 이르기까지 완전한 맞춤형 솔루션이 될 것임(The fut… --- ## [OpenAI, Broadcom과 자체 AI칩 개발 논의 중](https://discuss.pytorch.kr/t/openai-broadcom-ai/4913)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [7월 24, 2024, 1:15오전 UTC](https://discuss.pytorch.kr/t/openai-broadcom-ai/4913 "2024-07-24T01:15:00Z")
들어가며 :pytorch::kr: 최근 Perplexity를 조금씩 써보고 있는데요, Perplexity에 OpenAI와 Broadcom의 협력 뉴스가 정리된 페이지가 있어서 링크를 가져오는 김에 한국어로도 정리를 부탁해봤습니다. :smiley: OpenAI의 AI 칩 개발 뉴스 개요 OpenAI에서는 ChatGPT, GPT-4, DALL-E3와 같은 고급 AI 모델 개발에 필요한 고성능 GPU 부족 문제를 해결하기 위해 Broadcom과의 파트너십을 통해 자체 AI 칩의 개발을 추진한다고 합니다. 이를 위해 Google 출신의 TPU 개발자를 영입하는 등, OpenAI 자체 AI 칩 설계를 위한 노력을 진행 중이라고 합니다. 이러한 OpenAI의 자체 AI 칩 개발이 NVIDIA에 대한 의존도 감소 및 AI 인프라의 강화로 이어질 것으로 예측하는 사람들이 많으나, 개발 과정의 복잡성과 수십억 달러의 투자를 요하는 고비용 구조를 감당할 수 있을지에 대한 걱정도 있습니다. OpenAI가 AI 기술 발전을 위해 핵심 인프라를 직접 통제하고 최적화하려는 이번 시도가 성공할지 귀추가 주목됩니다. OpenAI의 AI 칩 개발 배경 및 현황 OpenAI가 자체 AI 칩 개발을 추진하게 된 주요 배경은 다음과 같습니다: GPU 공급 부족 문제 해결: 현재 AI 모델 개발에 필수적인 고성능 GPU의 공급이 부족한 상황입니다. 자체 칩을 개발함으로써 이 문제를 해결하고자 합니다. 비용 절감: Nvidia의 고가 GPU에 대한 의존도를 줄여 장기적으로 AI 개발 및 운영 비용을 절감하려는 목적이 있습니다. 성능 최적화: ChatGPT, GPT-4 등 OpenAI의 AI 모델에 최적화된 칩을 개발하여 성능을 극대화하려는 전략입니다. 기술 자립: 핵심 하드웨어 기술을 내재화하여 AI 기술 전반에 대한 통제력을 높이려는 의도가 있습니다. OpenAI의 AI 칩 개발 현황과 계획은 다음과 같습니다: Broadcom과의 협력: AI 서버용 … --- ## [\[TLDR\] 오늘의 AI 뉴스, 2023-11-16: Microsoft 맞춤형 AI 칩 💾, Google의 생성형 검색 🔍, 스마트 안경에서의 물체 감지 👓](https://discuss.pytorch.kr/t/tldr-ai-2023-11-16-microsoft-ai-google/2872)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [11월 18, 2023, 6:26오전 UTC](https://discuss.pytorch.kr/t/tldr-ai-2023-11-16-microsoft-ai-google/2872 "2023-11-18T06:26:51Z")
파이토치 한국 사용자 모임에서는 TLDR 뉴스레터의 승인을 받아 AI 소식을 DeepL로 번역하여 전합니다. :star\_struck: 더 많은 AI 소식 및 정보를 공유하고 함께 성장하고 싶으신가요? 지금 파이토치 한국어 커뮤니티에 방문해주세요! :robot: :rocket: 주요 뉴스 & 신규 출시 소식 / Headlines & Launches 자체 AI 칩을 만드는 Microsoft / Microsoft Is Making Custom AI Chips (3 minute read) Microsoft는 Nvidia에 대한 의존도를 낮추고 AI 기반 미래를 준비하기 위해 자체 맞춤형 AI 칩인 Azure 마이아 AI와 Azure 데이터 센터용 ARM 기반 CPU인 Azure 코발트를 개발했습니다. 이 칩은 2024년에 출시될 예정입니다. microsoft ai-chip Microsoft has developed its own custom AI chip, Azure Maia AI, and an Arm-based CPU for Azure data centers, Azure Cobalt, aiming to reduce reliance on Nvidia and prepare for an AI-driven future. The chips are set to launch in 2024. Google의 생성형 검색이 120개 국가에 추가 출시되었습니다 / Google’s generative search rolled out to 120 more countries (3 minute read) Google의 검색 생성 경험(SGE)은 올해 초 첫 선을 보인 후 여러 언어로 더 많은 국가에 서서히 제공되고 있습니다. Google은 주요 검색 시스템에 많은 영향을 미치기 때문에 이번 출시에 신중하고 느린 속도를 취하고 있습니다. search-generative-experience Google’s Search Generative Experience (SGE) is s… --- ## [\[GN\] 뇌에서 영감을 받은 IBM의 NorthPole 칩, AI의 속도와 효율성을 크게 향상](https://discuss.pytorch.kr/t/gn-ibm-northpole-ai/2721)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [10월 26, 2023, 1:59오전 UTC](https://discuss.pytorch.kr/t/gn-ibm-northpole-ai/2721 "2023-10-26T01:59:32Z")
GeekNews의 xguru님께 허락을 받고 GN에 올라온 글들 중에 AI 관련된 소식들을 공유하고 있습니다. :smiley\_cat: 소개 외부 메모리에 액세스하는 것을 줄여서 컴퓨팅 성능을 높이고 에너지를 절약 메모리와 프로세싱을 함께 제공(컴퓨팅과 메모리의 대규모 통합) 256개의 코어로 되어있으며 각 코어 유닛에는 자체 메모리가 포함되어 있어서 폰 노이만 병목현상을 완화 코어는 인간 대뇌 피질(human cerebral cortex) 사이의 백질 연결(white-matter connections)에서 영감을 얻은 네트워크로 서로 연결됨 이미지 인식에 대한 표준 벤치마크 테스트에서 상당한 차이로 기존 AI 머신을 능가 또한 가장 최신의 소형화된 제조 공정을 사용하지 않음에도 불구하고 최첨단 AI 칩의 에너지를 5분의 1만 사용 최신 제조 공정으로 구현된다면 효율성은 현재 설계보다 25배 더 좋아질 것 하지만 NorthPole의 224MB RAM은 가장 압축된 버전에서도 수천 메가의 데이터를 차지하는 챗봇 ChatGPT에서 사용하는 것과 같은 대규모 언어 모델에는 충분하지 않음 이 칩은 별도의 컴퓨터에서 미리 '훈련'해야 하는 사전 프로그래밍된 신경망만 실행가능 논문의 저자들은 노스폴 아키텍처가 자율주행차와 같이 속도가 중요한 애플리케이션에 유용할 수 있다고 주장 원문 https://www.nature.com/articles/d41586-023-03267-0 출처 / GeekNews --- ## [\[GN\] OpenAI, 자체 AI 칩 개발 고려 중](https://discuss.pytorch.kr/t/gn-openai-ai/2631)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 1\ **마지막 업데이트:** [10월 11, 2023, 12:41오전 UTC](https://discuss.pytorch.kr/t/gn-openai-ai/2631 "2023-10-11T00:41:20Z")
GeekNews의 xguru님께 허락을 받고 GN에 올라온 글들 중에 AI 관련된 소식들을 공유하고 있습니다. :smiley\_cat: 소개 AI 칩 부족 악화로 작년부터 회사내부에서 AI 칩 전략에 대한 논의가 진행중 AI 칩 제조업체를 인수하거나, 내부에서 설계하는 등 여러가지 전략을 고려중 CEO인 Sam Altman은 더 많은 AI칩을 확보하는 것을 회사의 최우선 과제로 삼고 있음 OpenAI는 GPU 기반 하드웨어를 사용, 하지만 GPU 공급망은 매우 딸리고 있음 ChatGPT가 구글 검색 규모의 1/10 정도로 커지게 된다면 초기에 $48B(64조원) 규모의 GPU가 필요하고, 매년 $16B 규모의 칩이 추가로 필요함 원문 출처 / GeekNews --- ## [\[TLDR\] 오늘의 AI 뉴스, 2023-10-09: Microsoft AI 칩 💾, AI 기반 저널리즘 📓, 음악 생성 스트리밍 🎵](https://discuss.pytorch.kr/t/tldr-ai-2023-10-09-microsoft-ai-ai/2638)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [10월 10, 2023, 3:00오전 UTC](https://discuss.pytorch.kr/t/tldr-ai-2023-10-09-microsoft-ai-ai/2638 "2023-10-10T03:00:00Z")
파이토치 한국 사용자 모임에서는 TLDR 뉴스레터 의 승인을 받아 AI 소식을 DeepL로 번역 하여 전합니다. :star\_struck: 더 많은 AI 소식 및 정보를 공유하고 함께 성장하고 싶으신가요? 지금 파이토치 한국어 커뮤니티에 방문해주세요! :robot: :rocket: 주요 뉴스 & 신규 출시 소식 / Headlines & Launches OpenAI, 자체 AI 칩 개발 고려 중 / OpenAI Said To Be Considering Developing Its Own AI Chips (1 minute read) OpenAI는 GPU 공급 부족으로 인해 자체 AI 칩 개발을 고려하고 있습니다. OpenAI is considering creating its own AI chips due to the increasing shortage in GPU supply. (더 읽어보기 :point\_right: \[GN\] OpenAI, 자체 AI 칩 개발 고려 중) BBC는 OpenAI 데이터 스크래핑을 차단하고 있지만 AI 기반 저널리즘에는 개방적입니다 / The BBC is blocking OpenAI data scraping but is open to AI-powered journalism (3 minute read) BBC는 투명성과 공익성을 강조하며 저널리즘에서 제너레이티브 AI를 사용하기 위한 원칙을 세우고 있습니다. 이 방송사는 AI의 잠재력을 탐색하는 동안 저작권이 있는 콘텐츠를 보호하기 위해 OpenAI 웹 크롤러를 차단했습니다. openai ai-copyright The BBC is setting principles for using generative AI in journalism, emphasizing transparency and public interest. While it is exploring AI's potential, the broadcaster has blocked OpenAI web crawlers to …