AI 연산을 위한 슈퍼컴퓨터와 칩 기술 등을 연구/개발하며 생성형 AI 가속을 위해 새로운 AI 슈퍼컴퓨터 구축을 목표로 하고 있는 Cerebras System에서는 새로운 AI 프로세서 및 슈퍼 컴퓨터를 발표했습니다. 이번에 공개한 제품군은 WSE-3 (Wafer Scale Engine 3), CS-3, G42, Condor Galaxy 3이며, 각각은 다음과 같습니다:
WSE-3 (Wafer Scale Engine 3)
WSE-3는 Cerebras Systems에 의해 개발된 세계에서 가장 크고 빠른 AI 프로세서입니다. 이 칩은 TSMC의 5나노(nm) 공정으로 제작되며, 4조 개의 트랜지스터와 900,000개의 AI 최적화 코어를 포함하고 있습니다. 이를 통해 125 petaflops의 성능을 제공하며, AI 모델 훈련에 필요한 대규모 연산을 수행할 수 있습니다. WSE-3의 혁신적인 설계는 전통적인 칩 설계를 넘어서는 웨이퍼 스케일 프로세싱을 실현함으로써 AI 연산의 효율성과 속도를 대폭 향상시킵니다.
WSE-3은 이전 모델인 WSE-2의 두 배에 달하는 성능을 자랑합니다. 이는 대규모 AI 모델 학습을 위한 탁월한 성능과 효율성을 제공합니다. 또한, 1.5TB에서 1.2PB에 이르는 외부 메모리 지원을 통해 거대한 모델들을 단일 논리 공간에 저장할 수 있으며, 이는 모델의 파티셔닝이나 리팩토링 없이 학습 과정을 간소화합니다.
CS-3
CS-3는 WSE-3을 기반으로 하는 Cerebras의 AI 슈퍼컴퓨터 시스템입니다. 이 시스템은 최대 24조 개의 파라미터를 가진 대규모 AI 모델을 훈련할 수 있으며, 독특한 구성으로 인해 데이터 병렬 처리가 가능하여 AI 모델 훈련을 간소화하고 가속화합니다. CS-3는 고유의 메모리 시스템을 통해 최대 1.2PB의 데이터를 저장할 수 있으며, 이를 통해 복잡한 모델도 단일 논리 공간에서 관리할 수 있습니다.
또한, Cerebras 소프트웨어 프레임워크는 PyTorch 2.0을 기본적으로 지원하며, 동적 및 비구조화된 희소성을 통해 기존 방법보다 최대 8배 빠른 학습 속도를 제공합니다.
Condor Galaxy 3
Condor Galaxy 3는 Cerebras와 G42의 전략적 파트너십 하에 구축되는 AI 슈퍼컴퓨터 네트워크의 일부입니다. 이 네트워크는 세계에서 가장 크고 빠른 AI 슈퍼컴퓨터 중 하나를 목표로 하며, 64대의 CS-3 시스템을 통해 총 8 exaFLOPs의 연산 능력을 제공합니다. Condor Galaxy 3는 특히 다양한 AI 모델의 훈련에 사용되며, 이전 버전인 Condor Galaxy 1과 2를 포함해 총 16 exaFLOPs의 AI 연산 능력을 네트워크에 제공합니다.
Condor Galaxy는 Jais-30B, Med42, Crystal-Coder-7B, BTLM-3B-8K 등 업계 선두의 최신 생성 AI 모델 훈련에 사용되었습니다. 이 모델들은 Condor Galaxy를 통해 개발되어 수천 건의 다운로드를 기록했습니다. 특히 Jais 13B와 Jais 30B는 세계 최고의 양방향 아랍어 모델로, Azure Cloud에서 사용 가능하며, BTLM-3B-8K는 HuggingFace에서 3B 모델 중 선두를 차지하고 있습니다.
Condor Galaxy 3은 2024년 2분기에 사용 가능할 예정입니다. 이는 AI 연산 분야에서의 세계적인 발전을 목표로 한 Cerebras와 G42의 공동 비전을 달성하는 데 있어 중요한 단계를 나타냅니다. Cerebras의 혁신적인 기술과 G42의 비전이 결합되어 AI 분야에서의 다음 혁신의 물결을 가능하게 할 것으로 기대됩니다.
G42: G42는 아랍에미리트에 본사를 둔 선도적인 기술 홀딩 그룹으로, 인공지능을 포함한 다양한 첨단 기술 분야에서 활동하고 있습니다. G42는 기술을 통해 사회의 다양한 문제를 해결하고자 하는 비전을 가지고 있으며, Cerebras와의 협업을 통해 AI 중심의 혁신적인 솔루션을 개발 및 제공하고자 합니다.
WSE-3는 AI 연산을 위한 최신 칩 기술로, CS-3 슈퍼컴퓨터 시스템의 핵심 구성요소입니다. CS-3는 이 칩을 사용하여 대규모 AI 모델의 훈련에 필요한 연산 능력을 제공합니다. G42는 이러한 기술을 활용하여 Condor Galaxy 3 같은 세계적인 수준의 AI 슈퍼컴퓨터 네트워크를 구축하고 운영하는 파트너로서, AI 기술의 혁신과 적용을 가속화하는 데 중요한 역할을 합니다. 이렇게 Cerebras의 WSE-3 및 CS-3 기술과 G42의 전략적 비전 및 실행 능력이 결합하여, Condor Galaxy 3와 같은 선도적인 AI 슈퍼컴퓨팅 인프라를 구축하고, AI 분야의 발전을 촉진하는 강력한 시너지를 창출합니다.
더 읽어보기
WSE-3 발표 글
CS-3 제품 소개
Cerabras와 G42의 파트너십 및 Condor Galaxy 3 관련 글
관련 기사
이 글은 GPT 모델로 정리한 것으로, 잘못된 부분이 있을 수 있으니 글 아래쪽의 원문도 함께 참고해주세요! 읽으시면서 어색하거나 잘못된 내용을 발견하시면 덧글로 알려주시기를 부탁드립니다. 
파이토치 한국 사용자 모임
이 정리한 이 글이 유용하셨나요? 회원으로 가입하시면 주요 글들을 이메일
로 보내드립니다! (기본은 Weekly지만 Daily로 변경도 가능합니다.)
아래
쪽에 좋아요
를 눌러주시면 뉴스 발행에 힘이 됩니다~ 