Apple, 3세대 파운데이션 모델(AFM) 5종 공개, 온디바이스 희소 아키텍처로 진화한 Apple Intelligence

9bow · 6월 10, 2026, 9:30오후

Apple 3세대 파운데이션 모델(AFM) 소개

Apple이 Apple Intelligence를 떠받치는 3세대 Apple 파운데이션 모델(Apple Foundation Models, AFM) 패밀리를 공개했습니다. 이번 세대의 가장 큰 특징은 다섯 개의 모델로 구성된 하나의 패밀리라는 점, 그리고 Google과의 협업으로 직접 설계했다는 점입니다. 이 다섯 모델은 사용자의 기기에서 직접 동작하는 온디바이스(on-device) 모델부터, Private Cloud Compute 위에서 동작하는 서버 기반 모델까지를 모두 아우릅니다.

Apple은 그동안 거대한 단일 모델 하나로 모든 것을 처리하기보다, 작업의 성격과 실행 환경에 맞춰 모델을 특화하는 전략을 취해 왔습니다. 새로운 Siri, 더 똑똑해진 일상 앱, 표현력 있는 음성, 정교한 사진 편집 도구처럼 서로 요구사항이 크게 다른 기능들을 하나의 모델로 감당하기는 어렵기 때문입니다. 3세대 AFM은 이러한 철학을 한층 더 밀고 나가, 각 작업에 가장 적합한 크기와 배치 위치를 가진 모델들을 조합해 Apple Intelligence를 구성합니다.

특히 주목할 점은 프라이버시(Privacy) 를 아키텍처의 중심에 둔 설계입니다. 온디바이스 모델은 데이터를 기기 밖으로 내보내지 않고, 서버가 필요한 작업도 사용자 데이터를 저장하거나 Apple을 포함한 누구와도 공유하지 않는 Private Cloud Compute 위에서 실행됩니다. Apple은 파운데이션 모델을 학습할 때 사용자의 개인 데이터나 상호작용 기록을 사용하지 않으며, 웹 게시자가 학습에서 제외(opt out)할 권리도 존중한다고 밝혔습니다. 즉, 이번 발표는 단순한 모델 성능 향상을 넘어 "개인화된 지능을 프라이버시를 지키며 어떻게 제공할 것인가" 라는 Apple의 일관된 질문에 대한 답에 가깝습니다.

다섯 개 모델로 구성된 AFM 패밀리

3세대 AFM은 온디바이스 모델 2종과 서버 기반 모델 3종으로 구성됩니다. 각 모델은 실행 위치와 목적이 명확하게 나뉘어 있어, 어떤 기능이 어디에서 동작하는지 이해하는 데 도움이 됩니다.

모델	실행 위치	규모	핵심 역할
AFM 3 Core	온디바이스	30억(dense)	차세대 기본 온디바이스 모델, 전반적 품질 향상
AFM 3 Core Advanced	온디바이스	200억(희소, 10~40억 활성)	가장 강력한 온디바이스 모델, 네이티브 멀티모달, 표현력 있는 음성, 고정확도 받아쓰기
AFM 3 Cloud	서버(PCC)	서버급	속도, 효율, 성능에 최적화된 서버 주력 모델
ADM 3 Cloud (Image)	서버(PCC)	서버급	이미지 생성 및 편집, Image Playground, Genmoji
AFM 3 Cloud Pro	서버(PCC, NVIDIA GPU)	서버급	가장 강력한 서버 모델, 에이전트 도구 사용과 복잡한 추론

AFM 3 Core, AFM 3 Core Advanced, AFM 3 Cloud, 그리고 이미지 모델 ADM 3 Cloud는 모두 Apple silicon에 맞춰 설계되었습니다. 한편 가장 까다로운 작업을 담당하는 AFM 3 Cloud Pro는 NVIDIA GPU에 최적화되어 있는데, Apple은 Google, NVIDIA와 협력해 Private Cloud Compute를 Google Cloud 상의 NVIDIA GPU까지 확장하면서도 동일한 프라이버시 보장을 유지했다고 설명합니다. 이 확장에 대한 보안 설계 세부 내용은 Apple 보안 연구 웹사이트에 공개되어 있습니다.

DRAM의 벽을 넘다: 온디바이스 희소 아키텍처

이번 세대에서 가장 깊은 기술적 혁신은 가장 강력한 온디바이스 모델인 AFM 3 Core Advanced에 담겨 있습니다. 전통적인 거대 언어 모델은 밀집(dense) 구조든 희소 활성화(sparsely activated) 구조든, 모든 가중치가 활성 메모리인 DRAM에 상주해야 합니다. 이는 거대한 메모리 점유를 만들어내고, 소비자용 하드웨어에서 모델 크기를 키우는 데 근본적인 제약이 됩니다.

AFM 3 Core Advanced는 이 한계를 정면으로 돌파하기 위해, Apple 연구진이 개발한 명령어 추종 가지치기(Instruction-Following Pruning, IFP) 기법을 기반으로 한 새로운 희소 활성화 아키텍처를 도입했습니다. 핵심 아이디어는 모델 전체를 DRAM에 올리는 대신, 전체 모델을 플래시 메모리(NAND)에 저장해 두는 것입니다. 200억 파라미터에 달하는 모델이지만, 한 번의 요청에 실제로 활성화되는 파라미터는 10억에서 40억 개 수준에 불과합니다.

문제는 NAND에서 DRAM으로의 대역폭이 토큰 단위로 가중치를 교체하기에는 너무 느리다는 점입니다. 표준 전문가 혼합(Mixture-of-Experts, MoE) 모델이 요구하는 방식, 즉 토큰마다 전문가를 바꿔 끼우는 방식은 온디바이스 환경에서 현실적이지 않습니다. 그래서 AFM 3 Core Advanced는 라우팅 결정을 토큰 단위가 아니라 프롬프트 단위로 내립니다. 가벼운 밀집 블록이 초기 처리 단계에서 고정된 전문가 집합을 선택하고, 생성 과정에서 주기적으로만 이를 다시 선택합니다. 데이터 이동을 최소화하기 위해, 항상 활성화되어 있는 높은 비율의 공유 전문가(shared experts) 와, 필요할 때만 DRAM으로 불러오는 입력 의존적 라우팅 전문가(routed experts) 를 함께 사용합니다.

이 설계는 추론 시 탄력성(inference-time elasticity) 이라는 중요한 속성도 함께 가져옵니다. 모든 작업에 단일 모델을 쓰거나, 여러 개의 작은 모델 앙상블을 관리하는 대신, AFM 3 Core Advanced는 각 사용 사례에 맞춰 미리 정해진 수의 활성 파라미터를 사용합니다. 덕분에 난이도가 다른 요청들에 걸쳐 가중치를 점진적으로 불러올 수 있고, 지연 시간을 최소화하면서도 모델 크기를 전통적인 DRAM 한계 너머로 확장할 수 있습니다. "전체 모델은 플래시에, 그 순간 필요한 일부만 DRAM에" 라는 발상이 이 아키텍처의 핵심입니다.

AFM 3 Core Advanced 아키텍처 더 알아보기

Instruction-Following Pruning for Large Language Models - Apple Machine Learning Research

서버 모델의 진화: PT-MoE와 멀티모달 추론

서버 기반 모델에서도 큰 진전이 있었습니다. 서버 주력 모델인 AFM 3 Cloud는 Private Cloud Compute 위에서 멀티모달 추론 능력을 크게 끌어올렸습니다. 이를 위해 Apple은 지난해 도입한 병렬 트랙 전문가 혼합(Parallel-Track Mixture-of-Experts, PT-MoE) 구조에 여러 핵심 개선을 적용했습니다.

이러한 아키텍처 개선은 두 가지 효과를 노립니다. 하나는 학습을 안정화하는 것이고, 다른 하나는 복잡한 서버 측 질의에서 컨텍스트 윈도우 안의 정보를 정확하게 추론하고 회상하는 능력을 높이는 것입니다. PT-MoE 구조와 지난 세대 모델에 대한 자세한 설계는 2025년 기술 보고서에 정리되어 있으며, 이번 3세대 모델의 상세 벤치마크를 담은 새 기술 보고서도 올여름 공개될 예정입니다.

AFM 3 Cloud 아키텍처 더 알아보기

Apple Intelligence Foundation Language Models Tech Report 2025 - Apple Machine Learning Research

이미지 생성과 편집: ADM 3 Cloud

또 다른 아키텍처 진전은 최신 이미지 모델인 ADM 3 Cloud에서 확인할 수 있습니다. 고품질 이미지 생성과 편집, 그리고 Genmoji를 구동하기 위해 Apple은 강력한 제어 가능성(controllability)과 파라미터 효율성을 갖추도록 ADM 3 Cloud를 설계했습니다. 이 모델은 서로 다른 종횡비와 해상도에 두루 일반화되며, AFM 패밀리 전체를 활용해 이미지의 생성과 편집을 함께 안내합니다.

기본 모델 자체가 이미지 생성, 편집, Genmoji를 네이티브로 처리하지만, Apple은 특정 다운스트림 편집 경험을 위해 별도의 어댑터(adapter) 도 함께 사용합니다. 예를 들어 사진 앱의 공간 재구성(Spatial Reframing), 터치 기반 이미지 수정, Image Playground의 개인화 기능 등이 이러한 전용 어댑터로 구동됩니다. 위 콜라주는 ADM 3 Cloud가 다양한 피사체와 복잡한 조명 조건에서 보여주는 사실적인 표현력의 예시입니다.

학습 방법론: 데이터, 사전학습, 그리고 후속학습

뛰어난 파운데이션 모델은 다양하고 품질 높은 데이터를 필요로 합니다. Apple은 공개적으로 이용 가능한 정보, 제3자로부터 라이선스하거나 구매한 데이터, 오픈소스 데이터, 전용 연구를 통해 확보한 데이터, 그리고 합성 데이터(synthetic data)를 섞어 모델을 학습시켰습니다. 앞서 강조했듯, 사용자의 개인 데이터나 상호작용 기록은 학습에 사용하지 않습니다.

사전학습(pre-training)은 최신 세대의 클라우드 TPU 가속기 위에서 대규모로 진행되었습니다. 흥미로운 점은 모든 모델이 공통의 초기 기반(common initial foundation)에서 출발한 뒤, 각자의 아키텍처와 용도에 맞게 특화되었다는 것입니다. 이 과정에서 오디오, 이미지 이해, 장문 컨텍스트 추론, 고품질 시각 생성 같은 멀티모달 능력이 더해졌습니다.

이후 후속학습(post-training) 단계에서는 지도 미세조정(Supervised Fine-Tuning, SFT)과 다단계 강화학습(multi-stage Reinforcement Learning)을 결합했습니다. 마지막으로 각 모델은 목표 하드웨어에 맞게 최적화되었습니다. AFM 3 Core, AFM 3 Core Advanced, AFM 3 Cloud, ADM 3 Cloud는 Apple silicon에서, AFM 3 Cloud Pro는 NVIDIA GPU에서 효율적으로 동작하도록 다듬어졌습니다. 이때 양자화 인식 학습(Quantization Aware Training, QAT) 을 적용해 높은 정확도를 유지하면서도 모델을 상당히 압축했습니다. 양자화는 가중치와 활성값을 더 낮은 비트로 표현해 모델 크기와 추론 비용을 줄이는 기법으로, 온디바이스 실행에서 특히 중요한 역할을 합니다.

모델 품질 평가: 세대 간 도약

Apple은 모델 수준과 기능 수준 양쪽에서 품질을 평가합니다. 모델 평가는 사내 인간 평가자가 명령어 추종(Instruction Following), 진실성(Truthfulness), 표현(Presentation) 등 핵심 차원을 따라 응답을 채점하는 방식으로 이루어졌습니다. 이미지 기반 프롬프트의 경우 시각 콘텐츠를 식별하고 추론하는 이미지 이해(Image Understanding) 능력도 함께 측정했습니다.

온디바이스 모델은 일반 텍스트 능력에서 뚜렷한 세대 간 진전을 보였습니다. 아래는 좌우 비교(side-by-side) 인간 평가에서 새 모델과 직전 세대 모델 중 어느 쪽이 선호되었는지를 정리한 결과입니다.

평가 항목	신규 모델 선호율	2025년 기준 모델 선호율
AFM 3 Core, 일반 텍스트	45.6%	23.3%
AFM 3 Cloud, 일반 텍스트	64.7%	8.7%
AFM 3 Cloud, 이미지 이해	37.8%	9.6%

이미지 이해에서도 진전이 확인됩니다. 사용자가 둘 중 한쪽을 선호한 경우에 한정하면, AFM 3 Core는 61% 이상의 비율로 직전 세대보다 선호되었습니다. 참고로 위 표의 신규 모델과 기준 모델 선호율을 더한 나머지는 무승부(tie)에 해당하며, Apple이 지원하는 로케일에는 한국어도 포함됩니다.

서버 모델 AFM 3 Cloud의 도약 폭이 특히 큽니다. 일반 텍스트 좌우 비교에서 64.7% 대 8.7%로 직전 세대를 앞섰고, 이는 모든 로케일 지역에서 일관되게 나타났습니다. 응답을 독립적으로 채점하는 단면(single-sided) 평가에서도 전반적 응답 만족도가 약 36%, 명령어 추종 성능이 약 21% 상대적으로 개선되었습니다. 가장 강력한 서버 모델인 AFM 3 Cloud Pro는 AFM 3 Cloud 대비 텍스트 만족도에서 약 10%, 이미지 이해에서 약 14% 추가 개선을 보였으며, 특히 수학(Math) 같은 특정 작업 범주에서는 14%의 상대적 향상을 기록했습니다.

기능 수준 평가에서는 음성 관련 진전이 두드러집니다. 새로운 표현력 있는 음성 품질을 측정하기 위해, 평가자들은 AFM 3 Core Advanced를 Apple의 기존 프로덕션 음성 합성(Text-to-Speech, TTS) 시스템과 5점 평균 의견 점수(Mean Opinion Score, MOS) 척도로 비교했습니다. 단 10억 파라미터의 효율적인 활성 크기에서 동작하면서도, AFM 3 Core Advanced는 의미 있는 차이를 만들어냈습니다. MOS 척도에서 0.1점 상승이 사용자 경험상 매우 뚜렷한 개선으로 체감된다는 점을 감안하면 아래 격차는 상당합니다.

항목	기존 TTS	AFM 3 Core Advanced
일반 음성	3.87	4.15
대화체 음성	3.82	4.24

받아쓰기(dictation)를 비롯한 음성 인식 능력도 함께 개선되었습니다. 직전 받아쓰기 시스템과의 좌우 비교에서, AFM 3 Core Advanced는 전반적 품질(Overall Quality) 항목에서 44.7% 대 17.6%로 선호되었고, 이 우위는 구두점, 대소문자, 레이아웃, 의미 포착, 비유창성 처리, 스타일 등 나머지 차원에서도 일관되게 이어졌습니다.

책임 있는 AI와 프라이버시

Apple은 모델 개발의 모든 단계에서 책임 있는 AI(Responsible AI) 원칙을 적용한다고 밝혔습니다. 네 가지 원칙은 각각 독립적인 중요성을 갖습니다.

사용자에게 지능형 도구로 힘을 실어주기 (Empower users with intelligent tools): AI가 책임감 있게 사용될 수 있는 영역을 찾아 사용자의 구체적인 필요를 해결하는 도구를 만들고, 사용자가 그 도구를 어떻게 활용할지에 대한 선택을 존중합니다.

사용자를 대표하기 (Represent our users): 전 세계 사용자를 진정성 있게 대표하는 것을 목표로 깊이 개인적인 제품을 만들며, AI 도구와 모델 전반에서 고정관념이나 체계적 편향이 재생산되지 않도록 지속적으로 노력합니다.

세심하게 설계하기 (Design with care): 설계, 모델 학습, 기능 개발, 품질 평가 전 과정에서 AI 도구가 오용되거나 잠재적 해를 끼칠 수 있는 지점을 식별하고, 사용자 피드백을 바탕으로 지속적으로 개선합니다.

프라이버시 보호하기 (Protect privacy): 강력한 온디바이스 처리와 Private Cloud Compute와 같은 인프라로 사용자의 프라이버시를 보호하며, 학습에 사용자의 개인 데이터나 상호작용을 사용하지 않습니다.

또한 Apple은 민감한 콘텐츠를 식별하는 안전 분류 체계(safety taxonomy)를 운영합니다. 언어와 문화적 맥락에 걸쳐 모델이 이러한 경계를 존중하도록, 다국어 후속학습 정렬(alignment)을 수행하고 언어별 가드레일(guardrail) 모델을 사용하며, 지원 로케일 전반에서 원어민이 다듬은 인간 레드티밍(red teaming)을 진행한다고 설명했습니다.

결론: 새로운 Apple Intelligence의 토대

3세대 Apple 파운데이션 모델은 운영체제를 더 유용하게 만드는 새로운 Apple Intelligence 경험의 토대입니다. 여기에는 완전히 새로워진 버전의 Siri, 정교한 사진 편집 도구, Image Playground의 강력한 업데이트, 그리고 매우 표현력 있는 음성 등이 포함됩니다. 이 모든 기능은 사용자의 프라이버시를 지키기 위해 오직 온디바이스와 Private Cloud Compute 위에서만 실행됩니다.

기술적으로 보면 이번 발표의 핵심은 "제약 속의 설계" 라고 요약할 수 있습니다. 플래시 메모리에 모델을 두고 프롬프트 단위로 전문가를 선택하는 IFP 기반 희소 아키텍처, 학습을 안정화한 PT-MoE 개선, 그리고 정확도를 지키며 모델을 압축하는 QAT까지, 모두 소비자 하드웨어와 프라이버시라는 제약 안에서 최대한의 품질을 끌어내려는 시도입니다. Apple은 업데이트된 평가와 벤치마크를 담은 상세 기술 보고서를 올여름 공개하겠다고 예고했으며, 베타 기간 동안 모델을 계속 개선해 나갈 예정입니다. 온디바이스 AI에 관심 있는 개발자라면, Apple이 이러한 모델을 실제로 구동하기 위해 공개한 Apple silicon용 온디바이스 추론 스택과 PyTorch 변환 도구와 함께, Apple이 어떤 방식으로 메모리와 지연 시간이라는 현실적 한계를 다루는지 지켜볼 만한 발표입니다.

Introducing the Third Generation of Apple's Foundation Models 소개 블로그

더 읽어보기

이 글은 GPT 모델로 정리한 글을 바탕으로 한 것으로, 원문의 내용 또는 의도와 다르게 정리된 내용이 있을 수 있습니다. 관심있는 내용이시라면 원문도 함께 참고해주세요! 읽으시면서 어색하거나 잘못된 내용을 발견하시면 덧글로 알려주시기를 부탁드립니다.

파이토치 한국 사용자 모임이 정리한 이 글이 유용하셨나요? 회원으로 가입하시면 주요 글들을 이메일로 보내드립니다!
텔레그램(Telegram)이나 Slack/Discord/Teams/Dooray/GoogleChat 등으로도 새 글 알림을 받으실 수 있습니다.

아래쪽에 좋아요를 눌러주시면 새로운 소식들을 정리하고 공유하는데 힘이 됩니다~