# NeurIPS 2024에 공개한 Apple의 주요 연구 소개 **URL:** https://discuss.pytorch.kr/t/neurips-2024-apple/5745 **Category:** 읽을거리&정보공유 **Tags:** self-supervised, neurips, apple, llm-reasoning, mlx, mobileclip, neurips-2024, privacy-preserving-ml, federated-learning, 4m-21, 4m **Created:** [12월 30, 2024, 3:00오전 UTC](https://discuss.pytorch.kr/t/neurips-2024-apple/5745 "2024-12-30T03:00:03Z") **Posts on this page:** 1 **Page:** 1
### Author: ![9bow](https://discuss.pytorch.kr/user_avatar/discuss.pytorch.kr/9bow/32/16301_2.png) [@9bow](https://discuss.pytorch.kr/u/9bow) #### Post date: [12월 30, 2024, 3:00오전 UTC](https://discuss.pytorch.kr/t/neurips-2024-apple/5745/1 "2024-12-30T03:00:03Z")
[![NeurIPS 2024에 공개한 Apple의 주요 연구 소개](https://discuss.pytorch.kr/uploads/default/original/2X/8/8cc7c2e17ac9e9246a81be23cb1a5f54de8b684b.jpeg)](https://machinelearning.apple.com/research/neurips-2024) ## NeurIPS 2024에 공개한 Apple의 주요 연구 소개 지난 12월 중순에 진행된 [NeurIPS(Neural Information Processing Systems) 2024](https://neurips.cc/)는 AI와 머신러닝(Machine Learning, ML) 분야에서 가장 중요한 연례 학회 중 하나로, 캐나다 밴쿠버에서 개최됩니다. 이번 NeurIPS 2024에서 Apple은 ML과 AI의 발전을 목표로 한 연구를 통해 프라이버시 보호 기술, 멀티모달 모델 향상, LLM 성능 개선 등 다양한 주제를 발표하였습니다. 각 연구들에 대해서 간략히 살펴보시죠. ## 프라이버시 보호 머신러닝: Advancing Privacy-Preserving ML Apple은 개인정보 보호가 인간의 기본적 권리라고 믿으며, 개인정보 보호 ML 기술을 발전시키는 것을 지속적인 연구 주제로 삼고 있습니다. NeurIPS 2024에서 Apple 연구원들은 [연합 학습](https://en.wikipedia.org/wiki/Federated_learning)(FL, Federated Learning)과 관련된 두 편의 논문을 발표하였습니다. FL(Federated Learning)을 연구하는 연구원들은 새로운 아이디어를 빠르게 반복하기 위해 시뮬레이션을 통한 실험을 자주 수행합니다. Apple 연구원들은 [pfl-research: 개인 연합 학습의 연구 가속화를 위한 시뮬레이션 프레임워크](https://machinelearning.apple.com/research/pfl-research)는 연구 커뮤니티가 이 주제에 대해 더 많은 진전을 이룰 수 있도록 지원하는 빠르고 모듈식이며 사용하기 쉬운 FL 시뮬레이션용 Python 프레임워크입니다. > **[pfl-research: Simulation Framework for Accelerating Research in Private...](https://machinelearning.apple.com/research/pfl-research)** > > Federated Learning (FL) is an emerging ML training paradigm where clients own their data and collaborate to train a global model without… Apple 연구원들은 또한 개인 연합 학습을 사용하여 개인화된 빈도 히스토그램을 비공개로 계산하는 새로운 접근 방식을 설명하는 [연합 설정에서의 비공개 및 개인화된 빈도 추정](https://machinelearning.apple.com/research/private-and-personalized)을 발표하였습니다. 개인화된 단어(또는 토큰)의 빈도는 사용자 디바이스에서 키보드 입력을 위한 다음 단어 예측에 유용합니다. 대부분의 사용자는 사용 데이터가 거의 없고 사용자의 다양한 어휘, 주제, 스타일로 인해 데이터 분포가 다양하기 때문에 이 작업은 어렵습니다. 이 논문에서는 유사한 사용자 하위 집단을 발견하고 활용하는 새로운 기법을 제시하며, 이 접근 방식은 기존의 클러스터링 기반 알고리즘보다 성능이 뛰어난 것으로 나타났습니다. > **[Private and Personalized Frequency Estimation in a Federated Setting](https://machinelearning.apple.com/research/private-and-personalized)** > > Motivated by the problem of next word prediction on user devices we introduce and study the problem of personalized frequency histogram… ## 멀티모달 모델의 성능 향상: Making Multimodal Models More Capable 멀티모달 및 멀티태스크 모델은 점점 더 강력해지고 있지만, 학습 데이터의 한계로 인해 그 효율성이 저해될 수 있습니다. NeurIPS에서 Apple ML 연구원들은 이러한 한계를 극복하고 이러한 모델의 성능을 향상시킬 수 있는 새로운 방법을 제시합니다. CLIP과 같이 사전 학습된 대규모 시각 언어 모델은 잘 일반화되는 것으로 나타났지만, 사전 학습 데이터에서 시각적 개념이 제대로 표현되지 않은 세분화된 분류(예: 자동차 모델 식별)와 같은 작업에서는 여전히 어려움을 겪을 수 있습니다. NeurIPS에서 Apple ML 연구원들은 제한된 주석 데이터를 사용할 수 있을 때 CLIP을 미세 조정하기 위한 새로운 학습 프롬프트 방법을 보여주는 [CLIP의 다운스트림 일반화를 위한 집계 및 적응 자연어 프롬프트](https://machinelearning.apple.com/research/aggregate-and-adapt)를 발표할 예정입니다. 집계 및 적응형 프롬프트 임베딩(AAPE)을 사용하면 자연어 프롬프트(사람 또는 LLM에 의해 생성)에서 텍스트 지식을 추출하여 모델의 학습 데이터에서 잘 표현되지 않은 개념을 보강할 수 있습니다. 이 접근 방식은 CLIP의 다운스트림 일반화를 개선하여 이미지-텍스트 검색, 소수 샷 분류, 이미지 캡션 및 VQA를 비롯한 다양한 시각 언어 작업에서 강력한 성능을 달성합니다. > **[Aggregate-and-Adapt Natural Language Prompts for Downstream Generalization of...](https://machinelearning.apple.com/research/aggregate-and-adapt)** > > Large pretrained vision-language models like CLIP have shown promising generalization capability, but may struggle in specialized domains… ![4M-21은 특화된 단일/소수의 작업 모델에 비해 성능 저하 없이 수십 개의 매우 다양한 양식에 대해 단일 모델을 훈련하는 것을 보여줍니다. 양식은 양식별 토큰화 도구를 사용하여 개별 토큰에 매핑됩니다. 이 모델은 양식의 하위 집합에서 모든 양식을 생성할 수 있습니다.](https://discuss.pytorch.kr/uploads/default/original/2X/c/cbb2cf133adf170e4514e2a700028e2126d75a91.jpeg) _4M-21은 특화된 단일/소수의 작업 모델에 비해 성능 저하 없이 수십 개의 매우 다양한 양식에 대해 단일 모델을 훈련하는 것을 보여줍니다. 양식은 양식별 토큰화 도구를 사용하여 개별 토큰에 매핑됩니다. 이 모델은 양식의 하위 집합에서 모든 양식을 생성할 수 있습니다._ [4M](https://machinelearning.apple.com/research/massively-multimodal)과 같은 멀티모달 및 멀티태스크 기반 모델은 유망한 결과를 보여주지만, 다양한 입력을 받아들이고 다양한 작업을 수행하는 능력은 훈련된 양식과 작업에 따라 제한됩니다. NeurIPS에서 Apple ML 연구원과 EPFL의 협력자들은 [4M-21: 수십 가지 작업과 모달리티를 위한 애니투애니 비전 모델](https://machinelearning.apple.com/research/vision-model)을 발표할 예정이며, 이 발표에서는 수십 가지의 매우 다양한 모달리티를 학습하고 대규모 멀티 모달 데이터 세트와 텍스트 말뭉치에 대한 공동 학습을 수행함으로써 4M의 기능을 크게 확장하는 방법을 보여줄 예정입니다. 결과 모델은 최대 30억 개의 파라미터로 확장되며 강력한 즉시 사용 가능한 비전 성능, 조건부 및 조정 가능한 생성, 교차 모달 검색, 다중 감각 융합 기능을 제공합니다. > **[4M: Massively Multimodal Masked Modeling](https://machinelearning.apple.com/research/massively-multimodal)** > > \*=Equal Contributors > Current machine learning models for vision are often highly specialized and limited to a single modality and task. In… > **[4M-21: An Any-to-Any Vision Model for Tens of Tasks and Modalities](https://machinelearning.apple.com/research/vision-model)** > > \*Equal Contributors > > Current multimodal and multitask foundation models like 4M or UnifiedIO show promising results, but in practice their… ## 대규모 언어 모델(LLM) 사전 학습 개선: Improving LLM Pretraining LLM은 일부 Apple 서비스를 비롯한 다양한 프로덕션 애플리케이션에서 사용되며, 이러한 모델을 근본적으로 개선하면 업계 전반의 개발자와 사용자에게 상당한 영향을 미칠 수 있습니다. NeurIPS에서 Apple ML 연구원들이 발표할 연구에는 보다 효율적인 LLM 사전 학습을 위한 새로운 기술이 포함됩니다. ![그림의 각 셀은 토큰을 나타냅니다. 왼쪽: 다양한 길이의 원본 문서. 가운데: 고정된 목표 길이를 가진 시퀀스를 형성하기 위한 연결 및 청크 기준선(여기서는 = 4). 오른쪽: D1, D2, D3 버킷을 사용한 데이터 세트 분해 방법.](https://discuss.pytorch.kr/uploads/default/original/2X/c/cbd5221c8d7a08edc6bb9c39021e1d60feb57f8a.png) _그림의 각 셀은 토큰을 나타냅니다. 왼쪽: 다양한 길이의 원본 문서. 가운데: 고정된 목표 길이를 가진 시퀀스를 형성하기 위한 연결 및 청크 기준선(여기서는 = 4). 오른쪽: D1, D2, D3 버킷을 사용한 데이터 세트 분해 방법._ LLM은 일반적으로 고정 길이의 토큰 시퀀스 데이터 세트로 훈련하는데, 이는 훈련 인프라가 제한된 시퀀스 길이만 지원하는 경우가 많기 때문입니다. 이를 생성하기 위해 다양한 길이의 문서를 결합한 다음 지정된 길이의 청크로 분할합니다. 이 접근 방식에서는 문서가 무작위로 결합되기 때문에 모델은 관련 문서의 컨텍스트를 사용하는 대신 관련 없는 문서의 컨텍스트를 사용하여 다음 토큰을 예측할 수 있습니다. 이는 학습 신호가 좋지 않을 뿐만 아니라 불필요한 계산을 소모합니다. Apple 연구원들은 다양한 길이의 문서를 포함하는 데이터 세트를 동일한 길이의 시퀀스를 가진 '버킷' 또는 하위 집합의 조합으로 분해한 다음, 훈련 시점에 모든 버킷에서 동시에 샘플링된 가변 시퀀스 길이와 배치 크기를 사용하는 새로운 방법으로 이 문제를 해결하는 [데이터 세트 분해: 가변 시퀀스 길이를 가진 LLM 사전 학습](https://machinelearning.apple.com/research/dataset-decomposition)에 대한 연구를 발표합니다. 이를 통해 긴 시퀀스, 스케일에 대한 효율적인 사전 학습이 가능합니다. > **[Dataset Decomposition: Faster LLM Training with Variable Sequence Length...](https://machinelearning.apple.com/research/dataset-decomposition)** > > Large language models (LLMs) are commonly trained on datasets consisting of fixed-length token sequences. These datasets are created by… ## LLM의 추론 능력 탐구: Exploring LLMs’ Ability to Reason LLM은 여러 작업에서 그 능력이 입증되었지만, 오늘날의 모델이 어느 정도까지 추론할 수 있는지는 여전히 중요한 미해결 연구 과제로 남아 있습니다. 이러한 모델의 현재 기능과 한계를 이해하면 연구 커뮤니티가 지속적으로 개선할 수 있을 뿐만 아니라 개발자가 프로덕션 애플리케이션에서 LLM을 보다 지능적으로 활용할 수 있습니다. NeurIPS에서 Apple 연구원들은 ["How Far Can Transformers Reason? The Globality Barrier and Inductive Scratchpad"](https://machinelearning.apple.com/research/how-far-can-transformers)라는 논문에서 트랜스포머 기반 모델이 학습된 개념과 추론을 결합해야 하는 '글로벌 추론'이 필요한 작업에서 어려움을 겪는 이유를 조사합니다. 이 논문은 이러한 모델이 높은 전역성을 가진 분포를 효율적으로 학습할 수 없기 때문에 긴 연쇄(예: a⇒b 및 b⇒c에서 a⇒c를 추론)를 구성할 수 없다는 것을 보여주며, 트랜스포머가 이러한 한계를 극복할 수 있는 “귀납적 스크래치패드(Inductive Scratchpad)”라는 아이디어를 소개합니다. > **[How Far Can Transformers Reason? The Globality Barrier and Inductive Scratchpad](https://machinelearning.apple.com/research/how-far-can-transformers)** > > Can Transformers predict new syllogisms by composing established ones? More generally, what type of targets can be learned by such models… ## 자가 지도 학습(SSL) 이해: Understanding Self-Supervised Learning (SSL) 효과적이고 효율적으로 표현을 학습하는 것은 딥러닝의 기본 목표이며, 이러한 표현은 많은 다운스트림 작업에 사용될 수 있기 때문입니다. 다양한 접근 방식이 표현을 학습하는 방식에 대한 분야의 이해를 발전시킴으로써 이 분야의 연구는 궁극적으로 이러한 다운스트림 작업 전반의 성능 향상으로 이어질 수 있습니다. NeurIPS에서 Apple 연구원들은 [JEPA가 노이즈가 많은 기능을 피하는 방법]을 발표할 예정입니다: 심층 선형 자가 증류 네트워크의 암묵적 편향]([How JEPA Avoids Noisy Features: The Implicit Bias of Deep Linear Self Distillation Networks - Apple Machine Learning Research](https://machinelearning.apple.com/research/implicit-bias))을 발표하여 두 가지 주요 SSL 패러다임으로 표현을 학습하는 방법의 차이점을 살펴볼 예정입니다: 마스크드 자동 인코더(MAE)와 공동 임베딩 예측 아키텍처(JEPA)입니다. 이 연구는 두 접근 방식이 유사한 표현을 학습하는 단순화된 선형 환경에서 JEPA가 '영향력이 큰' 특징(즉, 회귀 계수가 높은 특징)을 학습하도록 편향되어 있다는 것을 보여주며, 현장에서 경험적으로 관찰되는 현상에 대한 공식적인 설명을 통해 JEPA가 세밀한 픽셀 정보보다 추상적인 특징을 우선시하는 것으로 보인다는 사실을 보여줍니다. > **[How JEPA Avoids Noisy Features: The Implicit Bias of Deep Linear Self...](https://machinelearning.apple.com/research/implicit-bias)** > > Two competing paradigms exist for self-supervised learning of data representations. Joint Embedding Predictive Architecture (JEPA) is a… ## MLX 및 MobileCLIP 데모 그 외, Apple은 NeurIPS 2024 전시장에서 MLX 프레임워크 및 MobileCLIP 데모를 진행하였습니다: **MLX 프레임워크** 는 Apple 실리콘에서 대규모 모델 학습 및 추론을 지원하는 오픈소스 프레임워크로, iPhone, iPad, Mac에서 대규모 LLM과 이미지 생성 모델의 성능을 시연하였습니다. > [@MLX: 애플 전용칩(Apple silicon: M1, M2, M3 등)을 지원하는 새로운 머신러닝 프레임워크](https://discuss.pytorch.kr/t/mlx-apple-silicon-m1-m2-m3/2993): > > MLX: 애플 전용칩을 위한 머신러닝 프레임워크 / MLX: An array framework for Apple silicon 소개 Appleapple의 ML팀에서 Apple Silicon용 머신러닝 프레임워크인 MLX를 공개하였습니다. 그것도 무려 MIT 라이선스로 공개하였습니다. hushed 공식 소개에는 MLX를 Array Framework라고 하지만, 문서를 보면 ReLU, Conv, MultiHeadAttention, Embedding 등과 같은 주요 Neural Network의 Layer들은 물론, 최적화를 위한 Optimizer나 Loss 등을 제공하고 있어, 그냥 ML/DL framework라고 불러도 될 것 같습니다. smile_cat 아래는 [공식 문서의 MLP(Multi-Layer Perceptron) 예시](https://ml-explore.github.io/mlx/build/html/examples/mlp.html)인데요, 보시면 NumPy/PyTorch스럽게 모델을 구성하고 학습/추론하는 것을 보실 수 있습니다. import mlx.core as mx im… [https://github.com/ml-explore/mlx](https://github.com/ml-explore/mlx) > **[MLX — MLX 0.31.1 documentation](https://ml-explore.github.io/mlx/build/html/index.html)** **MobileCLIP** 은 CNN과 Transformer의 하이브리드 구조를 사용한 모바일 친화적 이미지-텍스트 모델로, iPhone에서 실시간 장면 분류를 시연하였습니다. > [@Apple, OpenAI의 CLIP 모델보다 더 작고 강력한 MobileCLIP 공개](https://discuss.pytorch.kr/t/apple-openai-clip-mobileclip/3698): > > PyTorchKR​firesouth_koreathinkingspeech_balloonApple이 지난 CVPR 2024에서 공개했던 MobileCLIP의 코드와 모델 가중치를 공개했습니다. 논문도 아직 못 봤는데 코드와 가중치 공개된걸 보고 후다닥 퍼왔습니다. sweat_smile 더 작고 가벼우면서도 기존의 CLIP 모델보다 성능이 좋다고 하는데요, 함께 살펴보시죠. 논문은 곧, 나중에 살펴보겠습니다. roflMobileCLIP 소개 MobileCLIP은 OpenAI의 CLIP 모델과 같은 Image-Text 기반의 파운데이션 모델로, 지난 CVPR 2024에서 Apple이 [MobileCLIP: Fast Image-Text Models through Multi-Modal Reinforced Training](https://arxiv.org/abs/2311.17049) 논문으로 발표했습니다. Op… > **[MobileCLIP: Fast Image-Text Models through Multi-Modal Reinforced Training](https://machinelearning.apple.com/research/mobileclip)** > > \*Equal Contributors > Contrastive pretraining of image-text foundation models, such as CLIP, demonstrated excellent zero-shot performance and… ## 📜 NeurIPS 2024에 Apple이 공개한 연구 소개 블로그 > **[Apple Machine Learning Research at NeurIPS 2024](https://machinelearning.apple.com/research/neurips-2024)** > > Apple researchers are advancing the field of ML through fundamental research that improves the world’s understanding of this technology and… ## 더 읽어보기 - [Apple Intelligence: Apple의 On-Device 및 Private Cloud에서의 Foundation Model 소개](https://discuss.pytorch.kr/t/apple-intelligence-apple-on-device-private-cloud-foundation-model/4612) - [CatLIP: CLIP의 대조 학습(CL) 대비 2.7배 빠른 범주 학습(Categorical Learning) 기법에 대한 연구 (feat. Apple)](https://discuss.pytorch.kr/t/catlip-clip-cl-2-7-categorical-learning-feat-apple/4230) - [Talaria: Apple의 Apple Intelligence를 위한 On-Device 모델 성능 모니터링 및 최적화 도구](https://discuss.pytorch.kr/t/talaria-apple-apple-intelligence-on-device/4631) - [Apple, 스마트폰에서 동작하는 270M ~ 3B 규모의 작은 언어모델 OpenELM 패밀리 공개](https://discuss.pytorch.kr/t/apple-270m-3b-openelm/4204) - [Apple, 멀티모달 LLM 'MM1'에 대한 연구 결과 발표 (모델 공개X)](https://discuss.pytorch.kr/t/apple-llm-mm1-x/3772) * * * _이 글은 GPT 모델로 정리한 글을 바탕으로 한 것으로, 원문의 내용 또는 의도와 다르게 정리된 내용이 있을 수 있습니다. 관심있는 내용이시라면 원문도 함께 참고해주세요! 읽으시면서 어색하거나 잘못된 내용을 발견하시면 덧글로 알려주시기를 부탁드립니다._ 🤗 [:pytorch:파이토치 한국 사용자 모임🇰🇷](https://pytorch.kr/)이 정리한 이 글이 유용하셨나요? [회원으로 가입](https://discuss.pytorch.kr/signup)하시면 주요 글들을 이메일💌로 보내드립니다! (기본은 Weekly지만 [Daily로 변경도 가능](https://discuss.pytorch.kr/my/preferences/emails)합니다.) 🎁 아래↘쪽에 좋아요👍를 눌러주시면 새로운 소식들을 정리하고 공유하는데 힘이 됩니다~ 🤩