핵심 요약
- Randall Balestriero와 Yann LeCun의 Proving and Improving the Platonic Representation Hypothesis with JEPAs 논문은 하나의 정리를 증명했습니다. 모달리티별로 따로 학습한 JEPA가 같은 장면의 두 관측을 양성 쌍으로 쓰면 회전 하나만 다른 같은 표현을 배운다는 정리입니다. 다만 증명은 유한한 세계, 단사 렌더링, 모집단 최적해, 회전을 뺀 해의 유일성이라는 이상화된 조건에서 성립하고, 유일성은 실험에 쓴 LeJEPA 목적 함수에서는 증명되지 않았습니다.
- 같은 웹 텍스트 말뭉치(Recap-DataComp)와 같은 109M 인코더로 비교하면, 좋은 뷰 JEPA는 다음 토큰 예측이 900M 샘플에서 얻는 DINOv2 정렬 수준에 21.6M 샘플로 도달했습니다(42\times 적은 샘플).
- 9억 4천만 장 웹 이미지의 텍스트로 학습한 109M 텍스트 JEPA는 PRH 원 논문의 벤치마크(WIT-1024)에서 0.184 를 기록해 Qwen2.5-72B(0.154), Llama-3-70B(0.151)보다 높았습니다. 이 값은 시드 3개 평균이며, SIGReg 가중치는 WIT 결과를 본 뒤 고정했습니다. 이 텍스트의 대부분은 CLIP ViT-L/14를 쓰는 LLaVA 캡셔너가 쓴 것입니다. 저자들도 이 비교가 해당 텍스트에 의존한다고 밝힙니다.
- 학습 코드, 345개 실행의 인자, 정리의 수치 검증 테스트가 prh-proof 저장소에 MIT 라이선스로 공개되어 있고, 회전 하나로 만든 이미지 캡셔너는 Hugging Face Space 데모로 써 볼 수 있습니다.
플라톤적 표현 정리(Platonic Representation Theorem) 소개
이 논문은 이미지와 텍스트처럼 서로 다른 모달리티로 따로 학습한 모델이 언제 같은 표현을 배우는지를 수학적으로 답하고, 그 답을 학습 방법으로 바꾼 연구입니다. 2024년 Huh 등이 제안한 플라톤적 표현 가설(PRH, Platonic Representation Hypothesis)은 비전 모델과 언어 모델의 표현이 규모가 커질수록 점점 비슷해진다는 관찰에서 출발했습니다. 저자들은 이 가설을 JEPA(Joint-Embedding Predictive Architecture)에 대한 정리로 증명했습니다. 그리고 그 정리가 가리키는 대로 학습한 작은 텍스트 인코더가 훨씬 큰 언어 모델보다 비전 모델과 더 잘 정렬된다는 실험 결과를 함께 내놓았습니다. 저자는 Brown University와 AMI Labs의 Randall Balestriero, New York University와 AMI Labs의 Yann LeCun입니다.
관찰은 있었지만 증명과 처방은 없었다
서로 다른 관찰자가 같은 세계를 보고 같은 그림을 얻는가 하는 질문은 오래되었고, 딥러닝 시대에 다시 구체적인 형태로 나타났습니다. 서로 다른 언어로 따로 학습한 단어 임베딩(Embedding)은 선형 변환, 심지어 회전 하나로 서로 옮겨지며, 번역된 쌍 없이도 그 회전을 찾아 단어와 문장을 번역할 수 있었습니다. Huh 등은 이를 모달리티 사이로 넓혀, 비전 모델과 언어 모델의 표현이 규모가 커질수록 비슷해진다는 측정을 보고하고 이를 PRH라고 불렀습니다.
하지만 PRH는 여전히 관찰입니다. Huh 등이 제시한 근거는 공동 출현하는 사건의 점별 상호정보량(PMI, Pointwise Mutual Information)으로 수렴하는 이상화된 대조 학습기였습니다. 저자들이 아는 가장 가까운 증명도 SGD로 학습한 깊은 선형 네트워크에 한정됩니다. 실제로 쓰이는 자기 지도 학습(Self-Supervised Learning) 목적 함수, 특히 JEPA에 대해서는 증명도, 가설이 언제 성립하는지에 대한 예측도 없었습니다. 그래서 정렬을 높이는 주된 방법은 모델과 데이터를 키우는 것이었습니다.
핵심 아이디어: 무엇을 같은 것으로 보느냐가 표현을 정한다
저자들이 던진 질문은 "서로 다른 모달리티로 따로 학습한 모델이 언제 같은 표현을 배운다고 증명할 수 있는가" 입니다. 답의 출발점은 기존 결과 하나입니다. 2차 모멘트로 붕괴를 막는 JEPA는 양성 쌍(Positive Pair)이 세계 위에 그리는 그래프의 스펙트럼 임베딩(Spectral Embedding) 을 배웁니다. 여기서 양성 쌍은 모델에게 "서로 같은 것의 두 모습"이라고 알려 주는 입력 쌍입니다.
이미지와 텍스트가 같은 세계를 그린다고 해 봅시다. 두 모달리티의 양성 쌍이 같은 세계 상태들을 잇는다면 두 학습 문제는 좌표계만 다른 하나의 문제가 됩니다. 해도 회전 하나를 빼면 같아집니다. 저자들은 여기서 두 종류의 JEPA를 나눕니다. 한 장면을 두 번 관측한 것(사진 두 장, 캡션 두 개)을 양성 쌍으로 쓰는 좋은 뷰(Good View) JEPA와, 관측 하나를 변형한 것(한 사진의 두 크롭, 한 문장의 두 마스킹)을 쓰는 나쁜 뷰(Bad View) JEPA입니다. 좋은 뷰 JEPA는 세계에 속한 표현을, 나쁜 뷰 JEPA는 자기 모달리티에 속한 표현을 배운다는 것이 이 논문의 주장입니다.
논문 그림 1 오른쪽이 이 연구의 결론을 요약합니다. 같은 웹 텍스트 말뭉치로 학습했을 때 좋은 뷰 JEPA는 다음 토큰 예측보다 훨씬 적은 샘플로 같은 정렬에 도달합니다. 또 PRH 벤치마크에서 109M 파라미터 모델이 15~18T 토큰으로 학습한 70B급 언어 모델을 넘어섭니다. 이 결과가 어디서 나오는지 이론부터 차례로 살펴보겠습니다.
이론: 양성 쌍이 같으면 표현도 같다
세계, 모달리티, 양성 쌍
저자들은 먼저 무대를 정합니다. 세계는 확률 p(z) > 0 을 갖는 유한한 상태 집합 \mathcal{Z} 이고, M \geq 2 개의 모달리티가 이 세계를 관측합니다. 모달리티 m 은 상태 z 를 단사(injective) 렌더링(Rendering) x = g_m(z) 로 봅니다. 사진의 픽셀이나 캡션의 토큰이 렌더링의 예입니다. 모달리티 m 의 JEPA는 대칭인 양성 쌍 분포 \pi_m 에서 뽑은 상태 쌍 (z, z') 의 렌더링을 양성 쌍으로 받아, 인코더 f 가 다음 손실을 최소화하도록 학습합니다.
\ell 은 두 임베딩을 비교하는 예측 항이고, \Omega 는 임베딩 분포에만 의존하는 붕괴 방지 항(Anti-Collapse Term) 입니다. 스펙트럼 대조 학습, 백색화(Whitening)한 평균 제곱 오차(MSE), 백색화 극한의 VICReg와 Barlow Twins, 그리고 LeJEPA의 SIGReg(임베딩을 등방성 가우시안으로 미는 정규화)가 이 형태에 들어갑니다. 한 가지 중요한 제한이 있습니다. 이 분석에서 예측기는 항등 함수입니다. 즉 \ell 이 두 임베딩을 직접 비교합니다. 월드 모델로 쓰는 JEPA처럼 학습된 예측기가 행동을 조건으로 한 임베딩에서 다른 임베딩을 예측하는 경우는 이 분석에 포함되지 않습니다.
핵심 관찰은 간단합니다. 단사 렌더링은 좌표만 바꿉니다. \mathcal{L}_m(f) = \mathcal{L}_{\pi_m}(f \circ g_m) 이 성립하므로, 모달리티의 손실은 세계 상태 위에 쓴 같은 목적 함수 \mathcal{L}_\pi 를 다른 좌표로 적은 것입니다.
정리 1: 양성 쌍 분포를 공유하면 회전 하나 차이
정리 1(플라톤적 표현 정리) 은 M 개 모달리티가 같은 양성 쌍 분포 \pi_1 = \dots = \pi_M = \pi 를 공유하고 \mathcal{L}_\pi 의 최소화 해가 회전을 빼면 유일할 때, 세계의 임베딩 h^\star: \mathcal{Z} \to \mathbb{R}^k 하나가 존재해 모든 모달리티의 최적 인코더가 다음을 만족한다고 말합니다.
따라서 어느 두 모달리티든 회전 \boldsymbol{Q}_m \boldsymbol{Q}_{m'}^\top 하나만큼만 다릅니다. 서로의 모달리티를 한 번도 보지 않은 인코더도, 같은 세계를 묘사한다는 것 말고는 아무 관계가 없는 렌더링에서 같은 임베딩을 배웁니다. 이 논증에는 이미지와 텍스트에만 해당하는 부분이 없으므로 영상, 오디오, 행동처럼 같은 세계를 관측하는 어떤 모달리티에도, 몇 개의 모달리티에도 적용됩니다.
증명 자체는 짧습니다. 모든 f_m^\star \circ g_m 이 \mathcal{L}_\pi 의 최소화 해이기 때문입니다. 무게는 "회전을 빼면 유일하다"는 가정에 실립니다. 저자들은 이 가정이 2차 붕괴 방지 항을 쓰는 JEPA에서 성립함을 명제 1로 보입니다. \ell(a, b) = \|a - b\|^2 이고 \Omega 가 임베딩을 백색화(\mathbb{E}_p h = 0, \mathbb{E}_p h h^\top = \boldsymbol{I}_k )하면, 양성 쌍이 그리는 그래프의 정규화 인접 행렬 \boldsymbol{K}_\pi = \boldsymbol{D}^{-1/2} \boldsymbol{\Pi} \boldsymbol{D}^{-1/2} 의 고유값 1 = \mu_0 \geq \mu_1 \geq \dots 에 대해 다음이 성립합니다.
그리고 \mu_k > \mu_{k+1} 인 고유값 간격(Spectral Gap)이 있으면 최소화 해는 정확히 스펙트럼 임베딩 \boldsymbol{\Phi}_\pi 의 회전들입니다. 즉 이런 JEPA는 라플라시안 고유 사상(Laplacian Eigenmaps)의 모집단 버전을 배웁니다. 다만 LeJEPA의 SIGReg처럼 분포 전체를 맞추는 제약에서의 유일성은 증명하지 못했고, 저자들은 이를 가정으로 남겼다고 밝힙니다.
양성 쌍이 다를 때: 커널 차이가 어긋남의 상한
현실에서 모달리티마다 양성 쌍이 정확히 같은 상태 쌍을 잇지는 않습니다. 정리 2는 이 경우 두 스펙트럼 임베딩이 최적 회전 뒤에도 얼마나 어긋나는지를 위에서 묶습니다. 두 양성 쌍 분포가 같은 주변 분포 p 를 갖고, \delta = \mu_k - \mu_{k+1} 을 \boldsymbol{K}_{\pi_2} 의 고유값 간격이라 하면 다음과 같습니다.
중요한 양은 두 가지뿐입니다. 두 모달리티의 양성 쌍이 그리는 그래프가 얼마나 다른지, 그리고 스펙트럼 위쪽이 얼마나 벌어져 있는지입니다. 같은 논증을 고유벡터 블록에 적용하면, 큰 간격으로 분리된 방향은 정렬이 보호되고 스펙트럼 끝쪽 방향은 정렬되지 않아도 된다는 예측이 나옵니다. 저자들은 무작위로 만든 유한 세계 300개에서 이 상한을 검증했고, 모든 세계에서 실제 오차가 상한 아래였으며 가장 큰 경우도 상한의 18\% 였습니다.
정리는 두 임베딩이 회전 하나만큼 다르다고 말하지만, 어떤 회전인지는 알려 주지 않습니다. 명제 2에 따르면 백색화된 임베딩은 어떻게 회전해도 백색화된 상태이므로, 짝이 없는 데이터의 1차와 2차 모멘트로는 회전을 찾을 수 없습니다. 반면 임베딩이 \mathbb{R}^k 를 생성하는 k 개의 짝지어진 세계 상태가 있으면 직교 프로크루스테스(Orthogonal Procrustes) 문제로 회전이 유일하게 정해집니다. 실험에서 이미지-캡션 쌍으로 직접 맞추는 것은 이 사상 하나뿐입니다. 다만 DINOv2(768차원)와 텍스트 JEPA(384차원)처럼 차원이 다르면 직교 행을 가진 선형 사상을 맞추는데, 이 경우는 이론이 다루지 않습니다.
좋은 뷰와 나쁜 뷰: 방해 요소가 차원을 먹는다
단사 렌더링 모델에서는 한 상태에 관측이 하나뿐이라 좋은 뷰와 나쁜 뷰를 구분할 수 없습니다. 그래서 저자들은 각 관측에 상태와 독립인 방해 요소(Nuisance) \nu 를 덧붙여 x = g_m(z, \nu) 로 렌더링합니다. 캡션이 우연히 고른 단어, 사진을 찍은 시점이 방해 요소입니다. 카메라로 움직이는 월드 모델에게 시점은 추적해야 할 정보지만, 어떤 캡션도 시점을 정하지 않으므로 모달리티 사이에서는 어떤 회전으로도 맞출 수 없습니다. 방해 요소는 정렬의 관점에서만 방해 요소입니다.
정리 3은 그 비용을 수치로 적습니다. 인코더 임베딩 가운데 세계 상태가 설명하는 부분의 비율을 장면 설명 비율(Scene-Explained Fraction) \rho(f) 라고 하면, 독립 방해 요소를 가진 두 관측 사이의 최적 회전 오차는 다음보다 작을 수 없습니다.
인코더가 자기 모달리티의 방해 요소에 쓰는 방향은 상대 모달리티가 무엇을 배우든 정렬에서 잃습니다. 명제 3은 어떤 JEPA가 그런 방향을 쓰는지 답합니다. 고유값 간격이 있으면(\mu_k > \max(\mu_{k+1}, 0) ) 좋은 뷰 JEPA는 세계 상태만의 함수를 배웁니다(\rho = 1 ). 그래서 세계 커널이 같은 모달리티들은 관측이 여러 개여도 모든 관측에서 회전 하나로 일치합니다. 나쁜 뷰 JEPA가 상태와 방해 요소를 독립적으로 변형한다고 가정하면, 변형이 세계의 k 번째 방향보다 방해 요소를 더 많이 보존하면(\beta_1 > \alpha_k ) 방해 요소에 r \geq 1 개 방향을 쓰고, 다른 모달리티와의 정렬 오차가 적어도 2r 이 됩니다. 한 캡션의 일부 구간은 그 캡션의 단어 선택을, 한 사진의 크롭은 그 사진의 시점과 조명을 보존하기 때문입니다.
같은 정의로 보면 이 논문의 이미지 인코더와 DINOv2도 나쁜 뷰 JEPA입니다. 양성 쌍이 한 사진의 크롭이기 때문입니다. 그래서 실험 대부분은 이미지 쪽을 고정된 DINOv2로 두고 텍스트 쪽을 바꿉니다. Huh 등이 PRH를 측정할 때 쓴 비전 모델이 DINOv2라 그 논문의 언어 모델 수치와 바로 비교할 수 있다는 이유도 있습니다. 이미지 쪽 좋은 뷰는 한 장면을 여러 번 관측한 데이터(예: 영상 프레임)가 필요해, 규모를 키우는 일은 향후 과제로 남았습니다.
뷰와 데이터가 함께 세계 커널을 정한다
현실의 나쁜 뷰는 상태와 방해 요소를 깔끔하게 나눠 변형하지 않습니다. 같은 장면의 두 캡션을 마스킹하면 같은 단어가 남을 수 있고, 그런 겹침이 서로 다른 관측을 잇습니다. 정리 4는 양성 쌍의 법칙이 어떻든(좋은 뷰, 변형, 혼합) 그것이 유도하는 세계 커널(World Kernel) \pi_{W_m} 을 정의하고, 스펙트럼 JEPA의 해가 그 커널의 스펙트럼 임베딩에서 \tau_m 이내에 있다는 것을 보입니다. \tau_m 은 양성 쌍이 세계 상태와 방해 요소를 섞는 정도에 따라 커지고, 섞지 않으면 0입니다. 좋은 뷰는 설계상 세계 자신의 커널을 유도하지만, 나쁜 뷰 JEPA는 자기 커널을 고르지 못합니다. 커널은 데이터가 각 상태와 이웃을 얼마나 촘촘히 덮느냐에 달려 있습니다.
이 결과는 데이터 양과 종류에 대한 예측으로 이어집니다. 약한 나쁜 뷰는 겹침이 적어 한 장면의 관측들을 잇는 데 촘촘한 데이터가 필요하고, 너무 강한 나쁜 뷰는 장면 경계를 넘어 섞여 데이터를 아무리 늘려도 정렬에 상한이 생깁니다. 좋은 뷰는 한 단계로 관련 상태의 모든 관측을 잇기 때문에 상태당 샘플 하나로도 정확히 정렬됩니다. 저자들은 합성 세계 실험으로 이 상충 관계를 그려 확인했습니다.
다음 토큰 예측은 나쁜 뷰 JEPA다
언어 모델은 PRH 연구에서 보통 텍스트 쪽을 맡습니다. 명제 4는 선형 소프트맥스 헤드를 쓰는 다음 토큰 예측(Next-Token Prediction) 손실을 다음처럼 나눕니다.
문맥 인코더 h, 목표 인코더 y \mapsto w_y, 내적 예측으로 보면 JEPA의 구조이고, 양성 쌍은 한 문서 안의 접두부와 그 뒤의 이어짐입니다. 로그 분배 함수가 붕괴 방지 항 역할을 합니다. 따라서 다음 토큰 예측의 커널은 세계 상태가 아니라 공유된 문구로 텍스트를 잇습니다. 접두부와 이어짐은 같은 문서의 방해 요소(저자의 문체와 단어 선택)를 공유하므로, 다음 토큰 예측도 방해 요소에 방향을 쓰고 좋은 뷰 JEPA보다 비전과 덜 정렬되리라고 예측할 수 있습니다.
저자들은 이 예측이 따름정리가 아니라는 점을 분명히 합니다. 다음 토큰 예측은 스펙트럼 JEPA가 아니고, 최적해에서 \langle h(c), w_v \rangle = \log p(v \mid c) + b(c) 가 성립해도 표현은 회전이 아니라 가역 선형 변환 \mathrm{GL}(k) 까지만 정해집니다. 저자들은 같은 토큰이 뒤따르는 문맥들이 그 토큰의 출력 벡터 주위로 모이는 현상이 문맥들 사이에 아주 약한 양성 쌍을 만든다고 해석합니다. 한 장면의 묘사들을 이으려면 공유된 이어짐의 긴 사슬, 즉 매우 촘촘한 데이터가 필요하고, 기능어처럼 빈번한 토큰은 장면을 넘어 문맥을 잇습니다. 저자들은 이를 언어 모델이 규모를 통해서만 비전과 정렬되는 이유에 대한 자신들의 해석이라고 표현하고, 실험으로 검증합니다.
실험 설계
저자들은 하나의 단순한 레시피를 고정했습니다. 이미지 인코더와 텍스트 인코더를 따로 학습하고, 둘 다 같은 LeJEPA 목적 함수(두 전역 뷰 평균에 대한 불변성 + SIGReg, \lambda = 0.02 ), 같은 프로젝터, 옵티마이저, 스케줄을 stable-pretraining 라이브러리로 씁니다. 어느 인코더도 다른 모달리티를 보지 않습니다.
- 데이터: Flickr30k(Karpathy 분할), 학습 이미지 29k장, 이미지당 캡션 5개
- 이미지 인코더: ViT-S/16, 전역 크롭 2개(224^2 )와 지역 크롭 6개(96^2 )
- 텍스트 인코더: 폭 384, 12층 BERT(33M, BERT-S)를 처음부터 학습. 양성 쌍만 다른 세 변형을 비교합니다.
- 마스킹 구간(나쁜 뷰 JEPA): 한 캡션에서 무작위 연속 구간 8개를 잘라내고 토큰 15\% 마스킹
- 캡션 뷰(좋은 뷰 JEPA): 8개 뷰를 같은 이미지의 서로 다른 캡션에서 뽑은 뒤 같은 방식으로 잘라내고 마스킹
- 다음 토큰 예측: 같은 BERT를 인과 마스크로 바꾸고 소프트맥스 헤드를 묶어 학습, 대조군으로 같은 이미지의 캡션 두 개를 이어 붙인 입력에서도 학습
평가는 두 가지 지표를 씁니다. 상호 10-최근접 이웃(Mutual 10-NN) 은 두 공간에서 각 샘플의 10-최근접 이웃 집합이 얼마나 겹치는지를 아무것도 맞추지 않고 잽니다(우연 수준 0.01 ). 회전 하나로 같다는 주장은 직접 시험합니다. 검증 쌍으로 직교 사상 하나를 맞추고, 테스트 캡션 1,000개 가운데 이미지에서 캡션을 찾는 R@1과 R@5를 봅니다(우연 수준 0.1\% ). 따로 밝히지 않으면 모든 비교는 시드 3개의 평균입니다.
실험 결과
Flickr: 좋은 뷰가 모든 지표에서 앞선다
같은 캡션, 같은 인코더 구조에서 양성 쌍만 바꾼 결과는 다음과 같습니다. 상대 이미지 인코더는 DINOv2가 아니라 Flickr 2만 9천 장으로 처음부터 따로 학습한 이미지 JEPA(ViT-S)입니다(에포크 199, 시드 3개 평균).
| 텍스트 인코더 | Mutual 10-NN | R@1 | R@5 |
|---|---|---|---|
| 좋은 뷰 JEPA | 0.062 | 0.044 | 0.133 |
| 나쁜 뷰 JEPA | 0.047 | 0.027 | 0.095 |
| 다음 토큰 예측 | 0.042 | 0.021 | 0.077 |
| 다음 토큰 예측, 캡션 쌍 입력 | 0.043 | 0.023 | 0.083 |
| 무작위 초기화 | 0.010 | 0.001 | 0.011 |
좋은 뷰 JEPA는 회전 하나로 테스트 이미지의 4.4\% 에서 정답 캡션을 첫 번째로 찾았고, 이는 우연 수준의 44배입니다. 이 순위는 모든 시드에서 유지되었고 격차는 시드 간 편차의 몇 배였습니다. 다음 토큰 예측에 같은 이미지의 캡션 두 개를 이어 붙여 넣은 대조군은 거의 움직이지 않았습니다(R@1 0.021 \to 0.023 ). 같은 정보도 JEPA의 뷰로 쓸 때와 다음 토큰 예측의 입력으로 쓸 때 효과가 다르다는 결과입니다.
비교의 공정성에 대해서도 저자들이 답했습니다. 다음 토큰 예측은 에포크마다 이미지당 캡션 하나를 읽어 JEPA보다 스텝당 토큰을 적게 봅니다. 하지만 검증 손실은 에포크 29에서 가장 낮고 이후 올라갑니다. 그래서 더 오래 학습해도 격차는 줄지 않는다는 것이 저자들의 설명입니다.
저자들은 정리 3의 방해 요소 메커니즘도 직접 측정했습니다. Flickr의 각 이미지는 캡션 5개, 즉 방해 요소 5개를 가진 세계 상태입니다. 상위 32개 주성분 방향에서 장면 설명 비율은 좋은 뷰 JEPA 0.804, 나쁜 뷰 JEPA 0.655, 다음 토큰 예측 0.608 이었고, 정리 3이 주는 DINOv2와의 최적 회전 오차 하한은 각각 12.6, 22.1, 25.1이었습니다. 실제 오차(33.5, 39.4, 40.3)는 하한을 지켰고 순서도 같았습니다. 나쁜 뷰와 다음 토큰 예측이 특정 캡션의 문구에 임베딩을 더 많이 쓴다는 정리의 예측과 맞는 측정입니다.
어떤 설정이 중요한가: 잘라내기
저자들은 좋은 뷰 레시피의 설정을 하나씩 바꾸며 고정된 DINOv2와의 R@1을 쟀습니다. 대부분의 설정은 시드 3개이고, 마지막 에포크 값이며, 테스트 쌍으로 고르지 않았습니다. 붕괴하지 않은 모든 변형이 0.18 ~ 0.28 사이에 들었습니다. 이는 같은 레시피를 쓴 나쁜 뷰 JEPA(0.13 )와 다음 토큰 예측(0.12 )보다 크게 높은 값입니다.
가장 중요한 설정은 잘라내기(Trimming) 였습니다. 캡션 전체를 뷰로 쓰면 정렬의 4분의 1을 잃었습니다(0.185 대 0.246 ). 잘라내기가 한 장면의 두 묘사에서 공통 내용만 남기기 때문입니다. 마스킹 비율, 뷰 개수, 배치 크기, 폭, 스케줄은 평균을 최대 0.016 움직였고, 이는 기본 설정 자체의 시드 편차(0.230 ~ 0.260 )와 비슷합니다.
안정성은 별개 문제였습니다. 기울기 클리핑(Gradient Clipping)이 없으면 기본 SIGReg 가중치로 돌린 36개 실행 중 3개가 200 에포크 가운데 20~60 에포크 사이에 갑자기 붕괴했습니다. 클리핑 없이 시험한 다른 SIGReg 가중치는 모두 붕괴했습니다. 클리핑을 넣으면 대부분 안정됐지만, 더 큰 학습률과 \lambda = 0.05 는 여전히 붕괴했습니다. 저자들은 같은 세계 상태의 서로 다른 관측에서 뽑고, 각각 잘라내고(이미지는 크롭), 가볍게 마스킹한 뷰를 기울기 클리핑과 함께 쓰는 것을 출발점으로 권합니다.
영상: 양쪽 모두 좋은 뷰일 때 Mutual 10-NN이 가장 높다
이미지 쪽 예측을 시험하려면 한 장면을 두 모달리티 모두에서 여러 번 관측한 데이터가 필요하고, 영상이 그런 데이터입니다. MSR-VTT(학습 클립 7k개, 클립당 캡션 20개)에서 이미지 JEPA는 한 클립의 서로 다른 프레임(좋은 뷰) 또는 한 프레임의 크롭(나쁜 뷰)으로, 텍스트 JEPA는 서로 다른 캡션 또는 한 캡션의 구간으로 학습했습니다. Mutual 10-NN은 양쪽 모두 좋은 뷰일 때 0.067, 텍스트만 좋은 뷰일 때 0.059, 이미지만 좋은 뷰일 때 0.043, 둘 다 나쁜 뷰일 때 0.039 였고, 모든 시드에서 같은 순서였습니다. 효과는 텍스트 쪽이 훨씬 크고, 이미지 쪽 효과는 작아서 R@5에서는 순서가 뒤집혔습니다. 반대로 크롭을 양성 쌍으로 쓰는 DINOv2는 프레임으로 학습한 이미지 JEPA보다 크롭으로 학습한 이미지 JEPA와 더 잘 정렬되었습니다(0.144 대 0.132 ). 정렬이 양성 쌍의 일치를 따라간다는 정리 2의 예측과 맞습니다.
웹 텍스트로 키우면: 42배 적은 샘플
다음으로 저자들은 텍스트 쪽을 캡션 도메인 밖으로 넓혔습니다. Recap-DataComp 웹 이미지마다 붙은 alt-text 하나와 이미지 캡셔너(LLaMA-3-8B 기반 LLaVA)가 쓴 재캡션 두 개, 합쳐서 세 텍스트를 한 이미지의 뷰로 씁니다. 텍스트 인코더는 이미지 자체를 보지 않습니다.
평가는 PRH 원 논문의 WIT-1024 벤치마크로 하며, 어느 모델도 이 데이터로 학습하지 않았습니다. 33M 좋은 뷰 JEPA의 DINOv2 ViT-B 정렬은 Flickr 캡션으로 학습했을 때 0.034 였습니다. 216만, 1천만, 5천만 장의 텍스트로 학습하자 0.108, 0.111, 0.125 로 올랐습니다. 5천만 장에서 이 33M 인코더는 Qwen2.5-3B(0.125 )와 Qwen2.5-7B(0.118 )와 같은 수준이었습니다. 부록의 신뢰 구간을 보면 이 언어 모델 비교는 노이즈 범위 안입니다. 반면 같은 텍스트에서 좋은 뷰와 다른 두 목적 함수의 차이는 노이즈 범위를 크게 벗어납니다.
같은 109M 인코더와 같은 말뭉치로 비교하면, 좋은 뷰 JEPA는 21.6M 샘플(216만 장의 텍스트)에서 WIT 0.109 에 도달했고, 다음 토큰 예측은 900M 샘플(9억 4천만 장의 텍스트)에서 0.111 에 도달했습니다. 샘플로 42\times, 텍스트 토큰으로 14\times (좋은 뷰 샘플 하나가 텍스트 세 개를 읽으므로), 고유 이미지 수로 435\times 적은 양입니다. 두 실행은 규모에 맞춘 서로 다른 레시피(학습률 10^{-4} 와 배치 256 대 학습률 2 \cdot 10^{-4} 와 배치 2,048)를 썼습니다. 저자들은 다음 토큰 예측의 이른 체크포인트는 채점하지 않았다고 밝혔으므로, 다음 토큰 예측이 900M보다 적은 샘플에서 같은 값에 도달했을 가능성은 이 비교로 배제되지 않습니다.
109M 텍스트 JEPA와 72B 언어 모델
데이터와 모델을 함께 키우면 그림이 달라집니다. 저자들은 109M BERT-B 좋은 뷰 JEPA를 Recap-DataComp 9억 4천만 장 전체의 텍스트에서 900M 샘플로 학습했습니다. 대조군인 다음 토큰 예측과 나쁜 뷰 JEPA(한 텍스트의 마스킹 사본 두 개)는 같은 인코더, 같은 텍스트, 같은 샘플 수로 학습했습니다.
| 텍스트 인코더 | WIT, DINOv2-B 10-NN | WIT, DINOv2-B CKA | WIT, CLIP ViT-H 10-NN | COCO, DINOv2-B 10-NN | Flickr R@1 |
|---|---|---|---|---|---|
| 좋은 뷰 JEPA (109M) | 0.184 | 0.507 | 0.230 | 0.161 | 0.478 |
| 다음 토큰 예측 (109M) | 0.111 | - | 0.146 | - | 0.335 |
| 나쁜 뷰 JEPA (109M) | 0.088 | - | 0.116 | - | 0.318 |
| Qwen2.5-72B | 0.154 | 0.418 | 0.210 | 0.108 | - |
| Llama-3-70B | 0.151 | 0.380 | 0.206 | 0.113 | - |
| CLIP B/32 텍스트 인코더 | 0.124 | 0.339 | 0.159 | 0.132 | 0.489 |
| all-mpnet-base-v2 | 0.118 | 0.390 | 0.159 | 0.156 | 0.481 |
PRH 원 논문의 벤치마크에서 좋은 뷰 JEPA는 Qwen2.5 0.5B~72B, Llama-3-8B와 70B, Mistral-7B 전부보다 높았습니다. 모든 DINOv2 크기, 선형 중심 커널 정렬(CKA, Centered Kernel Alignment) 지표, 5배 큰 COCO 벤치마크에서도 앞섰습니다. Huh 등에 따르면 언어 모델은 CLIP 이미지 인코더와 가장 잘 정렬되는데, CLIP ViT-H/14 기준에서도 좋은 뷰 JEPA가 Qwen2.5-72B와 Llama-3-70B보다 높았습니다.
MAE와 I-JEPA 이미지 인코더 기준으로도 함께 잰 언어 모델 3개(Qwen2.5-0.5B, Qwen2.5-7B, Mistral-7B)보다 높았습니다. 다만 Flickr 캡션 검색 R@1은 이미지-텍스트 쌍 4억 개로 학습한 CLIP 텍스트 인코더(0.489 )와 문장 쌍 10억 개로 학습한 all-mpnet-base-v2(0.481 )가 조금 더 높습니다. CLIP 텍스트 인코더는 DINOv2가 아니라 CLIP 자신의 이미지 인코더와 맞도록 학습된 모델입니다. 따라서 이 표의 비교는 독립적으로 학습한 비전 모델과의 일치를 잰 것입니다.
저자들이 직접 단 단서도 함께 봐야 합니다.
- SIGReg 가중치를 WIT로 골랐습니다. 9억 4천만 장 규모에서 유효 SIGReg 가중치를 두 배로 둔 네 번째 시드는 WIT 0.121 에 그쳤고, 저자들은 이 결과를 본 뒤 나머지 실행에 첫 시드의 가중치를 썼습니다. 네 시드를 모두 평균해도 0.168 로 모든 언어 모델보다 높지만, CLIP 이미지 인코더 기준으로는 네 시드 평균이 최고 언어 모델과 같은 수준입니다.
- 텍스트의 출처가 이미지-텍스트 학습을 거쳤습니다. Recap-DataComp 텍스트 셋 중 둘은 CLIP ViT-L/14로 이미지를 보는 LLaVA가 쓴 재캡션입니다. 216만 장 규모에서 이미지 캡셔너 없이 alt-text와 텍스트 전용 언어 모델(Qwen2.5-7B-Instruct)이 alt-text만 보고 쓴 바꿔 쓰기를 좋은 뷰로 쓰면 WIT가 0.060 으로, 재캡션을 쓴 0.107 보다 낮습니다. 그래서 저자들은 언어 모델 및 CLIP 텍스트 인코더와의 대규모 비교는 이 텍스트에 의존한다고 정리합니다. 같은 텍스트 위에서 뷰끼리 비교한 결과는 그렇지 않습니다. 바꿔 쓰기 조건에서도 좋은 뷰는 같은 alt-text의 나쁜 뷰보다 높았습니다(0.060 대 0.055, Flickr R@1 0.233 대 0.180 ).
- 평가 데이터의 일부가 학습 데이터에 있습니다. WIT 캡션 1,024개 중 적어도 43개가 Recap-DataComp alt-text에 있었지만, 이를 빼도 확인한 9개 텍스트 모델 중 어느 것도 0.002 넘게 바뀌지 않았습니다.
그럼에도 이 109M 모델은 픽셀을 한 번도 보지 않았습니다. 저자들은 116B 텍스트 토큰을 읽은 109M 인코더가 15~18T 토큰으로 학습한 최대 660배 큰 모델을 넘었다는 점에서, 정렬의 관점에서는 다음 토큰 예측이 규모를 비효율적으로 쓴다고 결론짓습니다.
정렬에도 스케일링 법칙이 있다
저자들은 정렬도 예측 가능한지 시험했습니다. BERT-S 레시피 하나로, 각 학습 항목이 확률 q 로 좋은 뷰(같은 이미지의 두 텍스트)를, 나머지 확률로 나쁜 뷰(한 텍스트의 두 변형)를 쓰고, N 장 이미지의 텍스트에서 M 샘플을 학습합니다. 이 실험의 스케일링 법칙(Scaling Law)은 \log M 과 함께 오르는 나쁜 뷰 바닥에 좋은 뷰 항을 더한 형태입니다.
80M 샘플까지의 격자 45칸에 맞춘 이 법칙의 평균 제곱근 오차(RMSE)는 0.007 이었습니다. 이어서 저자들은 1,020만 장 이미지에서 무작위 (q, M) 85개 실행(M 은 3M~133M)의 Flickr R@1을 학습 전에 예측해 등록했습니다. 학습 뒤 RMSE는 0.0093 이었습니다. 같은 실행을 다른 시드로 두 번 돌렸을 때의 차이가 0.0096 이므로, 처음 보는 실행을 시드를 바꿔 다시 돌린 것만큼 정확히 예측한 셈입니다.
이 법칙의 한계도 저자들이 직접 보고합니다. 가장 긴 적합 실행의 4배인 320M 샘플(이미지 1,020만 장을 31번 반복)에서는 좋은 뷰 실행을 과대 예측했습니다(q = 1 에서 실제 0.418, 예측 0.455 ). 반복 데이터를 다루는 항이 없기 때문입니다. 지수도 잘 식별되지 않아, 등정렬선의 기울기가 적합 범위에 따라 q \propto M^{-0.57} 에서 M^{-0.30} 으로 바뀌었습니다. 저자들은 이 법칙이 레시피 하나의 경험적 요약이지 정리에서 따라 나온 결과가 아니라고 밝힙니다.
응용: 회전 하나로 이어 붙이기
표현이 회전 하나만큼만 다르면, 따로 학습한 인코더를 조립할 수 있습니다. 저자들은 두 가지 쓰임을 보였습니다.
이미지-캡션 쌍으로 학습한 네트워크가 없는 캡셔너
캡션 디코더는 텍스트만으로 학습합니다. 인과 트랜스포머가 고정된 좋은 뷰 JEPA의 캡션 임베딩에서 원래 캡션을 복원하도록 배웁니다. 이때 정렬 오차를 견디도록 임베딩에 가우시안 노이즈를 더합니다. 이미지를 캡션할 때는 고정된 DINOv2로 이미지를 임베딩하고 회전을 적용한 뒤 디코딩합니다. 이미지-캡션 쌍에 맞춘 부분은 회전 하나뿐이고, 쌍으로 학습한 네트워크는 없습니다.
노이즈 크기를 튜닝하지 않고 정렬 오차로부터 계산했다는 점이 이 캡셔너의 특징입니다. 회전 뒤 이미지와 그 캡션의 평균 코사인은 c \approx 0.3 입니다. 임베딩 노름의 \sigma 배 크기의 노이즈를 더하면 원래 임베딩과의 기대 코사인은 (1 + \sigma^2)^{-1/2} 입니다. 둘을 맞추면 \sigma = (c^{-2} - 1)^{1/2} \approx 3 이 나오고, 실제로 이 값에서 전이 성능이 가장 높았습니다.
- Flickr: 테스트 이미지 1,000장에서 CIDEr 0.396 (0~1 척도, 기존 연구 대부분은 100을 곱해 보고), 무작위 회전의 9배, 같은 회전으로 가장 가까운 캡션을 검색한 것의 2.5배
- COCO로 전이: CIDEr 0.668, BLEU-4 0.199. 회전은 Flickr 쌍으로만 맞췄고, 텍스트 JEPA와 디코더는 Flickr와 COCO의 학습 캡션(텍스트만)으로 학습했습니다.
- 더 키운 구성: Flickr 0.519, COCO 0.838. 구성 요소를 바꾼 결과입니다. 텍스트만으로 미세조정(Fine-Tuning)한 Qwen2.5-1.5B 디코더, 1억 장 텍스트로 학습한 텍스트 JEPA, 고정된 DINOv2 ViT-g와 DINOv3 ViT-L, 샘플 32개의 합의 디코딩을 썼습니다. 쌍에 맞춘 것은 여기서도 같은 3만 개 Flickr 쌍으로 맞춘 사상 하나이고, 디코더는 Flickr와 COCO 학습 캡션의 임베딩으로만 학습했습니다.
- 영상: MSR-VTT에서 CIDEr 0.246. 영상을 한 번도 보지 않은 같은 캡셔너에 프레임 8개의 회전된 임베딩 평균을 넣은 결과입니다. CLIP 기반 제로샷 캡셔너(ZeroCap 0.058, DeCap 0.150 ~ 0.186 )보다 높고, 영상-텍스트 쌍 1억 4,400만 개를 쓴 VideoCoCa(0.271 ), TOPA(0.329 ), MSR-VTT 캡션으로 학습한 디코더(0.348 )보다는 낮습니다. 저자들은 이 캡션이 사람 캡션이 자주 묘사하는 행동과 말을 놓친다고 밝혔습니다.
비교 기준을 정확히 봐야 합니다. CLIP의 공동 학습 인코더 위에 만든 텍스트 전용 캡셔너는 COCO에서 0.345 (ZeroCap), 0.493 (MAGIC), 0.918 (CapDec), 0.912 (DeCap)를 보고했습니다. 이들은 4억 개 이미지-텍스트 쌍으로 학습한 인코더를 쓰지만 도메인 내 쌍은 쓰지 않고, 이 논문의 캡셔너는 쌍으로 학습한 인코더를 쓰지 않는 대신 Flickr 쌍으로 회전을 맞춥니다. 저자들은 회전 대신 같은 쌍으로 제약 없는 선형 사상을 학습하면 Flickr에서는 조금 이기지만(0.531 대 0.504 ) COCO에서는 5분의 1을 잃는다는(0.635 대 0.802 ) 결과도 보고했습니다. 쌍에 자유롭게 맞춘 사상은 Flickr에만 잘 맞고, 한 공간을 다른 공간 위로 돌리기만 하는 회전이 새 이미지로 더 잘 옮겨 갑니다.
쌍 하나 없이 정렬하기
명제 2에 따르면 짝 없는 데이터의 1차와 2차 모멘트로는 회전을 찾을 수 없지만, 유한한 세계의 더 높은 차수 구조는 찾을 수 있습니다. Schnaus 등의 최근 연구는 두 점 구름의 군집을 맞추고 최적 수송으로 직교 사상을 다듬는 Wasserstein Procrustes 방법으로 쌍 없이 회전을 복원합니다. 이론은 두 인코더의 기하가 일치할 때, 즉 좋은 뷰일 때 이 방법이 가장 잘 동작하리라고 예측합니다.
저자들은 Schnaus 등의 방법, 코드, 하이퍼파라미터, 시드 5개를 그대로 두고 그 프로토콜을 따랐습니다. DINOv2 ViT-B/14와 텍스트 인코더는 COCO train2014의 겹치지 않는 두 절반(한쪽의 이미지, 다른 쪽의 캡션)으로 정렬합니다. 채점은 val2014 쌍 40,504개에서 FOSCTTM(정답보다 가까운 샘플 비율, 0이 완벽, 0.5가 우연 수준)과 제로샷 분류로 합니다. 이 설정은 all-mpnet-base-v2에 대한 원 논문의 수치를 재현했습니다.
| 텍스트 인코더 (실행 수) | FOSCTTM ↓ | CIFAR-10 top-1 | CIFAR-100 top-5 | ImageNet-100 top-5 |
|---|---|---|---|---|
| 좋은 뷰 JEPA, 109M (15) | 0.018 | 86.0 | 67.2 | 64.4 |
| 좋은 뷰 JEPA, 33M (15) | 0.036 | 83.2 | 60.9 | 57.9 |
| 나쁜 뷰 JEPA, 109M (5) | 0.026 | 78.1 | 55.3 | 46.7 |
| 다음 토큰 예측, 109M (15) | 0.287 | 25.5 | 19.9 | 20.3 |
| Qwen3-8B, 재실행 (5) | 0.018 | 83.4 | 61.7 | 47.6 |
| Schnaus 등 논문의 최고값 (모든 설정) | 0.01 | 82 | 62 | 56 |
| CLIP B/32 텍스트 인코더 (5) | 0.006 | 84.0 | 67.0 | 68.7 |
109M 좋은 뷰 JEPA는 Schnaus 등 논문이 보고한 모든 제로샷 정확도보다 높았습니다. 그 논문은 시각 모델 7개와 언어 모델 3개로 만든 21개 쌍(DINOv3-7B와 Qwen3-8B까지)을 설정 5개에서 평가했습니다. 같은 조건으로 재실행한 Qwen3-8B와 비교하면 FOSCTTM과 CIFAR-10은 같은 수준이고, CIFAR-100에서 5.5점, ImageNet-100에서 16.8점 앞섰습니다. 70배 작은 모델입니다.
FOSCTTM은 같은 데이터에서 그 논문의 최고값(0.02 )과 같은 수준이지만, 다른 데이터셋의 캡션을 쓴 설정의 최고값(0.01 )보다는 나쁩니다. 4억 개 이미지-텍스트 쌍으로 학습한 CLIP 텍스트 인코더는 평균으로는 FOSCTTM과 ImageNet-100에서 앞서지만, 부록의 검정에서 유의한 차이가 난 것은 ImageNet-100뿐입니다. 저자들은 109M JEPA의 양성 쌍이 이미지별로 묶여 있고 그 텍스트의 일부를 LLaVA가 썼다는 점도 함께 고지했습니다.
이 표에서 갈리는 것은 좋은 뷰와 나쁜 뷰보다 JEPA와 다음 토큰 예측입니다. COCO에서는 나쁜 뷰 JEPA도 잘 정렬되었고(0.026 ), 같은 텍스트의 다음 토큰 예측은 실행의 절반에서 실패했습니다. 짝 없는 풀이 더 작은 Flickr(이미지 15,007장과 다른 15,007장의 캡션)에서는 좋은 뷰 JEPA만 우연 수준을 벗어났습니다. 109M 좋은 뷰 JEPA는 쌍 없이 테스트 이미지의 16.4\% \pm 10.4\% (중앙값 16.1\% )에서 정답 캡션을 첫 번째로 찾아 실행 간 편차가 컸습니다. 함께 잰 CLIP 텍스트 인코더, all-mpnet-base-v2, BERT, Qwen2.5-0.5B, 같은 텍스트의 나쁜 뷰 JEPA와 다음 토큰 예측은 모두 0.3\% 이하였습니다. 이렇게 쌍 없이 맞춘 사상으로 캡셔너를 만들면 Flickr CIDEr가 0.158 로, 3만 쌍으로 맞춘 회전(0.430 )보다 낮지만 무작위 사상(0.028 )보다는 훨씬 높습니다.
한계와 시사점
저자들은 한계를 꽤 자세히 적어 두었습니다. 크게 이론의 가정, 좋은 뷰의 출처, 실험 범위로 나눌 수 있습니다.
이론과 실험 사이에는 간격이 있습니다. 정리들은 단사 렌더링과 같은 주변 분포를 가진 유한 세계의 모집단 진술이지만, 실제 모달리티는 정보를 잃고 유한 샘플 학습은 네트워크의 귀납 편향에 의존합니다. 저자들 스스로 어떤 실험도 정리 1의 가정을 정확히 만족하지 않는다고 밝힙니다. 실험은 회전 유일성이 증명되지 않은 LeJEPA를 쓰고, 이미지 쪽은 대부분 크롭을 양성 쌍으로 쓰기 때문입니다. 정리 2도 스펙트럼 해에 대해서만 증명되었습니다.
가장 큰 단서는 좋은 뷰를 어디서 얻느냐입니다. 좋은 뷰는 어떤 텍스트들이 같은 장면을 묘사하는지 알아야 만들 수 있습니다. Flickr와 COCO에서는 사람이 쓴 캡션을 이미지별로 묶은 정보이고, Recap-DataComp에서는 이미지당 텍스트 셋 중 둘을 이미지 캡셔너가 썼습니다. 저자들은 쌍 정보가 교차 모달 손실로는 한 번도 들어가지 않지만, 양성 쌍의 정의, 맞춘 선형 사상 하나, 그리고 Recap에서는 캡셔너가 만든 텍스트를 통해 들어온다고 정리합니다. 웹 규모에서 장면 단위 묶음을 사람이나 이미지 캡셔너 없이 얻는 방법은 이 논문이 답하지 않은 질문입니다.
실험 범위도 좁게 읽어야 합니다. 하이퍼파라미터는 좋은 뷰 JEPA에 대해서만 튜닝했고, 나쁜 뷰 JEPA와 다음 토큰 예측은 같은 레시피를 그대로 썼습니다. MSR-VTT 밖에서는 이미지 인코더가 저자들의 정의로 나쁜 뷰 JEPA이며, MSR-VTT의 7k 클립으로 학습한 이미지 JEPA는 DINOv2보다 훨씬 약합니다. 덧붙여 필자가 보기에, 대형 언어 모델과의 비교는 텍스트 표현이 비전 표현과 얼마나 맞는지를 잰 것이고 생성이나 추론(Reasoning) 능력을 비교한 것은 아닙니다.
그럼에도 이 연구는 PRH에 대해 증명 가능한 충분 조건과, 그 조건을 따라 학습하는 구체적인 방법을 함께 제시했습니다. 비전 표현과 정렬된 텍스트 인코더가 필요할 때 모델 크기를 키우는 것 말고도 양성 쌍을 바꾸는 선택지가 있고, 저자들이 같은 텍스트로 돌린 비교 대부분에서 좋은 뷰가 가장 잘 정렬되었습니다. 저자들은 이 결과가 이미지와 텍스트를 넘어 오디오, 영상, 행동 같은 모달리티로도 이어지기를 기대한다고 밝혔습니다.
직접 실행해 보기
prh-proof 저장소는 이론을 실행 가능한 테스트로, 모든 학습 실행과 평가, 캡셔너를 담고 있습니다. 요구 사항은 Linux, Python 3.11 이상, PyTorch 2.6 이상이며, 테스트는 CPU에서 돌고 학습에는 CUDA GPU가 필요합니다.
git clone https://github.com/galilai-group/prh-proof && cd prh-proof
python -m venv .venv && source .venv/bin/activate
pip install torch --index-url https://download.pytorch.org/whl/cu124 # 사용하는 CUDA에 맞는 빌드
pip install -e ".[dev]" # stable-pretraining도 GitHub에서 함께 설치
pytest -m "not slow" # 정리와 구성 요소 검증, CPU에서 약 2분
README의 빠른 시작은 Flickr30k(약 8GB)에서 GPU 한 장으로 텍스트 JEPA와 이미지 JEPA를 하나씩 학습하며 약 두 시간이 걸립니다. 아래의 텍스트 쪽 명령만으로도 좋은 뷰 텍스트 JEPA와 고정 DINOv2의 R@1이 약 0.25 (나쁜 뷰 약 0.13, 다음 토큰 예측 약 0.12 )로 나온다고 안내합니다.
python -m prh.data # 텍스트 전용 소형 테이블
python evaluate.py embed dinov2 runs/ref/flickr_dinov2 # Flickr 검증 및 테스트 이미지의 DINOv2 ViT-B/14 임베딩
python train.py --modality text --caption-views # 좋은 뷰 텍스트 JEPA, 약 1 GPU 시간 (플래그를 빼면 나쁜 뷰)
python evaluate.py align runs/ref/flickr_dinov2 runs/runs/<text run>
논문 전체를 재현하려면 345개 실행이 필요하고, 저자들은 선점(preemption)을 포함해 약 5,500 GPU 시간이 들었다고 밝혔습니다. 9억 4천만 장 규모 BERT-B 실행은 시드와 조건마다 200~400 GPU 시간이고, Recap-DataComp 텍스트는 최대 492GB입니다. 캡셔너는 prh.captioner 로 파일 하나에 묶어 임의의 사진을 캡션할 수 있으며, DINOv3 가중치는 Hugging Face Hub에서 라이선스 동의와 로그인이 필요합니다. 설치 없이 결과만 보려면 저자들이 공개한 데모에서 사진과 영상을 캡션하거나, 문장으로 ImageNet-1k 학습 사진 128만 장 중 해당 사진을 찾아볼 수 있습니다. 데모의 사상은 Flickr 쌍 3만 개에 웹 이미지-텍스트 쌍 20만 개를 더해 맞춘 것이라 논문의 수치와 설정이 다르고, DINOv3와 ImageNet 이용 조건 때문에 비상업적 용도로 안내되어 있습니다.
Proving and Improving the Platonic Representation Hypothesis with JEPAs 논문
prh-proof GitHub 저장소
회전 하나로 만든 캡셔너 데모 (Hugging Face Space)
The Platonic Representation Hypothesis 논문
LeJEPA: Provable and Scalable Self-Supervised Learning Without the Heuristics 논문
Shared Geometry As A Rosetta Stone: Cross-Modal Alignment Without Paired Data 논문
stable-pretraining GitHub 저장소
더 읽어보기
이 글은 GPT 모델로 정리한 초안을 바탕으로 한 것으로, 원문의 내용 또는 의도와 다르게 정리된 내용이 있을 수 있습니다. 관심있는 내용이시라면 원문도 함께 참고해주세요! 읽으시면서 어색하거나 잘못된 내용을 발견하시면 댓글로 알려주시기를 부탁드립니다.
파이토치 한국 사용자 모임
이 정리한 이 글이 유용하셨나요? 회원으로 가입하시면 주요 글들을 이메일
로 보내드립니다! 텔레그램(Telegram)이나 Slack/Discord/Teams/Dooray/GoogleChat 등으로도 새 글 알림을 받으실 수 있습니다. 
아래
쪽에 좋아요
를 눌러주시면 새로운 소식들을 정리하고 공유하는데 힘이 됩니다~ 