PiToMe 소개
PiToMe(Preserving Informative Tokens in Transformers with Merging, 유익한 토큰을 보존하는 토큰 병합)은 트랜스포머(Transformer) 모델에서 사용되지 않는 토큰을 병합하여 모델의 효율성을 높이는 기법입니다. PiToMe 기법은 NeurIPS 2024에 발표된 논문 "Accelerating Transformers with Spectrum-Preserving Token Merging"에 소개되었습니다. PiToMe는 기존 비전 트랜스포머(ViT) 모델의 계산 복잡도를 줄이면서도 핵심 정보를 보존하여 성능 저하를 최소화하는 것을 목표로 합니다.
PiToMe의 주요 기여는 다음과 같습니다:
- 스펙트럼 보존 병합: 기존 정보 보존 및 유사 토큰 병합을 최적화하여 성능을 유지하면서 계산량을 크게 줄입니다.
- 계산 효율성 개선: PiToMe는 모델의 FLOPs(초당 부동소수점 연산) 사용량을 최대 40-60% 절감하며, 이미지 및 텍스트 검색과 같은 다양한 작업에서 성능 저하를 최소화합니다.
- 높은 성능 유지: PiToMe는 이미지 분류와 이미지-텍스트 검색 작업에서 기존 방법보다 작은 성능 저하를 보이며, 이는 실험 결과에서도 입증되었습니다.
PiToMe 방법론 소개
PiToMe는 유사한 토큰을 병합하는 동시에 중요한 정보를 포함하는 토큰을 유지하여 모델의 계산 비용을 줄입니다.
스펙트럼 보존 토큰 병합
PiToMe는 에너지 점수(Token Energy Score)를 통해 토큰의 유사성을 계산합니다. 에너지 점수가 높은 토큰(유사한 정보가 포함된 클러스터)은 병합 대상이 되며, 에너지 점수가 낮은 토큰(고유한 정보가 포함된 토큰)은 병합에서 제외됩니다. 이를 통해, 토큰의 스펙트럼(주파수)을 유지하고 모델의 성능 저하를 방지합니다.
에너지 점수와 토큰 병합 전략
에너지 점수는 클러스터에서 유사한 토큰이 많은 경우 높아집니다. PiToMe는 이러한 고에너지 토큰 클러스터를 우선적으로 병합하고, 유일한 정보를 가진 저에너지 토큰 클러스터를 유지합니다. 이러한 병합 전략을 통해, PiToMe는 트랜스포머가 기존 토큰 정보를 보다 효과적으로 유지하도록 합니다.
적용 분야 및 예시 모델
PiToMe는 다음과 같은 주요 작업 및 모델에서 지원됩니다.
이미지-텍스트 검색 (Image-Text Retrieval)
PiToMe는 이미지와 텍스트를 결합하여 의미적 유사성을 평가하는 작업을 지원합니다. 현재는 BLIP(Bootstrapping Language-Image Pre-training), ALBEF(Align Before Fusion)와 같은 모델에서 병합을 지원하며, Flickr30k와 MS-COCO 데이터셋에서 실험이 가능합니다.
이미지 분류 (Image Classification)
이미지 분류 작업에서는 DeiT(Data-efficient Image Transformer), MAE(Masked Autoencoder)와 같은 비전 트랜스포머 모델에서 PiToMe를 사용할 수 있습니다. ImageNet1K 데이터셋을 사용하여 실험하며, PiToMe는 성능을 크게 유지하면서도 연산량을 절감할 수 있습니다.
텍스트 분류 (Text Classification)
텍스트 분류 작업에서는 BERT(Bidirectional Encoder Representations from Transformers), DistilBERT와 같은 NLP 모델을 지원합니다. IMDb, SST2, Rotten Tomatoes와 같은 텍스트 데이터셋에서 평가가 가능합니다.
PiToMe GitHub 저장소
PiToMe 예시 노트북 코드
Accelerating Transformers with Spectrum-Preserving Token Merging 논문
이 글은 GPT 모델로 정리한 글을 바탕으로 한 것으로, 원문의 내용 또는 의도와 다르게 정리된 내용이 있을 수 있습니다. 관심있는 내용이시라면 원문도 함께 참고해주세요! 읽으시면서 어색하거나 잘못된 내용을 발견하시면 덧글로 알려주시기를 부탁드립니다. 
파이토치 한국 사용자 모임
이 정리한 이 글이 유용하셨나요? 회원으로 가입하시면 주요 글들을 이메일
로 보내드립니다! (기본은 Weekly지만 Daily로 변경도 가능합니다.)
아래
쪽에 좋아요
를 눌러주시면 새로운 소식들을 정리하고 공유하는데 힘이 됩니다~ 