# \#dynamic-patching **URL:** https://discuss.pytorch.kr/tag/dynamic-patching/4184.md [최신](https://discuss.pytorch.kr/latest.md) · [카테고리](https://discuss.pytorch.kr/categories.md) · [태그](https://discuss.pytorch.kr/tags.md) --- ## [BLT(Byte Latent Transformer): 토큰화 대신 바이트 데이터를 직접 처리하는 아키텍처에 대한 연구 (feat. MetaAI)](https://discuss.pytorch.kr/t/blt-byte-latent-transformer-feat-metaai/5705)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [12월 17, 2024, 3:30오전 UTC](https://discuss.pytorch.kr/t/blt-byte-latent-transformer-feat-metaai/5705 "2024-12-17T03:30:00Z")
BLT 연구 소개 BLT(Byte Latent Transformer) 는 기존 토큰 기반 언어 모델(Large Language Model, LLM)의 주요 한계를 극복하기 위해 설계된 새로운 아키텍처입니다. 토큰화(tokenization) 과정 없이 바이트 데이터(Raw Byte Data)를 직접 처리하여 더 효율적이고 유연한 학습 및 추론이 가능하도록 합니다. 기존 LLM에서는 토큰화를 통해 텍스트를 정해진 단위로 나누고 이를 처리하는 방식이 보편적이었으나, 이 과정은 다국어 처리의 공정성, 입력 노이즈에 대한 민감성, 정형적 지식 부족 등의 문제를 야기했습니다. BLT는 이러한 문제를 해결하기 위해 등장했으며, 특히 대규모 모델 학습에서 뛰어난 확장성과 추론 효율성을 보여줍니다. 기존 LLM은 텍스트를 소위 서브워드(subword)나 토큰(token) 단위로 나눕니다. 이 과정에서 토크나이저(tokenizer)는 미리 정의된 어휘 사전(vocabulary)을 기반으로 작동하며, 이는 언어 모델이 특정 언어와 문맥에 최적화되도록 돕습니다. 하지만 이러한 접근법은 한국어와 같은 동아시아권 언어들(CJK, Chinese/Japanese/Korean)을 비롯한 다국어 데이터를 다룰 때 토크나이저의 어휘 사전의 크기가 기하급수적으로 늘어나거나 특정 언어가 비효율적으로 처리되는 문제를 발생시킵니다. 이에 비해, 바이트 단위로 데이터를 처리하면 고정된 어휘 사전이 필요하지 않으므로, 모든 언어와 형식(예: 코드, 이모지 등)을 균등하게 처리할 수 있습니다. 하지만 바이트 단위 처리는 시퀀스 길이가 증가하면서 계산 복잡도가 급격히 늘어난다는 점에서 기존 연구들은 대규모 모델 학습에서 이를 효율적으로 활용하기 어려웠습니다. 따라서 기존에는 주로 소규모 모델들에서는 효율적으로 동작했지만, 대규모 모델의 학습 시 연산 비용과 메모리 요구 사항 등이 매우 커지는 문제가 있었습니다. Meta AI에서 이전에 공개한 MegaByte와 같은 연구에서는 바이트 단위를 그룹화하…