📄FinePDFs: Hugging Face가 공개한 3T 규모의 공개 PDF 데이터셋

[9bow (박정환)]

FinePDFs 소개

최근 대규모 언어 모델(LLM)을 위한 데이터셋 확보가 점점 어려워지고 있습니다. 웹 페이지 기반의 HTML 데이터는 이미 수집 가능한 양이 한계에 다다른 상황에서, 새로운 대안으로 떠오른 것이 바로 PDF입니다. 하지만 PDF는 구조가 복잡하고, 텍스트 추출 과정에서 많은 비용이 들기 때문에 지금까지는 대규모 데이터셋 구축 대상으로 크게 주목받지 못했습니다.

이런 상황에서 Hugging Face는 FinePDFs라는 새로운 데이터셋을 공개했습니다. FinePDFs는 약 3조 토큰(3 trillion tokens), 4억 7,500만 개의 PDF 문서(475 million documents), 그리고 1,733개의 언어(1,733 languages) 를 포함하는 대규모 데이터셋입니다. 이는 HTML 기반 데이터셋과 비교해도 뒤지지 않는 성능을 보여주며, HTML 데이터와 혼합했을 때는 성능이 크게 향상되는 것이 확인되었습니다. 특히 법률, 학술, 매뉴얼 등 PDF에서 주로 발견되는 고품질 도메인 지식이 포함되어 있어 연구자와 개발자들에게 매우 가치 있는 리소스로 평가됩니다.

FinePDFs는 2013년부터 2025년까지의 CommonCrawl 스냅샷을 기반으로 수집되었고, Hugging Face의 데이터 처리 라이브러리인 datatrove를 활용해 정제 및 중복 제거 과정을 거쳤습니다. 결과적으로 3.65TB 규모의 고품질 텍스트 코퍼스(Corpus, 말뭉치)로 가공되었으며, LLM 사전 학습에 최적화된 공개 데이터셋으로 제공됩니다.

FinePDFs는 HTML 위주의 데이터셋인 SmolLM-3 Web과 비교했을 때도 비슷한 수준의 성능을 보입니다. 하지만 두 데이터를 혼합하면, 모델 성능이 더욱 크게 개선되는 것이 확인되었습니다. Hugging Face 팀은 전체 학습 데이터에서 PDF 데이터 비중을 25% 이하로 유지하는 것이 가장 효과적이라고 권장합니다.

또한 FinePDFs의 문서는 평균 길이가 길고, 10만 자 이상의 초장문 데이터가 다른 데이터셋보다 많이 포함되어 있습니다. 이는 긴 문맥을 처리해야 하는 최신 LLM 연구에 특히 유용한 특성입니다. 따라서 FinePDFs는 단순한 대체재가 아니라, 기존 HTML 데이터셋을 보완하고 확장하는 중요한 역할을 합니다.

FinePDFs 데이터셋의 주요 특징

데이터셋에 포함된 언어 및 데이터 분포

• 총 1,733개 언어-스크립트 조합 을 포함

• 978개 언어가 100만 토큰 이상, 66개 언어가 10억 토큰 이상 확보

• 영어(eng_Latn) 데이터는 약 1.71TB, 일본어(jpn_Jpan) 데이터는 약 142GB

• 한국어(kor_Hang) 데이터도 약 12억 토큰(14.3GB) 포함

데이터 처리 파이프라인

FinePDFs는 단순히 PDF를 긁어온 것이 아니라, 다양한 전처리 단계를 거쳐 고품질 데이터로 가공되었습니다:

1. PDF+잘림(truncation) 식별: CommonCrawl에 저장된 손상되거나 잘린 PDF 탐지

2. 잘린 PDF 재수집(hydration): 인터넷에서 원본 PDF 다시 다운로드

3. OCR 필요성 탐지 및 추출: 디지털 PDF는 텍스트 기반 추출, 스캔본은 GPU 기반 OCR 사용

4. 텍스트 후처리: 페이지 번호 제거, 헤더/푸터 보일러플레이트 삭제, 인코딩 오류 수정

5. 언어 식별(GlotLID 활용): 페이지 단위로 언어 감지 후 문서 수준에서 평균 처리

6. 정확한 중복 제거: MinHash와 exact deduplication 병행

7. 영어 데이터 필터링: 광고, 스팸 PDF 제거

8. PII(Personable Identifiable Information; 개인 식별 정보) 익명화: 이메일, IP 주소 자동 치환

데이터 활용 예시

FinePDFs는 Hugging Face의 datasets, huggingface_hub, 그리고 datatrove 라이브러리를 통해 쉽게 접근할 수 있습니다. 예를 들어, Python에서 한국어 데이터를 스트리밍 방식으로 불러오려면 다음과 같이 사용할 수 있습니다:

from datasets import load_dataset

# 한국어 데이터 불러오기
dataset = load_dataset("HuggingFaceFW/finepdfs", name="kor_Hang", split="train", streaming=True)
for doc in dataset:
    print(doc["text"])
    break

FinePDFs 데이터셋의 성능 평가

FinePDFs는 SQuAD 2.0, ARC, HellaSwag, MMLU, GSM8K, DROP, CommonsenseQA 등 다양한 벤치마크에서 테스트되었으며, HTML 데이터와 혼합 시 확실한 성능 향상이 확인되었습니다. 특히 긴 문맥 이해와 표 처리(Table QA)와 같은 영역에서 기존 데이터셋보다 우수한 성능을 보였습니다.

또한 중국어, 프랑스어, 아랍어, 러시아어와 같은 주요 언어에 대해서도 실험이 진행되어, 다국어 모델 성능 향상에도 기여할 수 있음이 입증되었습니다.

사회적 영향과 한계

FinePDFs는 오픈소스 커뮤니티에 중요한 의미를 갖습니다. 기존에 공개된 강력한 LLM들이 학습한 데이터셋은 일반적으로 비공개였으나, FinePDFs는 투명한 처리 과정을 통해 누구나 접근할 수 있도록 공개되었습니다. 특히 법률, 과학, 교육과 같은 전문적인 도메인의 지식을 확보할 수 있다는 점에서 학술 연구자와 개발자들에게 큰 도움이 됩니다.

하지만 PDF 추출 특성상 다음과 같은 한계도 존재합니다:

• Docling 기반 추출: 이미지 속 텍스트, 복잡한 수식, 코드 블록 등이 누락될 수 있음

• OCR 기반 추출(RolmOCR): 인식 오류, 환각(hallucination), 일부 페이지 누락 가능성

• 편향(Bias): 웹에서 수집된 데이터이므로, 일부 문서에 독성(Toxic) 콘텐츠나 사회적 편향이 포함될 수 있음

라이선스

FinePDFs 프로젝트는 Open Data Commons Attribution License (ODC-By) v1.0으로 공개 및 배포되고 있으며, CommonCrawl 이용 약관을 따릅니다. 상업적 이용도 가능하지만, 반드시 출처를 명시해야 합니다.

FinePDFs 데이터셋

HuggingFaceFW/finepdfs · Datasets at Hugging Face

---

이 글은 GPT 모델로 정리한 글을 바탕으로 한 것으로, 원문의 내용 또는 의도와 다르게 정리된 내용이 있을 수 있습니다. 관심있는 내용이시라면 원문도 함께 참고해주세요! 읽으시면서 어색하거나 잘못된 내용을 발견하시면 덧글로 알려주시기를 부탁드립니다.

파이토치 한국 사용자 모임이 정리한 이 글이 유용하셨나요? 회원으로 가입하시면 주요 글들을 이메일로 보내드립니다! (기본은 Weekly지만 Daily로 변경도 가능합니다.)

아래쪽에 좋아요를 눌러주시면 새로운 소식들을 정리하고 공유하는데 힘이 됩니다~