DataFlow📜: 데이터 중심 AI를 위한, LLM 기반 통합 데이터 준비 및 워크플로우 자동화 프레임워크 기술 문서 리뷰

9bow · 12월 26, 2025, 5:30오전

DataFlow 소개

데이터 중심 AI로의 패러다임 전환과 현실적인 문제점

인공지능 연구의 흐름은 모델의 구조를 개선하는 '모델 중심(Model-Centric)' 접근 방식에서, 모델을 학습시키는 데이터의 품질을 높이는 '데이터 중심(Data-Centric)' 접근 방식으로 급격하게 이동하고 있습니다. GPT 시리즈의 성공 이후 확립된 스케일링 법칙(Scaling Law)은 데이터의 양과 질이 모델 성능의 상한선을 결정한다는 것을 수학적, 경험적으로 증명해 냈습니다. 특히, 최근의 LLM 개발은 수 조 토큰에 달하는 대규모 코퍼스를 다루며, 단순한 텍스트 수집을 넘어 합성(Synthetic), 정제(Refinement), 필터링(Filtering), 그리고 도메인 특화 변환과 같은 복잡한 다단계 파이프라인을 요구하고 있습니다.

그러나 이러한 중요성에도 불구하고, 실제 현업에서의 데이터 준비 과정은 놀라울 정도로 파편화되어 있습니다. 많은 연구자와 엔지니어들은 여전히 프로젝트마다 일회성 스크립트(Ad-hoc scripts)를 작성하여 데이터를 처리하고 있으며, 이는 명확한 추상화나 표준화된 워크플로우의 부재로 이어집니다. 이러한 주먹구구식 방식은 재현성을 저해하고, 파이프라인의 확장을 어렵게 하며, 모델이 데이터 생성 과정에 개입하는 Model-in-the-loop 방식을 구현하는 데 큰 걸림돌이 됩니다. 또한, 인스트럭션 튜닝(Instruction Tuning)이나 사고 사슬(Chain-of-Thought) 생성과 같이 미세한 의미론적 정확성이 요구되는 작업에서는 이러한 비표준화된 접근 방식이 치명적인 성능 저하를 유발할 수 있습니다.

기존 시스템의 한계와 DataFlow의 차별점

물론 이러한 문제를 해결하기 위해 NeMo Curator나 Data-Juicer와 같은 시스템들이 등장했습니다. 이들은 대규모 데이터의 추출, 중복 제거, 분류 작업 등에서 훌륭한 성능을 발휘하며 데이터 처리의 효율성을 크게 높였습니다. 하지만 이들 시스템은 근본적으로 '추출(Extraction)'과 '필터링(Filtering)'에 초점을 맞추고 설계되었습니다. 즉, 이미 존재하는 데이터에서 나쁜 것을 걸러내는 데에는 유용하지만, 없는 데이터를 만들어내거나 데이터를 의미론적으로 변형하는 데에는 한계가 있습니다.

최근의 연구 트렌드는 LLM이 단순히 데이터를 소비하는 주체를 넘어, 고품질 데이터를 생산하는 주체로 활용되는 것입니다. 인간에 의한 데이터 라벨링은 비용이 많이 들고 확장성이 낮기 때문에, LLM을 이용한 데이터 합성(Data Synthesis)이 필수적인 요소로 자리 잡았습니다. 이에 대응하기 위해 DataFlow는 LLM 주도 데이터 합성을 최우선 순위로 두는 프로그래밍 가능한 데이터플로우 추상화(Programmable Dataflow Abstraction)를 제안합니다. DataFlow는 미세한 제어가 가능한 연산자(Operator)를 제공하고, 명시적이고 검증 가능한 파이프라인 정의를 지원하며, 다양한 LLM 백엔드와 스토리지에 구애받지 않는 유연성을 갖추고 있습니다. 이는 데이터 준비 과정을 단순한 전처리가 아닌, 고품질의 합성 코퍼스를 구축하는 핵심 엔지니어링 단계로 격상시키는 것을 의미합니다.

DataFlow 개요 및 구조

DataFlow는 단순한 라이브러리가 아니라, 데이터 준비의 전체 수명 주기를 관리하고 자동화하는 포괄적인 시스템으로, 다음 여섯가지 핵심 철학을 바탕으로 설계되었습니다:

사용 편의성(Ease of Use): PyTorch에서 영감을 받은 IDE 친화적인 프로그래밍 인터페이스를 제공하여, 사용자가 최소한의 상용구(boilerplate) 코드만으로 복잡한 데이터 파이프라인을 구축하고 디버깅할 수 있도록 합니다.
확장성(Extensibility): torch.nn.Module 과 유사한 모듈형 추상화를 따르며, 새로운 연산자나 알고리즘을 '플러그 앤 플레이(plug-and-play)' 컴포넌트처럼 추가하여 기존 워크플로우와 자연스럽게 결합할 수 있습니다.
통합된 패러다임(Unified Paradigm): 이질적인 데이터 준비 워크플로우들을 표준화된 추상화 계층으로 통합합니다. 이는 일관성과 재현성을 보장하는 '표준화'와 도메인별로 필요한 '커스터마이징' 사이의 균형을 맞춰, 파이프라인을 효율적으로 재사용하고 조정할 수 있게 합니다.
효율성(Performance Efficiency): DataFlow의 공식 파이프라인들은 최신(SOTA) 데이터 준비 방법들과 대등하거나 그 이상의 성능을 달성하며, 이러한 시스템 통합이 실질적인 성능 오버헤드를 발생시키지 않음을 입증합니다.
지능형 자동화(Intelligent Automation): 경량화된 에이전트 서브시스템을 활용해 자연어로 된 사용자 의도를 해석하고, 연산자와 파이프라인을 자동으로 구성하거나 조정합니다. 이를 통해 빠른 프로토타이핑을 지원하고 수동 엔지니어링 작업을 줄여줍니다.
오픈소스 생태계 구축(Open Source Paradigm): DataFlow는 LLM 데이터 준비를 위한 커뮤니티 표준이 되는 것을 목표로 합니다. 통합된 추상화를 통해 파이프라인을 재현 가능하게 공유하고, LLM 백엔드를 투명하게 교체하며, 통제된 실험을 수행할 수 있도록 지원합니다.

DataFlow의 시스템 아키텍처

DataFlow의 아키텍처는 크게 네 가지의 주요 계층으로 구성되어 있으며, 각 계층은 독립적이면서도 유기적으로 연결되어 데이터 처리의 효율성을 극대화합니다.

먼저, DataFlow-Core(핵심 엔진) 계층이 있습니다. DataFlow-Core 계층은 시스템의 실행 기판 역할을 하며, 스토리지 추상화, LLM 서빙, 연산자(Operator), 프롬프트 템플릿(Prompt Template)을 포함합니다. 이들은 데이터 변환이 실행되는 물리적, 논리적 기반을 제공합니다. 특히 LLM 서빙 계층은 vLLM이나 SGLang 같은 로컬 고속 추론 엔진과 Gemini, ChatGPT 같은 원격 API를 통합하여, 사용자가 백엔드 인프라의 차이를 신경 쓰지 않고 동일한 코드로 모델을 호출할 수 있게 합니다.

다음으로는 Pipeline Zoo(파이프라인 저장소) 계층이 존재합니다. Pipeline Zoo에서는 텍스트 처리, 수학적 추론, 코드 생성, Text-to-SQL, 에이전트 RAG 등 다양한 도메인에 대해 미리 정의된 최첨단(SOTA) 파이프라인들이 포함되어 있습니다. 사용자들은 이 파이프라인을 그대로 사용하거나, 자신의 목적에 맞게 수정하여 즉시 사용할 수 있습니다.

세번째는 Control Layer(제어 계층) 입니다. 사용자가 시스템과 상호작용하는 접점으로, DataFlow-CLI(Command-Line Interface) 및 DataFlow-Agent가 여기에 해당합니다. DataFlow-CLI는 명시적인 명령을 통해 파이프라인을 실행하고 확장 패키지의 뼈대(Scaffolding)를 생성하는 도구를 제공하며, DataFlow-Agent는 자연어 명령을 해석하여 파이프라인을 자동으로 생성하고 디버깅하는 역할을 수행합니다.

마지막으로는 DataFlow-Ecosystem(확장 생태계) 가 있습니다. 이는 사용자가 직접 개발한 연산자나 파이프라인을 Python 패키지 형태로 배포하고 공유할 수 있는 메커니즘을 의미합니다. 이를 통해 DataFlow는 정체된 시스템이 아니라 커뮤니티와 함께 진화하는 플랫폼이 됩니다.

워크플로우 실행 프로세스

DataFlow의 데이터 처리 흐름은 입력에서 출력까지 일관된 프로세스를 따릅니다. 시스템은 JSON, Parquet, SQL 로그, 코드 저장소, PDF 등 다양한 형식의 원천 데이터를 수집하여 내부적으로 통일된 표(Tabular) 형식으로 변환합니다. 이후 사용자가 정의하거나 에이전트가 생성한 파이프라인에 따라 연산자들이 순차적으로 실행됩니다. 각 연산자는 공유 스토리지에서 데이터를 읽어와 변환 작업을 수행하고, 그 결과를 다시 스토리지에 기록합니다. 이 과정에서 LLM의 추론이 필요한 경우 통합 서빙 인터페이스를 통해 모델을 호출합니다. 최종적으로 생성된 데이터셋은 고품질의 학습 데이터로서 다운스트림 LLM 애플리케이션에 즉시 투입될 수 있습니다.

DataFlow 프레임워크 설계 및 구현 상세

DataFlow가 기존 시스템과 가장 차별화되는 지점은 바로 추상화(Abstraction)와 모듈화(Modularity)의 깊이입니다. 여기에서는 DataFlow의 기술적 설계를 구성하는 네 가지 기둥(Architectural Pillars)에 대해서 살펴보겠습니다:

전역 스토리지 추상화 (Global Storage Abstraction): 데이터셋의 표준적인 표(tabular) 형식을 유지 관리하며, 시스템 내에서 이루어지는 모든 데이터 접근을 중재합니다. 이를 통해 데이터 관리와 연산자 로직을 분리하여 일관된 데이터 흐름을 보장합니다.
계층적 프로그래밍 인터페이스 (Hierarchical Programming Interfaces): LLM 서빙(Serving), 연산자(Operators), 프롬프트 템플릿, 그리고 파이프라인을 정의하기 위한 일련의 계층화된 프로그래밍 인터페이스를 제공합니다. 이를 통해 사용자는 체계적으로 데이터 준비 로직을 작성할 수 있습니다.
원칙에 기반한 연산자 분류 체계 (Principled Operator Categorization Scheme): 무한히 확장될 수 있는 다양한 도메인의 요구사항과 재사용 가능한 소수의 핵심 변환 프리미티브(primitives) 사이의 균형을 맞추기 위한 체계적인 분류 방식을 적용합니다.
확장 메커니즘 (Extension Mechanism): 사용자가 직접 개발한 컴포넌트들을 통해 생태계가 지속적으로 성장할 수 있도록 지원하는 확장 구조를 갖추고 있습니다.

글로벌 스토리지 추상화 (Global Storage Abstraction)

대규모 데이터 처리 시스템에서 가장 중요한 것은 데이터의 흐름을 효율적으로 관리하는 것입니다. DataFlow는 이를 위해 DataFlowStorage 라는 전역 스토리지 추상화 계층을 도입했습니다. 이 추상화는 데이터셋을 표준화된 표(Tabular) 형식으로 유지 관리하며, 시스템 내의 모든 데이터 접근을 중재합니다. LLM 학습 데이터는 일반적으로 인스트럭션, 응답, 점수, 메타데이터 등의 필드로 구성되므로, 이러한 표 형식은 매우 적합한 자료 구조입니다.

DataFlowStorage는 물리적인 저장 방식(파일 시스템, 오브젝트 스토리지, 데이터베이스 등)과 연산자의 로직을 철저히 분리합니다. 즉, 연산자는 데이터가 실제로 어디에 저장되어 있는지 알 필요가 없으며, 오직 read() 와 write() 라는 두 가지 메서드를 통해 데이터와 상호작용합니다. read()는 현재 데이터셋을 연산자가 처리할 수 있는 형태로 가져오고, write()는 처리된 결과를 다시 데이터셋에 업데이트하거나 추가합니다.

이렇게 모든 연산자는 read-transform-write 패턴을 따르게 되며, 덕분에 개발자는 스토리지 백엔드를 Pandas DataFrame에서 분산 데이터베이스로 변경하더라도 연산자 코드를 전혀 수정할 필요가 없게 됩니다.

계층적 프로그래밍 인터페이스 (Hierarchical Programming Interfaces)

DataFlow는 개발자에게 익숙하고 직관적인 경험을 제공하기 위해 PyTorch와 유사한 계층적 프로그래밍 인터페이스를 채택했습니다. 이는 크게 LLM 서빙, 연산자, 프롬프트 템플릿, 파이프라인 인터페이스로 나뉩니다.

LLM 서빙(LLM Serving API): 다양한 LLM을 다루는 것은 복잡한 일입니다. 각기 다른 API 엔드포인트, 요청 형식, 속도 제한 등을 관리해야 하기 때문입니다. DataFlow는 이를 generate_from_input(user_inputs, system_prompt, json_schema) 라는 단일 함수로 추상화했습니다. 이 generate_from_input() 함수는 배치 처리, 재시도 전략, 요청 라우팅과 같은 복잡한 로직을 내부적으로 처리합니다. 사용자는 단순히 입력 텍스트와 시스템 프롬프트만 제공하면 되며, 로컬 GPU에서 실행되는 vLLM과 같은 로컬 추론 엔진(Local Inference Engine)을 사용하든, 원격의 GPT-4 API와 같은 API 기반의 서비스(Online API-based Service)를 사용하든 코드는 동일하게 유지됩니다. 이는 실험 환경과 배포 환경 간의 간극을 줄여주는 핵심적인 기능입니다.

연산자 인터페이스(Operator Programming Interface): 연산자(Operator)는 DataFlow의 기본 처리 단위입니다. 모든 연산자는 초기화 단계(__init__ )와 실행 단계(run )로 명확히 구분됩니다. 초기화 단계에서는 하이퍼파라미터 설정, LLM 서빙 객체 연결, 프롬프트 템플릿 로딩과 같은 정적인 구성을 수행합니다. 반면, 실행 단계에서는 실제 데이터 변환 로직만을 수행합니다.

연산자 인터페이스에서 특히 주목할 만한 점은 연산자의 유연한 입출력 바인딩(Key-Binding) 방식입니다. 연산자의 run() 메서드는 전체 데이터셋과 함께 input_key 와 output_key 매핑 정보를 인자로 받습니다. 예를 들어, 데이터셋에는 "question"이라는 컬럼이 있고, 연산자는 "prompt"라는 입력을 기대한다고 가정해 봅시다. 기존 방식이라면 데이터셋의 컬럼명을 변경해야 했겠지만, DataFlow에서는 실행 시점에 input_key={"prompt": "question"}이라고 지정하기만 하면 됩니다. 이는 연산자의 재사용성을 극대화하고, 서로 다른 스키마를 가진 데이터셋들을 유연하게 연결할 수 있게 해줍니다.

프롬프트 템플릿(Prompt Template Interface): 많은 LLM 애플리케이션에서 로직과 프롬프트가 뒤섞여 있는 경우가 많습니다. DataFlow는 이를 방지하기 위해 프롬프트 템플릿을 별도의 인터페이스로 분리했습니다. PromptTemplate 클래스는 build_prompt() 메서드를 통해 입력 데이터와 스키마 정보를 결합하여 최종 프롬프트를 생성하는 역할을 전담합니다.

이러한 분리는 엄청난 유연성을 제공합니다. 예를 들어, Text-to-SQL 작업을 수행하는 SQLGenerator 연산자가 있다고 합시다. MySQL을 위한 쿼리를 생성할 때와 SQLite를 위한 쿼리를 생성할 때, 연산자의 내부 로직(데이터를 읽고, 모델을 호출하고, 결과를 저장하는 과정)은 동일합니다. 차이는 오직 프롬프트 내용뿐입니다. DataFlow에서는 연산자 코드는 그대로 두고, 프롬프트 템플릿 객체만 교체함으로써 이를 손쉽게 해결할 수 있습니다.

파이프라인 인터페이스(Pipeline Composition Interface): 파이프라인 인터페이스는 연산자들을 조립하여 전체 워크플로우를 정의하는 곳입니다. PyTorch의 nn.Module 과 유사하게, Pipeline 클래스를 상속받아 __init__ 에서 필요한 연산자들을 선언하고, forward() 메서드에서 이들의 실행 순서를 정의합니다.

파이프라인은 단순히 순차적인 실행뿐만 아니라, compile() 메서드를 통한 정적 분석 기능을 제공합니다. 컴파일 단계에서는 연산자 간의 의존성 그래프(DAG)를 구성하고, 필요한 데이터 컬럼이 이전 단계에서 생성되었는지, 타입은 맞는지 등을 실행 전에 검증합니다. 또한, '지연된 실행 계획(Deferred Execution Plan)'을 생성하여, 긴 시간이 소요되는 데이터 처리 작업 중간에 체크포인트를 저장하거나 특정 지점부터 재개(Resume)하는 기능을 지원합니다. 이는 대규모 데이터를 다룰 때 필수적인 기능입니다.

연산자의 체계적 분류(Operator Categorization)

DataFlow는 약 200개에 달하는 방대한 연산자 라이브러리를 제공합니다. 이를 체계적으로 관리하고 사용자가 쉽게 찾을 수 있도록 하기 위해, DataFlow는 다차원적인 분류 체계를 도입했습니다.

첫 번째 차원은 모달리티(Modality) 입니다. 텍스트, 이미지, 문서 등 데이터의 유형에 따라 연산자를 분류합니다. 이는 서로 다른 데이터 형식을 처리하는 연산자가 잘못 연결되는 것을 방지합니다.

두 번째 차원은 도메인(Core vs Domain) 입니다. 시스템의 기본 철학을 구현하는 핵심 연산자(Core)와 특정 분야에 특화된 도메인 연산자(Domain)를 구분하여, 시스템의 안정성과 확장성을 동시에 확보합니다.

세 번째이자 가장 중요한 차원은 기능(Functionality) 에 따른 분류입니다. 이는 DataFlow가 추구하는 생성-평가-필터링-정제(Generate-Evaluate-Filter-Refine) 패러다임을 반영합니다.

DataFlow가 추구하는 생성-평가-필터링-정제(Generate-Evaluate-Filter-Refine) 패러다임을 구체화하기 위해, 각각 명확한 의미론과 명명 규칙을 가진 다음과 같은 네 가지 연산자 범주를 정의합니다:

생성(Generate): 데이터의 행(Row)이나 열(Column)을 추가합니다. 예를 들어 AnswerGenerator 는 질문에 대한 답변을 생성하여 열을 추가하고, RowGenerator 는 데이터를 증강하여 행을 늘립니다.
평가(Evaluate): 데이터의 품질, 난이도, 정확성 등을 점수화합니다. SampleEvaluator 는 개별 샘플을 평가하고, DatasetEvaluator 는 전체 데이터셋의 통계를 산출합니다.
필터링(Filter): 평가 결과를 바탕으로 기준에 미달하는 데이터를 제거합니다. 이는 데이터의 품질 밀도를 높이는 핵심 단계입니다.
정제(Refine): 데이터의 내용을 수정하거나 형식을 다듬습니다. 개인정보를 마스킹하거나, 텍스트의 포맷을 통일하는 작업 등이 이에 해당합니다.

이와 같은 분류 체계에 익숙해지면, 사용자는 자신의 목적에 맞는 연산자를 직관적으로 선택하고 조립할 수 있게 됩니다.

무한한 확장을 위한 DataFlow 생태계 (DataFlow-Ecosystem)

통합 데이터 준비 프레임워크는 필연적으로 끊임없이 등장하는 새로운 알고리즘과 워크플로우를 수용해야 하므로, DataFlow는 이를 체계적으로 관리하기 위해 DataFlow-Extension 이라는 개념을 도입했습니다 . 이는 추가적인 연산자, 프롬프트 템플릿, 그리고 파이프라인을 하나의 모듈로 캡슐화한 Python 패키지입니다. 이러한 사용자 기여 기반의 확장 패키지들이 모여 거대한 DataFlow-Ecosystem 을 형성하는데, 이는 마치 Python의 패키지 생태계와 유사한 '플러그 앤 플레이(Plug-and-Play)' 환경을 제공합니다. 즉, 연구자들은 자신이 개발한 도메인 특화 기능을 독립적인 패키지로 배포하고, 다른 사용자들은 이를 pip install 과 import 를 통해 자신의 환경에 즉시 적용하고 재사용할 수 있습니다.

이러한 생태계 확장을 기술적으로 지원하고 개발 장벽을 낮추기 위해, DataFlow는 CLI(Command-Line Interface) 도구를 통한 강력한 자동화 기능을 제공합니다. 개발자가 몇 가지 상위 수준의 명세만 입력하면, CLI가 자동으로 배포 가능한 형태의 전체 저장소 구조(Scaffolding)를 생성해 줍니다. 여기에는 연산자 스텁(Stub), 템플릿, 파이프라인 코드 등이 포함되어 있어, 개발자는 번거로운 초기 설정 없이 핵심 로직 구현에만 집중하면 됩니다 . 더 나아가, 앞서 설명한 DataFlow-Agent 는 자연어 의도를 분석하여 이러한 확장 패키지에 들어갈 연산자나 파이프라인 코드를 자동으로 합성하고 디버깅까지 수행해 줌으로써, 고품질 확장 기능을 개발하는 데 드는 비용을 획기적으로 절감시킵니다 . 결론적으로 DataFlow는 이러한 도구들을 통해 표준화된 연산자와 파이프라인 레시피가 커뮤니티 내에서 공유되고, 복제되며, 지속적으로 개선되는 선순환 구조의 오픈소스 생태계를 구축하는 것을 목표로 합니다.

DataFlow-Agent: 자연어로 만드는 파이프라인

DataFlow의 혁신적인 기능 중 하나는 DataFlow-Agent입니다. 이는 코딩 지식이 부족한 사용자나 빠른 프로토타이핑을 원하는 개발자를 위해, 자연어 명령만으로 복잡한 데이터 파이프라인을 구축할 수 있게 해주는 지능형 오케스트레이션 계층입니다.

DataFlow-Agent의 에이전트 구성

DataFlow-Agent는 LangGraph를 기반으로 한 멀티 에이전트 시스템으로 구현되어 있으며, 아래와 같은 여러 전문 에이전트들 간의 정교한 협업 프로세스를 통해 작동합니다:

의도 분석 에이전트(Intent Analysis Agent): 사용자의 추상적이고 모호한 자연어 요청을 분석하여, 실행 가능한 구체적인 하위 의도(Sub-intent)들의 시퀀스로 분해합니다. 예를 들어 "수학 문제 데이터셋을 만들어줘"라는 요청을 "문제 생성 -> 난이도 평가 -> 저품질 필터링"이라는 단계로 구체화합니다.
데이터 라우팅 에이전트(Data Routing Agent): 입력된 데이터의 특성을 분석하여 적절한 처리 경로를 결정합니다. 만약 사용자가 데이터를 제공하지 않았다면, 파이프라인 테스트를 위한 가상의 합성 데이터(Mock Data)를 생성하여 드라이-런(Dry-run)이 가능하게 합니다.
연산자 검색 에이전트(Operator Retrieval Agent): 분해된 하위 의도를 수행하기 위해 DataFlow의 라이브러리에서 가장 적합한 연산자를 검색합니다.
연산자 합성 에이전트(Operator Synthesis Agent ): 이 부분이 DataFlow-Agent의 가장 강력한 기능입니다. 만약 라이브러리에 필요한 기능을 수행하는 연산자가 없다면, 이 에이전트는 RAG(Retrieval-Augmented Generation)를 활용하여 새로운 연산자 코드를 즉석에서 작성(Coding) 합니다. 이렇게 작성한 코드는 자동으로 단위 테스트와 디버깅 과정을 거쳐 실행 가능한 상태가 됩니다.
연산자 재사용 에이전트(Operator Reuse Agent): 합성된 연산자 코드를 분석하여, 이를 향후 재사용 가능한 프롬프트 템플릿 형태로 변환할 수 있는지 평가합니다.
파이프라인 구축 에이전트(Pipeline Construction Agent): 검색되거나 새로 생성된 연산자들을 올바른 순서로 연결하여 방향성 비순환 그래프(DAG) 형태의 파이프라인을 조립합니다.
파이프라인 검증 에이전트(Pipeline Verification Agent): 조립된 파이프라인을 샌드박스 환경에서 실행해 봅니다. 데이터의 타입 불일치나 런타임 오류가 발생하면, 스스로 파라미터를 조정하거나 연결을 수정하여 오류를 해결합니다.

이러한 자동화된 프로세스를 통해, 사용자는 복잡한 Python 코드를 한 줄도 작성하지 않고도 고도화된 데이터 처리 파이프라인을 확보할 수 있습니다. 이는 기존의 시스템들이 단순히 미리 정의된 연산자의 파라미터만 조정해 주던 것과는 차원이 다른 유연성과 자율성을 제공합니다.

지능형 파이프라인 추천

DataFlow-Agent의 핵심 기능 중 하나는 LangGraph를 사용하여 그래프 기반의 상태 저장 워크플로우(Stateful Workflow) 내에서 일련의 전문화된 에이전트들을 조율하여 파이프라인을 추천하는 기능입니다. 앞서 설명한 에이전트들의 동작은 다음의 네 가지 주요 단계로 구성됩니다:

의도 분해 (Intent Decomposition) 단계: 먼저, 워크플로우는 시스템이 사용자의 자연어 쿼리를 수신하는 것으로 시작됩니다. 앞서 설명한 것과 같이 이 단계에서는 의도 분석 에이전트 (Intent Analysis Agent) 가 사용자의 추상적인 고수준 목표를 실행 가능한 일련의 개별적인 하위 의도(sub-intents)로 분해합니다. 이후 데이터 라우팅 에이전트 (Data Routing Agent) 가 동시에 입력 데이터셋을 평가하여 다운스트림 라우팅을 위한 태스크 범주를 분류합니다. 만약 데이터셋이 제공되지 않은 경우, 이 에이전트는 전체 드라이 런(dry-run) 실행이 가능하도록 가상의 합성 데이터(placeholder)를 생성합니다 .

연산자 합성 (Operator Synthesis) 단계: 다음으로는 분해된 하위 의도들을 충족시키기 위해 적절한 연산자를 찾거나 만들어냅니다. 이 단계에서는 연산자 검색 에이전트 (Operator Retrieval Agent) 가 DataFlow 라이브러리를 검색하여 관련된 기존 연산자들을 찾아내고, 이렇게 검색된 연산자들의 호환성을 연산자 시퀀싱 에이전트 (Operator Sequencing Agent) 가 평가하게 됩니다. 만약 필요한 기능이 라이브러리에 없는 경우, 연산자 재사용 에이전트(Operator Reuse Agent) 가 먼저 기존 코드를 프롬프트 템플릿(prompt_template)을 통해 재사용할 수 있는지 평가합니다. 재사용이 불가능한 경우, 연산자 합성 에이전트(Operator Synthesis Agent) 가 RAG(검색 증강 생성) 기반의 퓨샷 러닝(few-shot learning)을 사용하여 새로운 코드를 생성합니다. 생성된 코드는 안정적인 실행을 보장하기 위해 자동으로 디버깅됩니다 .

파이프라인 조립 (Pipeline Assembly) 단계: 이렇게 검색되거나 합성된 모든 연산자가 검증되면, 파이프라인 구축 에이전트(Pipeline Construction Agent) 가 이들을 하나의 파이프라인으로 조립합니다. 에이전트는 파이프라인을 방향성 비순환 그래프(DAG)로 표현하고, 데이터가 소스(Source)에서 싱크(Sink)로 흐를 수 있도록 초기 연결을 정의합니다 .

검증 (Verification) 단계: 이제 DataFlow 시스템은 통합 테스트를 수행하여 파이프라인의 안정성을 확보합니다. 이 단계에서는 파이프라인 검증 에이전트 (Pipeline Verification Agent) 가 샌드박스 환경에서 데이터 샘플을 사용하여 파이프라인을 실행하고, 연결 상태와 런타임 동작을 확인합니다. 만약 오류가 발생하면 파라미터나 연결을 조정하여 스스로 문제를 수정합니다. 파이프라인이 검증을 통과하면, 결과 보고 에이전트(Result Reporting Agent) 가 최종 리포트를 생성하고 실행 가능한 파이프라인 정의를 출력합니다.

Text-to-SQL 사용 사례 및 파이프라인

DataFlow 팀은 프레임워크의 범용성과 성능을 입증하기 위해, 현재 LLM 연구에서 가장 중요하게 다뤄지는 몇 가지 사용 사례들에 대한 파이프라인을 직접 구현하여 실험을 수행하였습니다. 이 섹션 및 다음 실험 결과 섹션의 각 사례들은 해당 도메인의 특성에 맞춰 정교하게 설계된 연산자들의 조합으로 이루어져 있습니다.

DataFlow 사용과 관련한 더 상세한 튜토리얼이나 파이프라인 예시, 연산자 수준의 문서는 DataFlow 홈페이지를 참고해주세요:

사용 사례. Text-to-SQL 데이터 파이프라인 (Text-to-SQL Data Pipeline)

자연어 질문을 정확한 SQL 쿼리로 변환하는 Text-to-SQL 모델을 학습시키기 위해서는 매우 정교한 데이터가 필요합니다. DataFlow는 이를 위해 데이터베이스 스키마를 활용한 합성 파이프라인을 제안합니다. 이 파이프라인의 핵심 연산자들은 다음과 같습니다.

SQL Generator: 주어진 데이터베이스 스키마(테이블 구조, 컬럼 등)를 바탕으로, '단순함'부터 '매우 복잡함'까지 4단계 난이도의 SQL 쿼리를 무작위로 생성합니다. 이를 통해 다양한 패턴의 쿼리 데이터를 확보합니다.
SQL Augmentor: 기존의 시드(Seed) SQL 쿼리를 입력받아, 이를 변형하여 데이터의 다양성을 높입니다. 쿼리 구조 변경, 비즈니스 로직 변경, 복잡도 증가 등 6가지 증강 전략을 사용하여 데이터의 풍부함을 더합니다.
Execution Filter: 생성된 SQL이 문법적으로 올바른지뿐만 아니라, 실제 데이터베이스 엔진에서 실행 가능한지를 검증합니다. 실행 시 오류가 발생하거나 실행 시간이 너무 오래 걸리는 쿼리는 과감히 필터링하여 데이터의 품질을 보장합니다.
Question Generator: 생성된 SQL 쿼리의 의미를 정확히 반영하는 자연어 질문을 생성합니다. 이 때, 질문의 스타일(격식체, 구어체, 모호한 질문 등)을 다양하게 조절하여 모델의 대응 능력을 높입니다.
CoT Generator: 단순히 질문과 정답 SQL만 주는 것이 아니라, 어떤 논리적 단계를 거쳐 해당 SQL이 도출되었는지를 설명하는 '사고 사슬(Chain-of-Thought)'을 생성합니다. 이는 모델의 추론 능력을 획기적으로 향상시킵니다.

이러한 연산자들은 SQL 생성 파이프라인(SQL Generation Pipeline) 및 SQL 정제 파이프라인(SQL Refinement Pipeline) 이라는 두 가지 주요 파이프라인으로 구성됩니다. SQL 생성 파이프라인은 스키마 정보만으로 제로 베이스에서 데이터를 생성하는 반면, SQL 정제 파이프라인은 기존의 시드 데이터에서 출발하여 증강 및 정제 과정을 거친다는 차이점이 있습니다. 두 파이프라인 모두 생성-평가-필터링-정제의 순환 구조를 따르며, 최종적으로는 SQL Component Classifier 및 SQL Execution Classifier 를 통해 데이터의 난이도를 라벨링함으로써 학습 데이터로서의 가치를 극대화합니다.

또한, 이러한 복잡한 데이터 파이프라인이 안정적으로 돌아가기 위해서는 견고한 인프라가 뒷받침되어야 합니다. DataFlow는 이를 위해 Database Manager 모듈을 도입하여 데이터베이스 상호작용의 복잡성을 추상화했습니다. 이 모듈은 connect_db (연결), execute_sql (실행), get_schema (메타데이터 추출)와 같은 표준화된 인터페이스를 정의한 DatabaseConnector 추상 기본 클래스를 제공합니다. 개발자는 MySQL, SQLite, PostgreSQL 등 다양한 데이터베이스 시스템에 맞춰 이 클래스를 상속받아 구현하기만 하면, 상위 연산자 로직을 수정하지 않고도 다양한 DB 백엔드를 유연하게 교체하며 사용할 수 있습니다. 이는 시스템의 처리량을 높이고 높은 동시성 부하에서도 안정적인 실행을 보장하는 핵심 요소입니다.

이 외에도 DataFlow는 Prompt Template 모듈을 통해 프롬프트 엔지니어링의 효율성을 극대화했습니다. Text-to-SQL 작업만 하더라도 기본 CRUD 쿼리 생성, 벡터 검색용 SQL 생성, 난이도별 생성 등 다양한 시나리오가 존재하며, 각 시나리오마다 최적화된 프롬프트가 다릅니다. DataFlow는 연산자 로직과 프롬프트 구성을 분리하여, Prompt 클래스만 교체하면 동일한 SQL Generator 연산자를 전혀 다른 목적의 작업에 재사용할 수 있도록 설계되었습니다. 개발자는 새로운 Prompt 클래스 내에 build_prompt 메서드만 재정의하면 되므로, 코드의 중복을 줄이고 파이프라인의 유지보수성을 크게 높일 수 있습니다. 이러한 설계는 DataFlow가 단순한 도구 모음이 아니라, 확장 가능한 시스템 레벨의 프레임워크임을 증명합니다.

DataFlow 성능 실험

연구진들은 텍스트, 수학, 코드 데이터 전처리부터 DataFlow를 활용해 구축한 Text-to-SQL 및 AgenticRAG 워크플로우에 이르기까지 포괄적인 실험을 수행하였습니다. Recall 프레임워크로 학습한 AgenticRAG 실험을 제외한 모든 실험은 LLaMA-Factory 프레임워크를 사용해 수행되었습니다. 또한 다양한 작업 전반에 걸친 모델의 일반적인 지시문 튜닝 성능을 평가하기 위해 이러한 모달리티를 통합합니다.

실험1. 텍스트 데이터 준비(Text Data Preparation)

DataFlow 연구진은 텍스트 데이터 준비가 모델 성능에 미치는 영향을 검증하기 위해, 사전 학습(PT, Pre-Training)과 미세 조정(SFT) 두 가지 시나리오에서 광범위한 실험을 수행했습니다:

사전 학습 데이터 필터링 (Pre-training Data Filtering): 연구진은 먼저 627B 토큰 규모의 SlimPajama 코퍼스에서 100B 토큰을 추출한 뒤, DataFlow의 텍스트 필터링 파이프라인(dataflow/operators/text_pt/filter)을 적용하여 4가지 방법으로 상위 30%에 해당하는 약 30B 규모의 토큰을 선별하였습니다:

Random-30B: 무작위 샘플링을 수행
FineWeb-Edu-30B: FineWeb-Edu에서 교육적 필터링(Educational Filtering)을 수행
Qurating-30B: Qurating Filter를 적용(educational_value ≥ 7.5, facts_and_trivia ≥ 4.0, required_expertise ≥ 5.0, writing_style ≥ 1.0)
DataFlow-30B: DataFlow PT 필터를 교차 적용한 위 상위 30%를 선택

이렇게 선별한 4종류의 데이터셋을 가지고 Qwen2.5-0.5B 모델을 사전학습을 했을 때의 벤치마크 결과입니다:

DataFlow의 필터를 통과한 데이터(DataFlow-30B)로 학습한 모델이 ARC, MMLU, HellaSwag 등 6개 일반 벤치마크 평균에서 35.69점을 기록하여 가장 높은 성능을 보였습니다. 이는 FineWeb-Edu(35.57점)나 Qurating(35.02점)보다 높은 수치로, DataFlow의 다중 필터 교차 적용 방식이 의미론적으로 더 일관되고 깨끗한 데이터를 선별함을 입증하였습니다.

SFT 데이터 필터링 및 합성 (SFT Data Filtering & Synthesis): 소규모 데이터셋을 활용한 SFT(Supervised Fine-Tuning) 단계에서도 DataFlow의 효과는 뚜렷했습니다. 연구진은 WizardLM과 Alpaca 데이터셋에서 무작위로 추출한 5,000개(5K) 샘플과, DataFlow 파이프라인으로 필터링한 5K 샘플을 비교했습니다.

연구진은 DataFlow의 'Condor Generator'와 'Condor Refiner' 파이프라인을 사용해 15,000개(15K)의 합성 데이터(DataFlow-SFT-15K)를 자체 구축했습니다. 흥미로운 점은 이 합성 데이터는 별도의 필터링 없이도 이미 Alpaca나 WizardLM의 필터링된 버전보다 수학 성능(49.3점 vs 39.8~44.8점)이 월등히 높았다는 점입니다. 이는 잘 설계된 합성 파이프라인이 기존의 인간 수집 데이터보다 더 고품질의 학습 신호를 제공함을 시사합니다.

대화 도메인 합성 (Conversation-Domain Synthesis): 챗봇의 대화 능력을 향상시키기 위한 실험도 진행되었습니다. 연구진은 대화 생성 파이프라인을 통해 DataFlow-Chat-15K 데이터셋을 구축하고 Qwen2.5-7B-Base 모델을 튜닝하여 성능을 비교하였습니다.

널리 사용되는 ShareGPT-15K나 UltraChat-15K 데이터셋과 비교했을 때, DataFlow 데이터로 학습한 모델은 일반 벤치마크 평균 점수를 26.36점에서 28.21점으로 끌어올렸습니다. 특히, 지시(instruction) 이행 능력을 평가하는 AlpacaEval 지표에서는 7.05점에서 10.11점으로 비약적인 성능 향상을 기록하며, DataFlow의 정제 및 필터링 스택이 대화형 모델 구축에도 매우 효과적임을 증명했습니다.

실험2. 수학 추론 데이터 준비(Math Reasoning Data Preparation)

DataFlow 연구진은 LLM의 수학적 문제 해결 능력을 극대화하기 위해, 'DataFlow Reasoning Pipeline'을 구축하고 이를 통해 생성된 고품질 합성 데이터의 효과를 검증했습니다. 이 파이프라인은 단순히 문제를 생성하는 것을 넘어, 문제 합성(Problem Synthesis) → 품질 검증(Quality Verification) → 사고 사슬 생성(CoT Generation) 의 3단계 과정을 거칩니다.

연구진은 NuminaMath 를 시드 데이터로 활용하여 새로운 문제를 합성하고, MathQ-Verify 모듈을 통해 모호하거나 오류가 있는 문제를 엄격히 필터링했습니다. 이후 검증된 문제에 대해 DeepSeek-R1 모델을 사용하여 단계별 추론 과정(CoT)을 생성함으로써 DataFlow-Reasoning-10K 데이터셋을 구축했습니다. 비교 실험을 위해 Open-R1 과 Synthetic-1 데이터셋에서 무작위로 추출한 10k 샘플과 성능을 비교하였으며, Qwen2.5-32B-Instruct 모델을 1 epoch 및 2 epoch 동안 튜닝하였습니다.

실험 결과, Synthetic-1이나 Open-R1의 무작위 하위 집합을 사용한 경우보다 DataFlow로 생성된 데이터셋이 더 우수한 성능을 보였습니다. 특히 2 epoch 학습 시 DataFlow-Reasoning-10K는 평균 점수 55.7점 을 기록하여 Open-R1(54.2점)과 Synthetic-1(54.0점)을 모두 앞질렀습니다. 이는 단순히 많은 데이터를 사용하는 것보다, MathQ-Verify 와 같은 검증 모듈을 통해 데이터의 정합성을 확보하고 고품질의 CoT를 생성하는 것이 모델의 추론 능력 향상에 결정적임을 시사합니다.

실험3. 코드 데이터 준비(Code Data Preparation)

코드 생성 모델의 성능 향상을 위해 연구진은 Ling-Coder-SFT 데이터셋을 시드로 활용하여 DataFlow의 CodeGenDataset_APIPipeline을 통해 데이터를 확장했습니다 . 이 파이프라인의 핵심은 단순히 코드만 생성하는 것이 아니라, 해당 코드를 검증할 수 있는 단위 테스트 케이스를 생성하고 실제 실행(Execution)을 통해 검증한다는 점입니다.

연구진은 이렇게 구축된 DataFlow-Code-1K/5K/10K 데이터셋과 기존의 오픈소스 데이터셋인 Code Alpaca, Self-OSS-Instruct-SC2-Exec-Filter를 비교했습니다. 공정한 비교를 위해 베이스라인 데이터셋들도 1k 규모로 서브샘플링하여 Qwen2.5-7B/14B-Instruct 모델을 튜닝했습니다 .

위 결과에서 볼 수 있듯이, DataFlow로 생성된 데이터셋은 모든 규모(1k~10k)에서 베이스라인을 압도했습니다. 특히 DATAFLOW-CODE-10K로 학습한 Qwen2.5-7B 모델은 평균 46.2점을 기록하여 Code Alpaca(42.1점) 대비 큰 성능 향상을 보였습니다. 더욱 주목할 점은 실행 정확도를 엄격히 평가하는 LiveCodeBench에서의 성능 향상입니다. 14B 모델의 경우, 베이스라인 데이터셋들은 오히려 성능을 저하시키기도 했으나(Code Alpaca: 28.2), DataFlow 데이터는 원본 모델 수준을 유지하거나 향상시켰습니다. 이는 DataFlow의 실행 기반 필터링이 코드의 문법적 오류뿐만 아니라 논리적 오류까지 효과적으로 걸러내어 고품질의 학습 신호를 제공했기 때문입니다.

실험4. Text-to-SQL 데이터 준비(Text-to-SQL Data Preparation)

Text-to-SQL 작업은 자연어 질문을 데이터베이스 쿼리로 변환하는 고난도 작업으로, 데이터의 정확성과 실행 가능성이 무엇보다 중요합니다. 연구진은 Spider, BIRD, EHRSQL 데이터셋을 시드로 하여, DataFlow 파이프라인(SQL 생성, 증강, 실행 필터링, 질문 생성, CoT 생성)을 통해 DataFlow-Text2SQL-90K 데이터셋을 구축했습니다 .

이 실험에서는 Qwen2.5-Coder-7B-Instruct 모델 등을 사용하여 DataFlow 데이터셋과 기존의 대규모 합성 데이터셋인 SynSQL을 비교했습니다. 특히 SynSQL은 250만 개(2.5M)의 방대한 데이터를 보유하고 있음에도 불구하고, 9만 개에 불과한 DataFlow 데이터셋이 더 뛰어난 효율을 보였습니다 .

결과를 살펴보면, DataFlow-Text2SQL-90K로 학습한 Qwen2.5-Coder-7B-Instruct 모델은 Spider 데이터셋에서 85.0의 정확도를 기록하여 SynSQL(90K)의 83.1를 상회했습니다. 가장 놀라운 결과는 EHRSQL 벤치마크에서 나타났는데, 베이스라인 모델들이 24~40%대에 머무를 때 DataFlow 모델은 무려 58.7의 정확도를 기록했습니다. 이는 DataFlow 파이프라인이 포함하고 있는 'SQL 실행 필터(Execution Filter)'와 다양한 '증강 전략(Augmentation)'이 데이터의 실질적인 품질과 다양성을 획기적으로 높였음을 증명합니다. 심지어 9만개의 데이터(DataFlow-Text2SQL-90K)만으로도 250만 개의 데이터(SynSQL-2.5M)를 능가하는 성능(평균 71.6 vs 70.0)을 보여주었습니다.

실험5. 에이전트 RAG, 지식 추출 및 통합 데이터 준비(Advanced & Unified Data Preparation)

마지막으로, DataFlow 연구진은 에이전틱 RAG(Agentic RAG) 분야의 난제인 다중 단계(Multi-hop) 질의응답 데이터 생성 성능을 검증하기 위해, DataFlow 파이프라인을 통해 자체 데이터셋을 구축하고 기존의 인간 구축 데이터셋들과 비교 실험을 수행했습니다 :

데이터셋 구축 (Dataset Construction): 연구진은 위키피디아 덤프를 기반으로 DataFlow AgenticRAG 파이프라인을 적용하여 10,000개 규모의 고품질 데이터셋인 DataFlow-AgenticRAG-10k를 구축했습니다. 구체적인 생성 과정은 다음과 같습니다 :

문서 선별 (Document Selection): 위키피디아에서 문서를 무작위로 선정하되, 데이터 분포의 중복을 방지하기 위해 테스트 벤치마크에 이미 포함된 문서는 철저히 배제하였습니다.
질문 초안 생성 (Draft Generation): GPT-4o-mini 모델과 DataFlow의 생성 모듈을 결합하여, 선별된 문서를 바탕으로 다중 단계 추론이 필요한 질문의 초안을 작성했습니다.
품질 검증 (Quality Verification): 검증 모듈을 통해 중간 정보 유출(intermediate question leakage), 논리적 오류, 지나치게 높거나 낮은 난이도 등을 스크리닝하여 최종 데이터셋을 형성했습니다.

연구진은 ReCall 프레임워크와 Qwen2.5-7B-Instruct 모델을 사용하여 학습을 진행했습니다 . 비교 대상으로는 2WikiMultiHopQA, Musique, HotpotQA, Bamboogle 등 대표적인 다중 단계 QA 데이터셋들이 사용되었으며, 공정한 비교를 위해 학습에 사용된 데이터셋을 평가에서 제외하는 OOD(Out-of-Distribution) 평균 점수를 측정했습니다 .

위 표는 다양한 훈련 데이터 소스에 따른 모델의 Exact Match(%) 성능을 보여줍니다. 결과를 분석해보면, DataFlow로 생성된 합성 데이터(DF-AgenticRAG)가 인간이 구축한 데이터셋보다 더 뛰어난 일반화 성능을 보였습니다. 먼저 HotpotQA 데이터로 학습한 모델(OOD Avg 36.4)과 비교했을 때, DataFlow 모델은 37.4점을 기록하여 인간이 만든 데이터셋을 상회하는 성능을 보였으며, Musique(42.4점)와 2Wiki(33.8점) 데이터셋으로 학습한 경우와 비교했을 때도, DataFlow 모델은 각각 43.6점 과 36.4점을 기록하며 가장 높은 OOD 점수를 달성했습니다 .

이는 DataFlow 파이프라인을 통해 생성된 다중 단계 추론 데이터가 특정 데이터셋에 과적합되지 않고, 강력한 교차 데이터셋 일반화(Cross-dataset Generalization) 능력을 제공함을 입증합니다.

실험6. 지식 추출(Knowledge Extraction)

연구진은 웹상의 방대한 비정형 코퍼스를 활용하기 위해, 반자동화된 지식 추출 파이프라인(Knowledge Extraction Pipeline) 을 제안하고 그 효과를 의학 도메인에서 검증했습니다. 이 파이프라인은 MinerU 도구를 활용한 텍스트 정규화, 문서 분할, 노이즈 필터링, 팩트 기반 QA 생성, 그리고 자동화된 품질 검증 단계를 거쳐 고품질의 SFT용 데이터셋을 생성합니다. 실험을 위해 연구진은 USMLE 교과서(MedQA Books), NCBI의 StatPearls 논문, 그리고 16개 전문 기관의 임상 가이드라인 등에서 수집한 1억 4천만(140M) 토큰 분량의 원시 의학 데이터를 파이프라인에 통과시켜 DataFlow-Knowledge 데이터셋을 구축했습니다.

Qwen2.5-7B-Instruct 모델을 기반으로 수행한 비교 실험 결과는 위와 같습니다. DataFlow-Knowledge 데이터로 미세 조정(SFT)된 모델은 모든 벤치마크에서 베이스라인을 압도했습니다. 특히, 단순한 CoT 프롬프팅이나 RAG(검색 증강 생성) 방식과 비교했을 때, DataFlow 모델은 PubMedQA와 Covert 벤치마크에서 15~20% 포인트 이상의 정확도 향상을 기록했습니다. RAG 방식이 PubMedQA에서는 소폭의 성능 향상을 보였으나 Covert와 PubHealth에서는 오히려 성능이 불안정했던 것과 대조적으로, DataFlow 파이프라인을 통해 정제된 QA 데이터로 학습한 모델은 도메인 지식과 추론 능력을 확실하게 내재화했음을 보여주었습니다.

실험7. 통합 멀티 도메인 데이터 준비(Unified Multi-Domain Data Preparation)

DataFlow 연구진은 단일 도메인을 넘어, 수학, 코드, 일반 텍스트 데이터를 모두 아우르는 통합 데이터셋의 효용성을 검증하기 위해 DataFlow-Instruct-10K를 구축했습니다. 이 데이터셋은 DataFlow 파이프라인을 통해 생성된 수학 문제(3k), 코드 인스트럭션(2k), 일반 대화 데이터(5k) 등 총 1만 개(10k)의 샘플로 구성되었습니다. 연구진은 이를 100만 개(1M) 규모의 대형 일반 데이터셋인 Infinity-Instruct 와 비교하여, 소규모 고품질 합성 데이터의 효율성을 입증하고자 했습니다.

실험 결과, 단 1만 개의 DataFlow-Instruct-10K로 학습한 모델이 100만 개의 데이터로 학습한 Infinity-Instruct-1M 모델보다 전반적으로 우수한 성능을 보였습니다. 수학 벤치마크에서 Qwen2.5-7B-Base 모델은 DataFlow 데이터로 학습 시 평균 46.7점을 기록해 Inf-1M(33.3점)을 크게 앞섰으며, 인스트럭션 튜닝된 모델(49.8점)에 근접한 성능을 보였습니다.

코드 및 일반 지식 벤치마크에서도 DataFlow 모델은 Infinity-Instruct 계열 모델들보다 높은 점수를 기록하거나 대등한 성능을 유지했습니다. 이는 도메인별로 특화된 고품질 합성 데이터를 통합하여 학습시키면, 데이터의 양이 적더라도 모델의 다방면 능력을 효율적으로 향상시킬 수 있음을 강력하게 시사합니다.

실험8. 에이전트 오케스트레이션(Agentic Orchestration)

마지막으로, 연구진은 자연어 명령을 통해 자동으로 데이터 파이프라인을 구축하는 DataFlow-Agent의 성능을 평가했습니다. 이를 위해 6개의 대표적인 파이프라인에 대해 난이도별(Easy, Medium, Hard)로 총 18개의 자연어 과제를 생성하여 테스트를 진행했습니다. 평가는 에이전트가 생성한 파이프라인이 텍스트 명세를 얼마나 잘 준수했는지(Text Specification Alignment)와, 정답 코드와 논리적으로 얼마나 일치하는지(Code Implementation Consistency)를 LLM 평가자(LLM-Judge)가 채점하는 방식으로 이루어졌습니다.

평가 결과, DataFlow-Agent는 텍스트 명세 준수 측면에서 전체 평균 0.80점의 높은 점수를 기록했습니다. 특히 명세가 구체적인 'Easy' 난이도에서는 0.92점의 매우 높은 정확도를 보였습니다. 반면, 코드 구현 일치도는 평균 0.49점으로 상대적으로 낮게 나타났는데, 이는 과제가 모호해질수록(Hard 난이도 0.23점) 에이전트가 정답 코드와는 다르지만 기능적으로 타당한 대안적 파이프라인을 유연하게 생성하기 때문인 것으로 분석되었습니다. 이 실험은 DataFlow-Agent가 사용자의 의도를 파악하여 실제로 실행 가능한 복잡한 파이프라인을 자율적으로 구성할 수 있음을 보여줍니다.

결론

DataFlow는 지금까지 파편화되어 있던 LLM 데이터 준비 과정을 하나의 통합된 시스템으로 묶어낸 혁신적인 프레임워크입니다. DataFlow 기술 문서가 제시하는 핵심 가치들은 다음과 같습니다:

첫째, 통합성(Unification) 입니다. 서로 다른 도메인과 포맷의 데이터를 처리하는 과정을 표준화된 연산자와 파이프라인으로 통합함으로써, 데이터 엔지니어링의 효율성과 재현성을 획기적으로 높였습니다.

둘째, 고성능(Performance) 입니다. 방대한 실험을 통해, 잘 설계된 파이프라인으로 생성된 소량의 고품질 데이터가 대량의 정제되지 않은 데이터보다 훨씬 강력한 모델 성능을 이끌어냄을 증명했습니다.

셋째, 지능화(Intelligence) 입니다. DataFlow-Agent를 통해 코딩 능력이 부족한 사용자도 자연어만으로 복잡한 데이터 파이프라인을 구축할 수 있는 길을 열었습니다.

DataFlow 연구팀은 여기서 멈추지 않고 생태계를 더욱 확장할 계획입니다. 텍스트를 넘어 이미지, 비디오, 그래프 데이터를 처리할 수 있는 DataFlow-Multimodal, 과학적 발견을 위한 DataFlow-AI4S, 그리고 산업 현장의 대규모 데이터 처리에 최적화된 DataFlow-Industry 등을 개발하여 DataFlow를 데이터 중심 AI 시대의 사실상 표준(De facto standard)으로 만들고자 합니다.

DataFlow 기술 문서

DataFlow 소개 글 (설치 및 사용방법 포함)

DataFlow

: 데이터 중심 AI를 위한, LLM 기반 통합 데이터 준비 및 워크플로우 자동화 프레임워크 소개 읽을거리&정보공유

[DataFlow: 데이터 중심 AI를 위한, LLM 기반 통합 데이터 준비 및 워크플로우 자동화 프레임워크 소개] DataFlow 소개 DataFlow는 LLM(Large Language Model)의 성능을 극대화하기 위해 설계된 데이터 중심 AI(Data-Centric AI) 시스템입니다. 이 프레임워크는 PDF, 일반 텍스트, 저품질의 Q&A 등 노이즈가 많은 원시 데이터를 파싱, 생성, 처리, 평가하여 고품질의 데이터셋으로 변환하는 과정을 자동화합니다. 단순한 데이터 필터링 도구를 넘어, 사전 학습(Pre-training), 지도 미세 조정(SFT), 강화 학습(RL) 및 RAG(검색 증강 생성)에 필요한 맞춤형 데이터를 체계적으로 생산할 수 있는 통합 솔루션입니다. 최근 AI 연구의 흐름은 모델 구조의 개선 못지않게 '데이터의 품질'을 중시하는 방향으로 이동하고 있습니다. 하지만 특정 도메인(의료, 금융, 법률 등)에 특화된 고품질 데이터를 확보하는 것은 매우 비용이 …

DataFlow GitHub 저장소

이 글은 GPT 모델로 정리한 글을 바탕으로 한 것으로, 원문의 내용 또는 의도와 다르게 정리된 내용이 있을 수 있습니다. 관심있는 내용이시라면 원문도 함께 참고해주세요! 읽으시면서 어색하거나 잘못된 내용을 발견하시면 덧글로 알려주시기를 부탁드립니다.

파이토치 한국 사용자 모임이 정리한 이 글이 유용하셨나요? 회원으로 가입하시면 주요 글들을 이메일로 보내드립니다! (기본은 Weekly지만 Daily로 변경도 가능합니다.)

아래쪽에 좋아요를 눌러주시면 새로운 소식들을 정리하고 공유하는데 힘이 됩니다~