Morphik Core 소개
대규모 언어 모델(LLM)을 기반으로 한 RAG(Retrieval-Augmented Generation) 시스템을 구현할 때 가장 큰 고민 중 하나는 “데이터를 얼마나 유연하게, 그리고 효율적으로 다룰 수 있는가”입니다. Morphik은 바로 이 문제에 정면으로 대응하는 오픈소스 플랫폼입니다. 다양한 비정형 데이터(PDF, 영상, 텍스트 등)를 받아들이고, 멀티모달 임베딩과 지식 그래프, 룰 기반 메타데이터 추출 등을 통해 AI 친화적인 데이터 인프라를 제공합니다.
Morphik Core는 기존에 databridge-core로 불렸던 오픈소스 프로젝트로, 비정형 데이터를 구조화된 형태로 변환하고, AI 시스템과 효율적으로 연동할 수 있도록 설계된 데이터 인프라입니다. 특히 멀티모달 데이터를 처리할 수 있는 ColPali 임베딩, 지식 그래프 자동 생성, 자연어 기반의 룰 엔진, 캐싱 시스템, 그리고 확장 가능한 스토리지 백엔드(PostgreSQL, MongoDB 등) 등 다양한 기능을 갖추고 있어 실용성과 확장성을 동시에 잡았습니다.
Morphik은 단순한 벡터 데이터베이스가 아닙니다. 문서 내의 의미적 연결을 그래프 기반으로 시각화하고, 사용자 정의 룰을 통해 데이터 수집과 정제 과정을 자동화할 수 있어, RAG 시스템을 구축하려는 개발자나 팀에게 매우 유용합니다.
주요 기능
비정형 데이터 완벽 지원
- PDF, 영상, 텍스트 등 어떤 포맷이든 지능적으로 파싱해서 수집할 수 있습니다.
- 텍스트+이미지 기반의 ColPali 임베딩으로 멀티모달 검색도 지원합니다.
- 또한, 문서를 자동으로 쪼개고 임베딩해주는 기능도 내장되어 있습니다.
지식 그래프 통합
-
문서에서 엔터티와 관계를 자동으로 추출해서 지식 그래프로 시각화할 수 있어요.
-
관련성이 높은 문서들을 그래프 기반으로 검색할 수 있어서 맥락 파악이 쉬워집니다.
고급 RAG 기능
-
벡터 검색 → 재정렬까지 여러 단계로 문서를 찾아주는 멀티 스테이지 검색을 지원합니다.
-
유사도 임계값 조절, 메타데이터 필터링 같은 세부 조정도 가능합니다.
자연어 기반 룰 엔진
-
“이런 형식으로 메타데이터를 뽑아줘”라는 식의 룰을 자연어로 설정할 수 있습니다.
-
문서를 수집하면서 자동으로 구조화된 정보를 뽑아내고, 문서를 변환하는 것도 가능합니다.
영속적인 KV 캐싱
-
문서를 수집할 때 처리 상태를 ‘고정’해두는 방식으로 연산 비용을 줄일 수 있습니다.
-
자주 쓰는 문서 일부만 선택적으로 캐싱해서 성능을 높이는 것도 가능합니다.
MCP 지원 (Model Context Protocol)
- AI 시스템 간에 지식을 쉽게 공유할 수 있는 표준 프로토콜을 지원합니다.
확장 가능한 아키텍처
-
직접 만든 파서나 임베딩 모델을 붙일 수 있고, S3나 로컬 디스크 같은 다양한 저장소도 지원합니다.
-
PostgreSQL/pgvector, MongoDB와도 자연스럽게 통합할 수 있습니다.
라이선스
Morphik Core 프로젝트는 MIT License로 공개 및 배포되고 있습니다.
Morphik Core GitHub 저장소
Morphik Core 공식 문서 사이트
이 글은 GPT 모델로 정리한 글을 바탕으로 한 것으로, 원문의 내용 또는 의도와 다르게 정리된 내용이 있을 수 있습니다. 관심있는 내용이시라면 원문도 함께 참고해주세요! 읽으시면서 어색하거나 잘못된 내용을 발견하시면 덧글로 알려주시기를 부탁드립니다. 
파이토치 한국 사용자 모임
이 정리한 이 글이 유용하셨나요? 회원으로 가입하시면 주요 글들을 이메일
로 보내드립니다! (기본은 Weekly지만 Daily로 변경도 가능합니다.)
아래
쪽에 좋아요
를 눌러주시면 새로운 소식들을 정리하고 공유하는데 힘이 됩니다~ 