들어가며 

최근 AI 에이전트 시스템이 발전하면서, 웹을 검색하고 정보를 요약하는 자동화된 연구 도구들이 주목받고 있습니다. OpenAI가 최근 공개한 Deep Research는 이러한 흐름을 반영한 대표적인 사례인데, 이를 오픈소스로 구현하고자 하는 여러 프로젝트들이 등장하고 있습니다.
이번 글에서는 3가지 오픈소스 프로젝트들을 살펴보려고 합니다:
- Hugging Face가 자신들의 smolagents 라이브러리를 활용하여 구현한 Open Deep Research
- 임베딩 모델로 유명한 Jina AI에서 개발 및 공개한 DeepResearch
- Firecrawl 창립자인 Nick Scamara가 Firecrawl을 활용하여 개발/공개한 Open Deep Research
Hugging Face의 Open Deep Research 프로젝트
Open Deep Research는 OpenAI의 Deep Research를 분석하고 오픈소스로 재현한 smolagents 라이브러리의 예시 프로젝트입니다. 단 24시간 만에 핵심 기능을 구현했으며, 특히 GAIA 벤치마크에서 강력한 성능을 보이고 있습니다.
Open Deep Research의 주요 특징
-
GAIA 벤치마크 최적화: OpenAI의 Deep Research와 유사한 방식으로 정보를 검색하고 정리
-
코드 기반 에이전트(CodeAgent) 활용: JSON 대신 Python 코드를 실행하여 더욱 효율적인 작업 수행
-
웹 검색 및 문서 검사 기능 내장
-
오픈소스 AI 모델 지원: GPT-4o뿐만 아니라 DeepSeek R1 같은 오픈소스 LLM 활용 가능
사용 기술 및 라이브러리
-
프로그래밍 언어: Python
-
프레임워크 및 라이브러리: smolagents, requests, BeautifulSoup
-
GAIA 벤치마크 활용
-
텍스트 기반 웹 검색 기능 내장
사용법
아래와 같이 smolagents 라이브러리 GitHub 저장소를 복제하여 Python 코드를 실행합니다. 설정에 따라 오픈소스 LLM을 활용할 수 있습니다:
git clone https://github.com/huggingface/smolagents.git
cd smolagents/examples/open_deep_research
pip install -r requirements.txt
python main.py --query "What is the latest AI research?"
라이선스
smolagents 라이브러리 및 예시 프로젝트인 Open Deep Research는 모두 Apache-2.0 라이선스로 공개 및 배포되고 있습니다.
Hugging Face의 Open Deep Research 소개 블로그
(smolagents 라이브러리 내의) Open Deep Research 프로젝트
더 읽어보기
Jina AI의 DeepResearch
Jina AI의 DeepResearch는 반복적인 검색(Search), 읽기(Read), 추론(Reason)을 수행하며, 웹 기반 연구를 자동화하는 오픈소스 프로젝트입니다. API 기반으로 손쉽게 실행할 수 있으며, 자사의 Jina Reader API를 활용하여 웹 콘텐츠를 빠르게 검색하고 요약합니다.
DeepResearch의 주요 특징
-
반복적인 검색 및 분석: 웹을 탐색하며 최적의 답을 찾기 위해 여러 단계를 수행
-
Jina Reader API 활용: 대규모 웹 페이지에서 정보를 자동으로 검색하고 추출
-
서버 API 지원: RESTful API 형태로 실행 가능
-
LLM과의 유기적인 연계: Google Gemini를 기본 모델로 사용
사용 기술 및 라이브러리
-
프로그래밍 언어: JavaScript (Node.js)
-
프레임워크 및 라이브러리: Jina Reader API, Gemini API
-
비동기 검색 및 추론 기능 포함
사용법
Jina AI의 DeepResearch는 Node.js 환경에서 실행되며, Google Gemini API 및 Jina Reader API 키가 필요합니다. 다음과 같이 GitHub 저장소를 복제하여 CLI 또는 웹 서버로 실행할 수 있습니다:
export GEMINI_API_KEY=your_key
export JINA_API_KEY=your_key
git clone https://github.com/jina-ai/node-DeepResearch.git
cd node-DeepResearch
npm install
npm run dev "what is the latest news from Jina AI?"
라이선스
Jina AI의 DeepResearch 프로젝트는 Apache-2.0 License로 배포됩니다.
Jina AI의 DeepResearch GitHub 저장소
Nick Scamara의 Open Deep Research
Firecrawl Founder인 Nick Scamara가 개발 및 공개한 Open Deep Research는 Firecrawl을 활용한 실시간 웹 검색을 기반으로 데이터를 추출하고, 이를 분석하여 연구를 수행하는 프로젝트입니다. Next.js 기반 웹 애플리케이션으로 개발되어 있으며, Vercel을 활용해 손쉽게 배포할 수 있습니다.
Open Deep Research의 주요 특징:
-
Firecrawl을 활용한 웹 검색 및 데이터 추출
-
Next.js 기반 UI 제공 → 웹 환경에서 직접 사용 가능
-
AI SDK 활용 → OpenAI GPT-4o, Anthropic Claude 등 다양한 LLM 지원
-
Vercel 배포 지원 → 손쉽게 서버 배포 가능
사용 기술 및 라이브러리
-
프로그래밍 언어: JavaScript, TypeScript
-
프레임워크 및 라이브러리: Next.js, AI SDK, Firecrawl
-
데이터 저장소: Vercel Postgres, Vercel Blob
사용법
Open Deep Research 프로젝트는 Node.js 환경에서 실행 가능하며, Firecrawl API 키가 필요합니다:
npm install -g vercel
vercel link
vercel env pull
npm install
npm run dev
라이선스
이 프로젝트는 MIT License로 배포됩니다.
Open Deep Research 데모 영상
Open Deep Research GitHub 저장소
오픈소스 Deep Research 프로젝트 비교 및 정리
프로젝트 | 핵심 기술 | 주요 특징 | LLM 지원 | 검색 방식 | 실행 환경 |
---|---|---|---|---|---|
Hugging Face의 Open Deep Research | 코드 기반 에이전트, GAIA 벤치마크 | 오픈소스 Deep Research 구현, JSON 대신 코드 활용, GAIA 벤치마크에서 높은 성능 | OpenAI (GPT-4 등), DeepSeek R1 | 텍스트 기반 웹 검색 | Python |
Jina AI의 DeepResearch | Jina Reader, LLM (Gemini) | LLM이 웹을 탐색하며 반복적인 검색, API 제공 | Gemini | Jina Reader API 기반 검색 | Node.js |
Nick Scamara의 Open Deep Research | Firecrawl, Next.js, AI SDK | Firecrawl을 활용한 실시간 검색 및 데이터 추출, Next.js 프레임워크 지원 | OpenAI GPT-4o, Anthropic Claude 등 | Firecrawl 기반 웹 검색 | JavaScript, TypeScript |
이 글은 GPT 모델로 정리한 글을 바탕으로 한 것으로, 원문의 내용 또는 의도와 다르게 정리된 내용이 있을 수 있습니다. 관심있는 내용이시라면 원문도 함께 참고해주세요! 읽으시면서 어색하거나 잘못된 내용을 발견하시면 덧글로 알려주시기를 부탁드립니다.
파이토치 한국 사용자 모임
이 정리한 이 글이 유용하셨나요? 회원으로 가입하시면 주요 글들을 이메일
로 보내드립니다! (기본은 Weekly지만 Daily로 변경도 가능합니다.)
아래
쪽에 좋아요
를 눌러주시면 새로운 소식들을 정리하고 공유하는데 힘이 됩니다~