# \#crawler **URL:** https://discuss.pytorch.kr/tag/crawler/1102.md [최신](https://discuss.pytorch.kr/latest.md) · [카테고리](https://discuss.pytorch.kr/categories.md) · [태그](https://discuss.pytorch.kr/tags.md) --- ## [Scraperr: 직접 호스팅할 수 있는, 오픈소스 노-코드 웹 스크래핑 도구(No-code Web Scarping Solution)](https://discuss.pytorch.kr/t/scraperr-no-code-web-scarping-solution/7924)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [10월 9, 2025, 9:30오전 UTC](https://discuss.pytorch.kr/t/scraperr-no-code-web-scarping-solution/7924 "2025-10-09T09:30:48Z")
Scraperr 소개 Scraperr는 개발자와 비개발자 모두를 위한 셀프 호스팅(Self-Hosted) 웹 스크래핑 플랫폼으로, “코드 한 줄 없이 웹사이트 데이터를 수집하고 관리할 수 있는 환경”을 제공합니다. Scraperr 프로젝트는 브라우저 자동화 설정, 인증 토큰 관리, 비동기 요청 처리 등과 같은 웹 데이터 수집 과정의 복잡함을 단순화하고, FastAPI 기반 백엔드 와 Next.js 기반 프론트엔드 , MongoDB 데이터베이스 를 결합하여 완전한 웹스크래핑 생태계를 제공합니다. Scraperr의 가장 큰 특징은 코드를 작성하지 않고 직관적인 Web UI를 통해 클릭만으로 데이터 수집 과정을 구성할 수 있는 '시각적 관리형 스크래핑 환경'을 제공한다는 점입니다. 또한, API 중심 설계로, RESTful API를 통해 다른 애플리케이션이나 자동화 파이프라인에서도 Scraperr를 직접 호출할 수 있습니다. 즉, Scraperr는 단순한 크롤링 도구라기 보다는 데이터 수집·저장·활용을 하나로 통합한 플랫폼으로 볼 수 있습니다. 또한, Docker와 Helm 기반 배포를 지원하여, 개인 개발자나 기업이 자체 인프라 내에서 안정적으로 운영할 수 있도록 지원합니다. XPath 개요 Scraperr는 웹 페이지에서 어떠한 데이터를 추출할지 정의하기 위해 XPath를 사용합니다. XPath (XML Path Language) 는 XML 또는 HTML 문서의 특정 요소(element)나 속성(attribute) 을 찾기 위한 경로 언어입니다. 즉, 웹페이지의 구조를 "트리(tree)" 구조로 인식하고, 그 안에서 원하는 데이터의 위치를 지정하는 방법을 제공합니다. 예를 들어, 다음과 같은 HTML 코드가 있을 때, \
\오늘의 기술 뉴스\ \AI 기반 개발 도구가 주목받고 있습니다.\ \ 다음과 같은 XPath를 사용할 수 있습니다: 목적 XPath 결과 … --- ## [AnyCrawl: LLM 학습용 데이터 수집에 최적화된 고성능 웹 크롤링 플랫폼](https://discuss.pytorch.kr/t/anycrawl-llm/7044)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [6월 3, 2025, 3:30오전 UTC](https://discuss.pytorch.kr/t/anycrawl-llm/7044 "2025-06-03T03:30:03Z")
AnyCrawl 소개 AnyCrawl은 복잡한 코드 없이도 웹에서 구조화된 데이터를 빠르게 수집할 수 있는 도구입니다. 특히 LLM 학습용 데이터 수집에 최적화되어 있어, 최신 AI 애플리케이션에 필요한 고품질 데이터를 자동으로 수집하고 정제할 수 있습니다. 한 페이지 당 1초 미만의 속도와 함께, Playwright 기반의 JavaScript 처리까지 지원하는 것이 특징입니다. AnyCrawl은 웹사이트를 구조화된 데이터로 변환하는 데 최적화된 API 기반 크롤링 플랫폼입니다. Node.js와 TypeScript로 작성된 이 툴은 멀티스레드를 활용하여 빠른 속도의 크롤링을 자랑하며, JavaScript 기반 SPA나 동적 콘텐츠 처리까지 가능하게 합니다. 무엇보다도 LLM 학습용 데이터를 생성하기 위한 ‘청결한 마크다운 포맷’ 출력이 기본 제공된다는 점에서, 단순한 크롤러 이상의 가치를 제공합니다. 또한, Google, Bing, Baidu 등 주요 검색 엔진의 검색 결과(SERP)도 정제된 형식으로 추출할 수 있습니다. 웹 프론트엔드에 의존적인 쇼핑몰, 블로그, 뉴스 사이트까지도 문제없이 크롤링하며, OpenAPI 기반의 잘 정리된 문서와 REST API를 통해 다양한 시스템에 손쉽게 통합할 수 있습니다. AnyCrawl과 기존의 주요 도구들을 비교하면 다음과 같습니다: 항목 AnyCrawl Scrapy x-crawl 언어 Node.js/TypeScript Python Node.js LLM 최적화 :white\_check\_mark: 마크다운 및 구조화 :cross\_mark: 별도 파싱 필요 :hollow\_red\_circle: AI 크롤러 지향 JS 처리 :white\_check\_mark: Playwright 지원 :hollow\_red\_circle: 일부 미지원 :hollow\_red\_circle: Puppeteer 중심 사용 편의성 :white\_check\_mark: API 기반, Zero Config :cross\_mark: 설… --- ## [Crawl4AI: LLM 및 AI 애플리케이션을 위한 오픈소스 웹 크롤러(Crawler)](https://discuss.pytorch.kr/t/crawl4ai-llm-ai-crawler/5282)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [10월 2, 2024, 12:20오후 UTC](https://discuss.pytorch.kr/t/crawl4ai-llm-ai-crawler/5282 "2024-10-02T12:20:01Z")
Crawl4AI 소개 Crawl4AI는 대규모 언어 모델(LLM)을 위한 웹 크롤링과 데이터 추출을 비동기적으로 처리하는 라이브러리입니다. 비동기 기능을 통해 여러 URL을 동시에 처리할 수 있고, 웹 페이지의 메타데이터, 미디어 태그, 링크 등을 손쉽게 추출할 수 있습니다. 이 도구는 Playwright와 같은 크롤러를 활용하여 성능을 극대화하고, 크롤링 대상 페이지에서 Javascript 실행 및 CSS 셀렉터를 통한 데이터 추출도 지원합니다. 기존의 동기 크롤링 방식은 웹 페이지 로드 시간과 실행 시간에 큰 영향을 받는 반면, Crawl4AI는 비동기 구조를 통해 빠르고 대규모의 데이터를 효율적으로 수집할 수 있습니다. 이를 통해 AI 응용 프로그램에 필요한 대량의 데이터를 신속하게 확보할 수 있습니다. Crawl4AI의 주요 기능 무료 및 오픈소스: 누구나 자유롭게 사용할 수 있는 무료 오픈소스 프로젝트입니다. 빠른 성능: 상용 서비스보다 빠른 성능을 자랑합니다. 다양한 출력 형식 지원: JSON, HTML, Markdown 등의 LLM 친화적인 형식으로 데이터를 출력합니다. 다중 URL 크롤링: 여러 URL을 동시에 처리하여 효율적인 데이터 수집이 가능합니다. 미디어 태그 추출: 이미지, 오디오, 비디오 태그를 모두 추출합니다. 세션 관리 및 프록시 지원: 복잡한 다중 페이지 시나리오에 유용하며 프록시를 통해 개인 정보 보호 및 접근성을 강화합니다. 고급 데이터 추출: CSS 셀렉터 및 JavaScript 실행을 통해 정확한 데이터 추출이 가능하며, 세부 추출 전략도 지원합니다. 설치 방법 Crawl4AI는 Python 패키지로 설치하거나 Docker로 사용할 수 있습니다. pip를 이용한 설치 pip install crawl4ai 기본적으로 Playwright를 사용하여 비동기 크롤링이 가능하며, 필요한 경우 Playwright를 수동으로 설치할 수 있습니다. playwright install Playwright에 문제가 발생한 … --- ## [AutoCrawler: Web Crawler 생성을 위한 Web Agent](https://discuss.pytorch.kr/t/autocrawler-web-crawler-web-agent/4238)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [4월 29, 2024, 12:33오전 UTC](https://discuss.pytorch.kr/t/autocrawler-web-crawler-web-agent/4238 "2024-04-29T00:33:46Z")
AutoCrawler: Web Crawler 생성을 위한 Web Agent 소개 AutoCrawler는 웹 문서를 수집하는 웹 크롤링(Web Crawling) 작업을 위해 생성된 웹 에이전트입니다. 몇 단계에 걸쳐 점진적으로 Web 문서의 구조와 내용을 파악한 뒤, 이를 통해 보다 효율적으로 데이터를 수집할 수 있는 웹 크롤러(Web Crawler)를 자동으로 생성합니다. 즉, AutoCrawler는 웹 페이지의 HTML 구조를 분석하여 필요한 정보를 추출하는 여러 단계를 거칩니다. 이 과정에서 복잡한 웹 페이지도 효과적으로 크롤링할 수 있는 구조적 패턴을 자동으로 학습합니다. 사용자는 이 코드를 사용하여 연구 논문에서 보고된 결과를 재현할 수 있으며, 이를 위한 세부적인 설치 및 실행 지침은 AutoCralwer 논문과 GitHub 저장소에서 확인할 수 있습니다. AutoCrawler는 기존의 Web Crawler가 웹사이트별로 문서의 구조와 콘텐츠 형태가 달라서 범용적으로 사용하기 어려웠던 문제를 해결할 수 있을 것으로 보이며, 이는 데이터의 다양성과 크롤링의 정확성을 대폭 향상시킬 수 있는 주요 이점을 제공합니다. 또한, 이 기술은 점진적인 웹 이해를 바탕으로 보다 정교한 데이터 수집이 가능하여 외부 정보를 활용할 수 있는 다양한 가능성을 열어줄 것으로 기대합니다. 주요 특징 점진적 이해: AutoCrawler는 웹 페이지의 구조와 세부 정보를 점진적으로 분석하고 이해하여, 보다 정확한 데이터 수집이 가능합니다. 자동 크롤러 생성: 사용자가 직접 크롤러를 설계하지 않아도, 이 시스템은 필요에 따라 자동으로 크롤러를 생성합니다. 고효율성: 기존의 수동 크롤링 방법에 비해 시간과 리소스를 절약할 수 있으며, 크롤링의 정확성을 향상시킵니다. 사용 예시 GitHub 저장소를 복제 및 설치한 뒤, 다음의 예제들을 실행하여 논문의 실험 결과들을 재현해볼 수 있습니다: # Generate crawler with AutoCrawler python cra… --- ## [\[GN\] GPT Crawler - 나만의 GPT를 만들기 위한 웹사이트 크롤러](https://discuss.pytorch.kr/t/gn-gpt-crawler-gpt/2879)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [11월 19, 2023, 3:21오전 UTC](https://discuss.pytorch.kr/t/gn-gpt-crawler-gpt/2879 "2023-11-19T03:21:20Z")
GeekNews의 xguru님께 허락을 받고 GN에 올라온 글들 중에 AI 관련된 소식들을 공유하고 있습니다. :smiley\_cat: 소개 사이트 주소를 넣으면 전체를 크롤링해서 JSON으로 추출해줌(타이틀,주소,HTML) 이 JSON을 GPT 빌더에 넣고 해당 내용 기반으로 동작하는 GPT 생성 본문 셀렉터 및 최대 페이지 설정 각 페이지당 커스텀 함수 실행 가능 원문 GitHub 저장소 프로젝트 소개 출처 / GeekNews --- ## [\[GN⁺\] GPTBot - OpenAI의 웹 크롤러](https://discuss.pytorch.kr/t/gn-gptbot-openai/2257)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [8월 10, 2023, 6:08오전 UTC](https://discuss.pytorch.kr/t/gn-gptbot-openai/2257 "2023-08-10T06:08:29Z")
GeekNews의 xguru님께 허락을 받고 GN에 올라온 글들 중에 AI 관련된 소식들을 공유하고 있습니다. :smiley\_cat: 소개 User agent token: GPTBot Full user-agent string: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.0; +https://openai.com/gptbot) OpenAI가 개발한 웹 크롤러인 GPTBot 소개글 "GPTBot" 이라는 유저 에이전트 토큰 및 전체 유저 에이전트 문자열로 식별 가능 GPTBot이 크롤링한 웹 페이지는 미래의 AI 모델 개선에 사용될 수 있음 크롤러는 페이월 접근이 필요한 소스, 개인 식별 정보(PII) 수집한다고 알려진 곳, OpenAI 정책을 위반하는 텍스트를 필터링함 GPTBot에 사이트 접근을 허용하면 AI 모델의 정확성, 일반 기능, 안전성 향상에 도움이 될 수 있음 사이트의 robots.txt에 GPTBot을 추가하여 사이트 접근을 방지 가능하며, 사이트의 특정 디렉토리에 대한 GPTBot의 접근 허용도 가능 크롤러가 사용하는 IP egress 범위는 OpenAI 웹사이트에 별도로 명시 되어있음 원문 출처 / GeekNews