Anubis 소개
최근 AI 스크레이퍼 봇들의 무차별적인 데이터 수집이 문제가 되고 있습니다. 특히 소규모 커뮤니티나 개인이 운영하는 사이트는 보호 수단이 부족한 경우가 많죠. 이런 상황에서 Anubis는 별도의 대형 클라우드 서비스 없이도 손쉽게 설치하고 사용할 수 있는 경량화된 보호 솔루션을 제공합니다.
Anubis는 웹사이트를 과도한 봇 트래픽, 특히 AI 학습용 데이터 수집 봇으로부터 보호하기 위해 설계된 초경량 솔루션입니다. 기본 아이디어는 접속 시 Proof-of-Work(작업증명) 과제를 부여하여, 인간 사용자는 무리 없이 접근할 수 있도록 하고, 과도한 봇 요청은 걸러내는 방식입니다.
Anubis 프로젝트는 클라우드플레어(Cloudflare)와 같은 대형 서비스 없이도 운영할 수 있도록 초경량화를 목표로 하고 있으며, 리소스가 부족한 소규모 웹사이트나 커뮤니티를 염두에 두고 만들어졌습니다. 물론, 이 방법은 구글봇이나 인터넷 아카이브 같은 ‘선한 봇’의 접근까지 차단할 수 있어 주의가 필요합니다. 다행히도, 허용할 봇을 화이트리스트로 설정할 수 있는 기능을 제공하고 있어 어느 정도 조정은 가능합니다.
Anubis는 “작고 가볍게, 내가 원하는 대로”를 추구하는 분들에게 특히 매력적으로, 특히 클라우드플레어 사용이 제한되거나, 직접 보호 방안을 마련하고 싶은 경우에 유용합니다.
Anubis의 주요 기능
- Proof-of-Work 방어: 접속 시 간단한 계산 문제를 풀어야 접근 가능.
- 봇 화이트리스트: 인터넷 아카이브, 검색 엔진 등 선한 봇을 허용할 수 있는 정책 파일 설정 가능.
- 초경량 설계: 리소스가 부족한 환경에서도 문제없이 동작.
- 오픈소스: 직접 수정하거나 확장 가능.
Anubis 라이선스
Anubis 프로젝트는 MIT License로 공개 및 배포되고 있습니다. 상업적 이용 및 수정이 자유롭게 허용됩니다.
Anubis 홈페이지
Anubis GitHub 저장소
이 글은 GPT 모델로 정리한 글을 바탕으로 한 것으로, 원문의 내용 또는 의도와 다르게 정리된 내용이 있을 수 있습니다. 관심있는 내용이시라면 원문도 함께 참고해주세요! 읽으시면서 어색하거나 잘못된 내용을 발견하시면 덧글로 알려주시기를 부탁드립니다. 
파이토치 한국 사용자 모임
이 정리한 이 글이 유용하셨나요? 회원으로 가입하시면 주요 글들을 이메일
로 보내드립니다! (기본은 Weekly지만 Daily로 변경도 가능합니다.)
아래
쪽에 좋아요
를 눌러주시면 새로운 소식들을 정리하고 공유하는데 힘이 됩니다~ 