Skyvern: LLM 기반 브라우저 자동화 도구

9bow · 3월 16, 2024, 12:28오후

Skyvern은 LLM(대규모 언어 모델)과 컴퓨터 비전을 사용하여 브라우저 기반 워크플로우를 자동화하는 오픈소스 프로젝트입니다. 브라우저 자동화의 전통적인 방법은 종종 특정 웹사이트에 대한 사용자 정의 스크립트를 작성하는 방식이었지만, 레이아웃이 변경되는 경우에는 정상적인 동작을 보장하기 어려웠습니다. Skyvern은 이러한 수동 워크플로우를 완전히 자동화하는 것을 목표로 하고 있습니다.

Skyvern 소개

Skyvern은 BabyAGI와 AutoGPT 프로젝트에서 볼 수 있는 태스크 주도형 자율 에이전트 개념에서 영감을 받았으며, 몇 가지 개선을 하였습니다:

Playwright와 같은 브라우저 자동화 라이브러리를 사용하여 웹사이트와 상호 작용할 수 있습니다. 이는 Skyvern이 낯선 웹사이트에서도 작동할 수 있게 하여, 웹사이트 레이아웃이 변경되더라도 적응할 수 있게 합니다.
Skyvern은 화면상의 항목을 컴퓨터 비전으로 파싱하여 이 분석을 바탕으로 상호 작용 계획을 수립합니다. 또한 복잡한 시나리오를 탐색하기 위해 LLM을 사용하여 상호 작용을 추론합니다.

설치 및 사용 방법

Skyvern을 사용하기 위한 준비 과정과 설치 방법은 다음과 같습니다. Skyvern은 LLM(대규모 언어 모델)과 컴퓨터 비전을 활용하여 브라우저 기반 워크플로우를 자동화하는 오픈소스 프로젝트입니다. 이를 통해 사용자는 웹사이트 상의 다양한 작업을 자동화할 수 있습니다:

필요 사항

Python 3.11: Skyvern은 Python 3.11에서 작동하도록 설계되었습니다. 따라서 해당 버전의 Python이 시스템에 설치되어 있어야 합니다.
Poetry: Python 패키지 관리와 의존성 관리를 위해 Poetry가 필요합니다.
PostgreSQL 14: 데이터베이스로 PostgreSQL을 사용합니다. macOS 사용자의 경우, 설치 스크립트가 Homebrew를 통해 PostgreSQL을 설치할 수 있습니다.

설치 방법

환경 설정

macOS 사용자의 경우, Homebrew를 통해 필요한 도구를 설치할 수 있습니다. Homebrew가 없다면 Homebrew 공식 웹사이트에서 설치할 수 있습니다.
Poetry는 Python 패키지 관리를 위해 필요합니다. Poetry 설치 방법은 Poetry 공식 문서를 참조하십시오. macOS 사용자는 다음 명령어를 사용하여 설치할 수 있습니다:
```
  brew install poetry
```

Skyvern 저장소 복제

GitHub에서 Skyvern 저장소를 로컬 시스템으로 복제합니다. 터미널을 열고 다음 명령어를 실행하십시오:
```
  git clone https://github.com/Skyvern-AI/Skyvern.git
```
복제한 저장소의 루트 디렉토리로 이동합니다:
```
  cd Skyvern
```

설치 스크립트 실행:

저장소에 포함된 설치 스크립트를 실행하여 필요한 의존성을 설치하고 환경을 설정합니다. 다음 명령어를 실행하십시오:
```
  ./setup.sh
```
이 스크립트는 Python 3.11을 사용하여 Poetry 환경을 설정하고, 필요한 Python 패키지를 설치하며, PostgreSQL을 설치(필요한 경우)하고 구성합니다.

Skyvern 서버 시작:

설치가 완료되면, Skyvern 서버를 시작하기 위해 다음 명령어를 실행하십시오:
```
  ./run_skyvern.sh
```

UI 시작 (선택 사항):

Skyvern에는 사용자가 작업을 시작하고 결과를 확인할 수 있는 간단한 UI가 포함되어 있습니다. UI를 시작하려면 다음 명령어를 실행하십시오:
```
  ./run_ui.sh
```
브라우저에서 http://localhost:8501로 이동하여 UI를 사용할 수 있습니다.

실제 적용 사례

Skyvern의 실제 적용 가능성은 제조 회사의 자재 조달 자동화에서 정부 웹사이트로의 계정 등록이나 양식 작성에 이르기까지 넓습니다. 심지어 어떤 언어로든 보험 견적을 검색할 수 있을 정도로 다양한 분야에서 그 범용성을 보여줍니다.

사레: 제조 기업의 자재 조달 자동화

저장소를 Git Clone한 뒤, 다음의 코드로 직접 실행해볼 수 있습니다:

./run_ui.sh finditparts

사례: 정부 웹사이트로 이동하기

저장소를 Git Clone한 뒤, 다음의 코드로 직접 실행해볼 수 있습니다:

./run_ui.sh california_edd

사레: 보험 제공업체에서 보험 견적 검색하기

저장소를 Git Clone한 뒤, 다음의 코드로 직접 실행해볼 수 있습니다:

./run_ui.sh bci_seguros

더 읽어보기

Skyvern GitHub 저장소

파이토치 한국 사용자 모임 이 정리한 이 글이 유용하셨나요? 회원으로 가입 하시면 주요 글들을 이메일로 보내드립니다! (기본은 Weekly지만 Daily로 변경도 가능합니다.)

아래쪽에 좋아요를 눌러주시면 뉴스 발행에 힘이 됩니다~