Kubrick Course 소개
오늘날 인공지능 기술은 그 적용 범위가 급속도로 확장되고 있으며, 단일 텍스트 입력만을 처리하던 과거의 패러다임에서 벗어나 멀티모달(Multimodal) 환경으로 진화하고 있습니다. 이러한 전환은 텍스트, 이미지, 오디오, 비디오 등 다양한 형태의 데이터를 통합적으로 이해하고 처리할 수 있는 능력을 요구합니다. 실제로 OpenAI의 GPT-4o와 같은 최신 대형 언어 모델(LLM)은 텍스트뿐 아니라 음성, 시각 정보 등을 실시간으로 이해하고 반응하는 기능을 갖추며 멀티모달 AI의 대중화를 이끌고 있습니다.
그러나 이러한 고도화된 시스템을 실제로 구현해보기란 결코 쉽지 않습니다. 멀티모달 데이터를 다루기 위한 인프라와 아키텍처 설계는 매우 복잡하고, 이에 맞는 도구나 프레임워크를 학습하는 데에도 높은 진입 장벽이 존재합니다. 특히 **영상(Video)**이라는 데이터 형태는 용량이 크고, 시간 축을 포함한 구조적 복잡성으로 인해 일반적인 머신러닝 워크플로우로는 다루기 어렵습니다.
이러한 배경 속에서 등장한 Kubrick Course는 영상 중심의 멀티모달 AI 에이전트를 직접 설계하고 구현할 수 있도록 돕는 오픈소스 실습형 강좌입니다. The Neural Maze와 Neural Bits라는 AI 전문 미디어와 Pixeltable, Opik 등의 기술 파트너가 협업하여 구성한 이 강좌는, 단순한 코드 튜토리얼을 넘어 실제로 작동하는 실무형 에이전트 시스템 구축을 목표로 하고 있습니다.
강좌의 이름은 스탠리 큐브릭 감독의 SF 고전 영화 『2001: 스페이스 오디세이』에서 영감을 얻어 지어졌으며, 영화 속 인공지능 HAL 9000을 현대 AI 에이전트 기술로 재현하는 느낌을 전달하고자 했습니다. 이는 단순한 재미를 위한 것이 아니라, 사용자가 실제로 자신의 ‘HAL’을 만들며 멀티모달 AI의 핵심 개념과 기술을 손에 익힐 수 있도록 설계된 의도가 담겨 있습니다.
Kubrick Course의 구성 요소
Kubrick 시스템은 크게 다음과 같은 세 가지 컴포넌트로 구성됩니다:
구성 요소 1. FastMCP 기반 MCP 서버
기존의 많은 MCP(Model Context Protocol) 프로젝트는 Cursor, Claude Desktop과 같은 인터페이스에 기존 서버를 연결하는 데 초점을 맞추곤 했습니다. 하지만 Kubrick은 MCP 서버 자체를 처음부터 직접 설계하고 구축하는 데 중점을 둡니다. 이를 위해 FastMCP라는 경량화된 MCP 프레임워크를 활용하여 자체 서버를 구성하였고, 여기에 다양한 도구와 리소스, 프롬프트를 포함하였습니다.
이 서버의 핵심 기능은 영상 파일을 분석하고, 이를 기반으로 다양한 질의응답과 검색 기능을 제공하는 것입니다. 주요 툴은 다음과 같습니다:
- process_video 영상 파일을 처리하고, 프레임을 분할하며, 각 프레임에 대한 임베딩과 캡션을 생성하여 인덱스를 구축합니다.
- get_video_clip_from_user_query 사용자의 자연어 질문을 기반으로 해당 장면을 자동으로 검색하고 클립으로 추출합니다.
- get_video_clip_from_image 이미지 입력을 기준으로 유사한 장면을 검색하고 클립을 제공합니다.
- ask_question_about_video 영상 내용에 대한 질의응답 기능을 제공합니다. 예: “Morty의 셔츠 색깔은 무엇인가요?”
이 모든 도구는 Pixeltable이라는 강력한 멀티모달 데이터 프레임워크를 기반으로 구현되어 있습니다.
Pixeltable: 멀티모달 데이터 처리의 핵심 엔진
Pixeltable은 멀티모달 데이터를 위한 저장소이자 실행 엔진으로, 영상, 이미지, 오디오 등 다양한 형태의 데이터를 테이블 형식으로 구성하고 이에 대해 변환, 인덱싱, 추론 등 다양한 연산을 지원합니다.
Pixeltable의 가장 큰 장점은 다음과 같은 추상화를 제공하는 데 있습니다:
- 프레임 추출, 오디오 분리, 임베딩 생성 등의 복잡한 로직을 한 줄의 선언형 코드로 처리 가능
- 데이터 흐름을 트래킹하며 변경 사항만 반영하는 점진적(incremental) 업데이트
- 대용량 데이터에 대한 효율적인 검색과 필터링 기능 제공
Kubrick은 이러한 Pixeltable을 통해 영상의 각 프레임을 세분화하고, 이를 인덱싱하여 질의응답 및 검색이 가능한 데이터 구조로 전환합니다.
Opik을 통한 프롬프트 관리 및 추론 흐름 관측
많은 MCP 프로젝트에서는 툴만 MCP 서버에 포함시키는 반면, Kubrick은 프롬프트도 함께 정의하고 MCP를 통해 에이전트에 전달합니다. 이를 통해 프롬프트 버전 관리, 개선, 실험이 가능한 시스템을 구현할 수 있습니다.
Opik은 이러한 프롬프트와 추론 결과를 체계적으로 저장하고 비교 분석할 수 있도록 도와주는 플랫폼입니다. Opik을 통해 다음을 수행할 수 있습니다:
- 프롬프트의 버전 기록 및 변경 이력 추적
- 에이전트 응답의 품질 비교 및 성능 평가
- 사용자의 입력-응답 흐름 트레이싱 및 로그 수집
이러한 관측 시스템은 Kubrick 에이전트의 성능을 체계적으로 개선하는 데 매우 중요한 역할을 하며, LLMOps 관점에서도 모범적인 설계 사례를 보여줍니다.
구성 요소 2. 에이전트 API와 UI 구성
Kubrick 시스템의 두 번째 컴포넌트는 에이전트 API입니다. 이 API는 FastAPI 기반으로 구현되었으며, 외부에서 사용자가 영상을 업로드하고 질문을 던지거나 장면 클리핑 요청을 할 수 있도록 설계되었습니다.
특징적인 점은 다음과 같습니다:
- 프레임워크 비의존적 구현: 기존 에이전트 프레임워크를 사용하지 않고, MCP 클라이언트와 API 인터페이스를 직접 작성
- Stateful Agent 설계: Pixeltable을 상태 저장 계층으로 활용하여 세션별로 문맥(Context)을 유지
- Opik 연동을 통한 추론 로깅: 사용자 입력과 응답을 저장하고, 추후 분석 가능하도록 설계
또한, 비록 본 강좌의 범위에는 포함되지 않지만, 사용자 친화적인 UI도 함께 제공됩니다. 이 UI는 HAL 9000에서 영감을 얻은 미니멀한 디자인을 적용하였으며, 영상 라이브러리 기능과 함께 사용자 경험을 향상시킵니다.
구성 요소 3. 영상 중심 AI 에이전트의 실용적 가치
Kubrick Course는 단순히 기술을 소개하는 데 그치지 않고, 실제 사용 가능한 생산 수준(Production-grade) AI 시스템을 구성하는 방법을 제공합니다. 특히 영상 데이터는 다음과 같은 활용 가능성을 가집니다:
- 콘텐츠 검색 엔진: 대규모 동영상 라이브러리에서 특정 장면을 빠르게 검색
- 방송/미디어 자동화: 특정 인물의 출연 장면 자동 추출 및 요약
- 법률/보안: CCTV 영상에서 특정 사건 장면 추적
- 교육 콘텐츠 분석: 특정 주제나 장면 중심의 클립 제공
따라서 Kubrick Course는 실무에서 바로 활용 가능한 형태의 기술을 다루며, 기업 및 개발자 모두에게 유익한 방향성을 제시합니다.
Kubrick Course 커리큘럼 구성과 향후 계획
현재 제공되는 첫 번째 강좌는 “Lesson 0: Your First Video Agent”로, Kubrick의 전체 구조와 개념을 소개하는 데 초점을 맞추고 있습니다. 앞으로 순차적으로 다음과 같은 모듈이 예정되어 있습니다:
- Pixeltable을 활용한 영상 파이프라인 구축
- FastMCP 기반 MCP 서버 설계 및 구성
- 프롬프트 엔지니어링 및 버전 관리 전략
- 에이전트 API 구현 및 상태 관리 방식
- Opik을 통한 추론 흐름 모니터링 및 평가
수강 대상과 사전 요구 사항
Kubrick Course는 다음과 같은 학습자를 대상으로 설계되었습니다:
| 대상 | 습득 가능 기술 |
|---|---|
| ML/AI 엔지니어 | 영상/이미지/음성 기반 AI 모델 통합 및 MCP 서버 구성 |
| 소프트웨어 엔지니어 | FastAPI와 MCP를 연결하여 완전한 에이전트 API 구현 |
| 데이터 엔지니어 | Pixeltable 기반 멀티모달 데이터 처리 및 파이프라인 설계 |
사전 요구 사항
| 항목 | 수준 | 설명 |
|---|---|---|
| Python 프로그래밍 | 필수 | 기본 문법 및 함수 작성 능력 |
| AI/ML 개념 | 선택 | LLM, 멀티모달 개념 이해 시 학습이 수월함 |
| 영상 처리 지식 | 선택 | 영상 구조나 프레임 처리 방식에 대한 이해가 도움이 됨 |
고성능 GPU 없이도 API 기반 추론을 통해 대부분의 실습이 가능하며, OpenAI 및 Groq의 프리미엄 요금제를 활용하면 무료로 예제를 실행할 수 있습니다.
라이선스
Kubrick Course 프로젝트는 MIT 라이선스로 배포되고 있습니다. 상업적 사용이 가능하며, 코드 수정 및 재배포도 허용되지만, 원저작권 고지를 반드시 포함해야 합니다.
The Neural Maze의 강의 소개 블로그
Kubrick Course 강좌 GitHub 저장소
주요 구성 요소
Pixeltable 프레임워크
Opik 프롬프트 관리 시스템
FastMCP MCP 서버 프레임워크
더 읽어보기
이 글은 GPT 모델로 정리한 글을 바탕으로 한 것으로, 원문의 내용 또는 의도와 다르게 정리된 내용이 있을 수 있습니다. 관심있는 내용이시라면 원문도 함께 참고해주세요! 읽으시면서 어색하거나 잘못된 내용을 발견하시면 덧글로 알려주시기를 부탁드립니다. 
파이토치 한국 사용자 모임
이 정리한 이 글이 유용하셨나요? 회원으로 가입하시면 주요 글들을 이메일
로 보내드립니다! (기본은 Weekly지만 Daily로 변경도 가능합니다.)
아래
쪽에 좋아요
를 눌러주시면 새로운 소식들을 정리하고 공유하는데 힘이 됩니다~ 