Modly: 이미지 한 장으로 3D 모델을 생성하는 로컬 실행 데스크톱 앱 (feat. Lightning Pixel)

9bow · 4월 3, 2026, 6:30오전

Modly 소개

3D 모델을 만들기 위해서는 전통적으로 전문 모델링 소프트웨어를 다루는 기술이 필요했습니다. 최근에는 AI를 활용해 이미지로부터 3D 모델을 자동으로 생성하는 방법이 등장했지만, 대부분 클라우드 서비스에 의존하거나 복잡한 환경 구성이 요구되었습니다. Modly는 이러한 문제를 해결하기 위해 만들어진 데스크톱 애플리케이션으로, 이미지 한 장을 입력하면 로컬 GPU에서 AI 추론을 실행하여 3D 메시(Mesh)를 생성합니다. 클라우드 서버나 외부 계정 없이 사용자의 컴퓨터 안에서 모든 처리가 완결됩니다. Windows와 Linux를 지원하며, macOS 지원도 준비 중입니다.

Modly는 Lightning Pixel이 공개한 오픈소스 프로젝트로, MIT 라이선스로 공개되어 있습니다. Electron 프론트엔드(TypeScript)와 FastAPI 기반의 Python 백엔드를 결합한 구조로, 데스크톱 GUI와 AI 추론 파이프라인이 하나의 애플리케이션으로 통합되어 있습니다. 사용자는 모델링 지식 없이도 이미지를 불러와 3D 모델로 변환하고 원하는 포맷으로 내보낼 수 있습니다. 생성된 모델은 GLB, OBJ, STL, PLY 등 다양한 포맷으로 내보내기를 지원하여 Blender, Unity, Unreal Engine 등 주요 3D 소프트웨어와 호환됩니다. 이미지가 업로드되는 외부 서버가 없으므로 개인 이미지의 프라이버시도 보장됩니다.

Modly의 동작 방식

Modly의 처리 흐름은 세 단계로 구성됩니다. 먼저 사용자가 이미지를 선택하면 AI가 자동으로 배경을 제거(Background Removal)합니다. 그다음 로컬 GPU에서 신경망 추론(Neural Inference)을 실행하여 2D 이미지로부터 3D 형상을 복원합니다. 마지막으로 생성된 3D 메시를 내장 뷰어에서 미리 확인한 뒤 원하는 포맷으로 내보낼 수 있습니다. 이 모든 과정이 인터넷 연결 없이 사용자의 GPU 위에서 동작합니다.

이미지 입력
    ↓
AI 배경 제거 (Background Removal)
    ↓
로컬 GPU 신경망 추론 (3D 메시 복원)
    ↓
내장 3D 뷰어에서 미리보기
    ↓
GLB / OBJ / STL / PLY 내보내기

애플리케이션 내부 구조는 Electron 기반의 TypeScript 프론트엔드가 화면을 담당하고, Python FastAPI 백엔드가 AI 추론을 처리하는 방식으로 분리되어 있습니다. 두 레이어는 로컬 HTTP 통신으로 연결되므로, 추론 로직과 UI 로직이 독립적으로 유지됩니다. 워크스페이스(Workspace) 기능을 통해 여러 생성 결과를 컬렉션 단위로 관리할 수 있어 작업 이력을 정리하기가 편리합니다.

익스텐션 시스템

Modly의 주목할 만한 구조적 특징 중 하나는 익스텐션(Extension) 시스템입니다. AI 모델을 애플리케이션 본체에 내장하는 대신, 각 모델을 별도의 GitHub 저장소로 분리하여 독립적으로 설치하고 업데이트할 수 있도록 설계되었습니다. 각 익스텐션은 manifest.json과 generator.py 두 파일로 구성된 GitHub 저장소이며, 사용자는 앱의 Models 페이지에서 해당 저장소의 HTTPS URL을 입력하는 것만으로 새 모델을 추가할 수 있습니다. 이 방식은 애플리케이션 본체를 변경하지 않고도 새로운 AI 모델을 지원할 수 있어, 향후 다양한 3D 생성 모델을 유연하게 수용할 수 있는 구조입니다.

현재 공식 익스텐션으로는 텐센트(Tencent)가 공개한 Hunyuan3D 2 Mini 모델을 지원하는 modly-hunyuan3d-mini-extension이 제공됩니다. Hunyuan3D 2 Mini는 고품질 3D 메시 생성 모델의 경량 버전으로, 일반 소비자용 GPU에서도 실행 가능하도록 최적화되어 있습니다. 커뮤니티 개발자가 manifest.json과 generator.py를 작성해 GitHub에 공개하면 누구나 그 모델을 Modly에서 사용할 수 있어, 지원 모델의 생태계가 열려 있습니다.

Modly 설치 및 사용법

배포판 설치 (권장)

Releases 페이지에서 Windows 또는 Linux용 설치 파일을 내려받아 실행합니다.

소스에서 직접 실행

# 1. JS 의존성 설치
npm install

# 2. Python 백엔드 설정
cd api
python -m venv .venv
source .venv/bin/activate   # Linux / macOS
# .venv\Scripts\activate    # Windows
pip install -r requirements.txt

# 3. 개발 모드 실행
cd ..
npm run dev

익스텐션 설치 방법

앱 실행 후 Models 페이지로 이동합니다.
Install from GitHub 버튼을 클릭합니다.
익스텐션 저장소의 HTTPS URL을 입력하고 확인합니다.
설치가 완료되면 해당 모델 또는 모델 변형을 내려받아 사용합니다.

공식 Hunyuan3D 2 Mini 익스텐션 URL:

https://github.com/lightningpixel/modly-hunyuan3d-mini-extension

라이선스

Modly 프로젝트는 MIT 라이선스로 공개되어 있어 개인 및 상업적 목적으로 자유롭게 사용할 수 있습니다. 단, Modly 프로젝트를 기반으로 새로운 프로젝트 또는 애플리케이션을 만드는 경우, 다음과 같이 크레딧을 명시하셔야 합니다:

If you fork this project and build your own application from it, you must
credit the original project and its creator in your app's UI or documentation:

    Based on Modly (https://github.com/lightningpixel/modly)
    by Lightning Pixel (https://github.com/lightningpixel)

Modly 공식 홈페이지

Modly 프로젝트 GitHub 저장소

더 읽어보기

이 글은 GPT 모델로 정리한 글을 바탕으로 한 것으로, 원문의 내용 또는 의도와 다르게 정리된 내용이 있을 수 있습니다. 관심있는 내용이시라면 원문도 함께 참고해주세요! 읽으시면서 어색하거나 잘못된 내용을 발견하시면 덧글로 알려주시기를 부탁드립니다.

파이토치 한국 사용자 모임이 정리한 이 글이 유용하셨나요? 회원으로 가입하시면 주요 글들을 이메일로 보내드립니다! (기본은 Weekly지만 Daily로 변경도 가능합니다.)

아래쪽에 좋아요를 눌러주시면 새로운 소식들을 정리하고 공유하는데 힘이 됩니다~