안녕하세요, 파이토치 코리아 여러분!
영상 생성 모델을 실제 작업에 쓰다 보면, 처음부터 완벽한 영상을 한 번에 뽑는 일은 거의 없습니다. 오히려 "이 장면에서 이 부분만 바꾸고 싶다", "카메라 각도만 다르게 가고 싶다" 같은 부분 수정이 훨씬 자주 필요합니다. 그런데 대부분의 텍스트→영상 모델은 프롬프트를 조금만 바꿔도 장면 전체가 흔들려서, 원하는 부분만 고치기가 어렵습니다.
이번에는 Google의 멀티모달 영상 모델인 Gemini Omni를 이런 "부분 편집" 관점에서 정리해봤습니다. 단순 소개보다는, 어떤 입력을 어떻게 조합하면 결과를 제어하기 쉬운지에 초점을 맞췄습니다.
Gemini Omni에서 가장 실용적인 부분은 입력 방식이 다양하다는 점입니다. 텍스트→영상뿐 아니라 영상→영상, 이미지→영상, 그리고 영상+오디오, 영상+이미지처럼 여러 입력을 함께 쓸 수 있습니다. 특히 여러 번에 걸쳐 조금씩 수정할 때, 바꾸지 않은 부분은 그대로 유지하고 요청한 부분만 바뀌는 방식이라 반복 편집에 강합니다.
제가 정리한 가이드는 크게 네 가지 질문에 답하려고 만들었습니다.
첫째, 무엇을 할 수 있는가?
Gemini Omni는 크게 요소 교체, 카메라 제어, 동작/사운드 동기화, 스타일 변환, 텍스트 렌더링을 지원합니다. 프롬프트를 설계할 때는 샷 구도와 움직임, 스타일, 조명, 장소, 동작 이렇게 다섯 가지 요소를 분리해서 쓰는 편이 결과가 안정적이었습니다.
둘째, 구체적인 사례는 어떤 것이 있는가?
사례 1 — 요소 교체 (영상→영상)
입력: 나비가 날아다니는 짧은 클립
프롬프트: "Change the butterfly to a bee."
출력: 같은 구도와 움직임을 유지한 채 나비만 벌로 바뀐 영상. 여기서 한 번 더 "Change the bee into a small swarm of fireflies."처럼 이어서 수정하면, 장면 전체를 다시 묘사하지 않아도 대상만 반딧불이 무리로 바뀝니다. 멀티턴 편집이 강한 이유가 여기 있습니다.
사례 2 — 카메라 제어 (영상→영상)
입력: 바이올리니스트가 연주하는 영상
프롬프트: "Change the camera angle to be over the violinist's shoulder."
출력: 연주 동작은 그대로 두고 카메라만 어깨 너머 시점으로 이동. "close-up on his shoes, quickly tilting up to medium shot, then widening"처럼 시간 흐름과 함께 카메라 움직임을 적으면, 단순 각도 변경보다 훨씬 영화적인 컷을 얻을 수 있습니다.
사례 3 — 동작과 사운드 동기화 (영상+오디오)
입력: 아파트 건물 야경 영상 + 음악
프롬프트: "The lights of the apartments start turning on in sync with the music."
출력: 음악 비트에 맞춰 창문 불빛이 차례로 켜지는 영상. 영상과 오디오를 함께 입력으로 주면, 타이밍이 중요한 광고 컷이나 리듬 영상에 활용하기 좋습니다.
사례 4 — 텍스트 렌더링
프롬프트 방향: 알파벳 26자를 각 항목과 함께 "roughly 9 frames per item at 24FPS"처럼 프레임 단위로 지정하고, 단어가 리듬에 맞춰 하나씩 등장하도록 구성.
출력: 글자가 깨지지 않고 박자에 맞춰 나타나는 타이포 영상. 다만 텍스트는 깨지기 쉬워서, 깨짐을 억제하는 프롬프트를 따로 넣어주는 편이 좋습니다.
셋째, 프롬프트는 어떻게 쓰는가?
반복해서 효과가 좋았던 패턴은 다음과 같습니다.
- 한 문장으로 끝내지 말고 장면, 움직임, 스타일, 제약을 분리한다.
- 바꾸지 않을 영역은 "Don't change anything else", "keep everything else the same"처럼 명시한다. 의도치 않은 수정이 줄어듭니다.
- 결과가 머릿속 그림과 다를 때는 레퍼런스 이미지를 좁히고 네거티브 프롬프트를 추가한다.
- ChatGPT에서 지시용 스토리보드 이미지나 일러스트를 먼저 만들고, 그것을 Omni에 비주얼 프롬프트로 넣는 파이프라인도 잘 동작했습니다.
넷째, 어디까지 자동화할 수 있는가?
짧은 실험은 웹 UI에서 수동으로 돌려도 충분하지만, 여러 컷을 반복 생성하거나 같은 프롬프트를 다른 모델과 비교하려면 API나 agent workflow에 붙이는 편이 훨씬 편합니다. Claude Code, Cursor, OpenClaw 같은 환경에서 이미지 생성, 프롬프트 정리, 영상 생성, 결과 저장을 하나의 흐름으로 묶을 수 있습니다.
이 가이드는 누구에게 맞는가, 그리고 한계는?
영상 광고 컷, 캐릭터 일관성, 스토리보드 기반 제작을 반복적으로 만드는 분들에게 특히 맞습니다. 다만 두 가지 한계는 미리 알아두면 좋습니다. 하나는 텍스트 렌더링이 아직 깨질 수 있다는 점, 다른 하나는 건드리지 않은 영역이 의도치 않게 바뀔 수 있다는 점입니다. 둘 다 위에서 적은 프롬프트 보강으로 어느 정도 완화됩니다.
이번에 정리한 GitHub 가이드에는 다음 내용을 넣어두었습니다.
- Gemini Omni의 입력 방식 정리 (텍스트/영상/이미지/오디오 조합)
- 요소 교체, 카메라 제어, 동작·사운드 동기화 사례
- 스타일 변환, 비주얼 이펙트, 텍스트 렌더링 프롬프트
- 멀티턴 편집과 영역 유지 팁
- Seedance 2.0과의 비교 케이스
- Agent / API workflow에 연결할 때 참고할 링크
저희 EvoLink가 정리한 자료이긴 하지만, 이 글에서는 서비스 소개보다는 Gemini Omni를 실제 편집 흐름에 넣을 때 어떻게 생각하면 좋은지를 공유하는 데 초점을 맞췄습니다. EvoLink 쪽에서는 Gemini Omni, Seedance, Veo 같은 여러 영상 모델을 같은 프롬프트로 비교하는 실험도 같이 정리하고 있습니다.
전체 가이드와 프롬프트 예시는 아래에 정리해두었습니다.
여러 영상 모델을 비교해서 테스트하고 싶은 분들은 아래 페이지도 참고하실 수 있습니다.
혹시 Gemini Omni나 다른 영상 모델로 부분 편집, 카메라 제어, 캐릭터 일관성을 실험해보신 분이 있다면, 어떤 입력 조합이 가장 안정적이었는지 댓글로 공유해 주세요.