Unbounded: 끝없이 확장하는 생성형 캐릭터 라이프 시뮬레이션 게임에 대한 연구

Unbounded 소개

'Unbounded'는 Google과 University of North Carolina 팀이 협력하여 개발한 게임으로, 생성형 인공지능(AI)을 활용한 무한 게임(Infinite Game)이라는 새로운 개념의 게임입니다. 이 게임은 무한한 가능성의 캐릭터 라이프 시뮬레이션을 제공하며, 생성형 모델을 이용해 캐릭터의 삶을 시뮬레이션합니다.

다양한 캐릭터와 환경을 선택하고, 자유롭게 탐색하며 게임을 진행하며 플레이어의 자연어 명령에 따라 캐릭터와 상호작용이 가능하도록 설계되었습니다. 예를 들어, "캐릭터와 산책하기" 등의 명령을 통해 시뮬레이션의 변화를 경험할 수 있습니다. 캐릭터와 주변 환경이 실시간으로 변화하면서 몰입도 높은 경험을 제공합니다.

Unbounded는 사용자가 만들어낸 캐릭터 'Archibus'와 상호 작용하면서 캐릭터의 배고픔, 에너지, 즐거움 상태를 실시간으로 업데이트하는 생활 시뮬레이션 게임입니다. 이 게임은 생성적 AI의 최신 기술을 통해 한정된 코딩 시스템을 넘어서는 생성 무한 게임(Generative Infinite Game)을 구현하며, 사용자가 자연어로 캐릭터를 가이드하여 여러 환경에서 활동을 수행할 수 있게 합니다.

'생성 무한 게임'은 James P. Carse의 '유한 게임'과 '무한 게임'의 개념에서 영감을 받았습니다. 유한 게임은 승리와 목표가 명확한 반면, 무한 게임은 새로운 가능성을 끊임없이 창출하며 사용자에게 지속적인 몰입감을 제공합니다. Unbounded는 이러한 무한 가능성을 실현하여 자유로운 상호작용을 가능하게 하는 것이 목표입니다.

Unbounded는 전통적인 하드코딩 시스템에서 벗어나, 언어 모델(LLM)과 시각적 생성 모델을 조합하여 열린 결말(Open-Ended)을 만듭니다. 플레이어는 캐릭터의 행동을 제어하고, 다양한 환경에서 예측 불가한 이벤트를 경험할 수 있습니다.

기술적 접근 방법

Unbounded는 사용자의 초기 입력에 따라 시뮬레이션 환경을 설정하고, 캐릭터의 행동을 제어합니다. 사용자는 게임 속 캐릭터와 자연스럽게 대화하며 새로운 활동을 지시할 수 있고, 게임 내 상호작용은 전적으로 LLM(대규모 언어 모델)에 의해 실시간으로 생성됩니다.

일관성 유지를 위한 지역적인 IP어댑터(Regional IP-Adapter)를 활용한 블록 드롭(Block Drop)

Unbounded는 캐릭터와 환경이 잘 조화되도록 지역적 IP어댑터(Regional IP-Adapter)를 사용합니다. 이 어댑터는 LoRA(Low-Rank Adaptation)와 DreamBooth LoRA의 실시간 이미지 생성을 활용해 캐릭터와 환경의 일관성을 유지하며, 동적 마스크 기법으로 환경과 캐릭터 간의 상호 간섭을 방지합니다. 이를 통해 캐릭터와 환경을 동시에 시각적으로 표현하면서도, 각 요소의 개성을 잃지 않도록 합니다.

LLM 기반의 게임 엔진

Unbounded의 엔진은 게임 세계와 캐릭터 행동을 시뮬레이션하는 데 최적화된 LLM을 사용하여 사용자가 주도하는 내러티브를 생성합니다. 이를 위해 다양한 주제와 캐릭터 데이터를 수집하고, 이를 바탕으로 LLM의 학습을 돕는 데이터 시뮬레이션 프로세스가 실행됩니다. 이를 통해 사용자가 다양한 게임 내 상황을 만들고, 캐릭터가 자율적으로 반응할 수 있습니다.

실험 및 결과

Unbounded는 다양한 실험을 통해 캐릭터와 환경의 일관성 유지, 내러티브 생성 능력, 사용자의 명령을 이해하는 정확성 등에서 높은 평가를 받았습니다. 특히, Gemma-2B와 같은 특화된 LLM을 사용해 성능을 향상시키며, 다양한 시뮬레이션 데이터를 바탕으로 GPT-4에 근접한 성과를 달성했습니다.

또한, 지역적 IP 어댑터가 포함된 동적 마스크 기법을 통해 캐릭터와 환경 모두의 시각적 일관성을 효과적으로 유지했습니다.

생성 예시

:house: Unbounded 프로젝트 홈페이지

:scroll: Unbounded 논문

:package: Unbounded 데이터

(곧 공개 예정입니다)




이 글은 GPT 모델로 정리한 글을 바탕으로 한 것으로, 원문의 내용 또는 의도와 다르게 정리된 내용이 있을 수 있습니다. 관심있는 내용이시라면 원문도 함께 참고해주세요! 읽으시면서 어색하거나 잘못된 내용을 발견하시면 덧글로 알려주시기를 부탁드립니다. :hugs:

:pytorch:파이토치 한국 사용자 모임:kr:이 정리한 이 글이 유용하셨나요? 회원으로 가입하시면 주요 글들을 이메일:love_letter:로 보내드립니다! (기본은 Weekly지만 Daily로 변경도 가능합니다.)

:gift: 아래:arrow_lower_right:쪽에 좋아요:+1:를 눌러주시면 새로운 소식들을 정리하고 공유하는데 힘이 됩니다~ :star_struck:

3개의 좋아요