Google AI Edge Gallery 소개
Google이 온디바이스에서 실행되는 생성형 AI 모델을 직접 체험할 수 있는 실험적 앱인 Google AI Edge Gallery를 공개했습니다. 이 앱은 인터넷 연결 없이도 다양한 LLM 및 멀티모달 모델을 실행할 수 있어, 모바일 환경에서의 AI 활용 가능성을 직접 확인할 수 있는 좋은 기회를 제공합니다.
Google AI Edge Gallery는 Android 기기에서 완전히 오프라인으로 실행되는 생성형 AI 앱입니다. 이 앱은 Hugging Face와 통합되어 다양한 모델을 다운로드하고 비교할 수 있으며, 이미지 기반 질의응답, 텍스트 요약, 코드 생성, 다중 턴 대화 등 다양한 기능을 제공합니다. 또한, 사용자는 자신의 LiteRT .task 모델을 가져와 테스트할 수 있어, 개발자들에게 매우 유용한 도구입니다.
기존의 LLM 기반 앱들은 대부분 클라우드 기반으로 동작하여 인터넷 연결이 필수적이었습니다. 그러나 Google AI Edge Gallery는 LiteRT를 활용하여 모델을 최적화하고, Android 기기에서 직접 실행할 수 있도록 설계되었습니다. 이러한 접근은 Meta의 Llama.cpp나 Apple의 Core ML 기반 모델들과 유사하지만, Google의 AI Edge 생태계와의 통합성에서 차별점을 보입니다.
Google AI Edge Gallery의 주요 특징
- 완전한 오프라인 실행: 모델을 다운로드한 후에는 인터넷 연결 없이도 모든 기능을 사용할 수 있습니다.
- 모델 선택 및 비교: Hugging Face에서 다양한 모델을 다운로드하고 성능을 비교할 수 있습니다.
- 이미지 기반 질의응답: 이미지를 업로드하고 이에 대한 질문을 통해 설명이나 문제 해결을 받을 수 있습니다.
- 프롬프트 실험실: 텍스트 요약, 톤 변경, 코드 생성 등 다양한 단일 턴 작업을 수행할 수 있습니다.
- AI 채팅: 다중 턴 대화를 통해 LLM과의 상호작용이 가능합니다.
- 성능 지표 제공: TTFT, 디코딩 속도, 지연 시간 등의 실시간 성능 지표를 확인할 수 있습니다.
- 사용자 모델 테스트: 자신의 LiteRT .task 모델을 가져와 앱에서 테스트할 수 있습니다.
사용 방법
- 앱 다운로드: 최신 APK를 Releases 페이지에서 다운로드합니다.
- 설치 방법 :
- 직접 설치: APK 파일을 기기에 다운로드한 후 파일 관리자를 통해 설치합니다.
- ADB를 통한 설치: 개발자 옵션과 USB 디버깅을 활성화한 후, adb install -t ai-edge-gallery.apk 명령어를 사용하여 설치합니다.
- 앱 탐색 :
- 홈 화면: “Prompt Lab”, “AI Chat”, “Ask Image” 등의 기능을 선택할 수 있습니다.
- 모델 선택: 각 기능에 적합한 모델을 선택하거나 다운로드할 수 있습니다.
- 작업 인터페이스: 선택한 기능에 따라 텍스트 입력, 이미지 선택 등의 인터페이스가 제공됩니다.
- 설정 조정: CPU/GPU 선택, 온도 설정 등 모델 추론 파라미터를 조정할 수 있습니다.
라이선스
Google AI Edge Gallery 프로젝트는 Apache License 2.0으로 공개되어 있으며, 상업적 사용에 제한이 없습니다.
Google AI Edge Gallery GitHub 저장소
Google AI Edge Gallery 사용 가이드(GitHub Wiki)
Android에서 LLM 추론을 위한 가이드
Google AI Edge 문서 사이트
이 글은 GPT 모델로 정리한 글을 바탕으로 한 것으로, 원문의 내용 또는 의도와 다르게 정리된 내용이 있을 수 있습니다. 관심있는 내용이시라면 원문도 함께 참고해주세요! 읽으시면서 어색하거나 잘못된 내용을 발견하시면 덧글로 알려주시기를 부탁드립니다. 
파이토치 한국 사용자 모임
이 정리한 이 글이 유용하셨나요? 회원으로 가입하시면 주요 글들을 이메일
로 보내드립니다! (기본은 Weekly지만 Daily로 변경도 가능합니다.)
아래
쪽에 좋아요
를 눌러주시면 새로운 소식들을 정리하고 공유하는데 힘이 됩니다~ 