Queryable 소개
Queryable는 사진 앨범을 자연어로 검색할 수 있도록 도와주는 iOS 앱으로, 오프라인 상태에서도 동작합니다. OpenAI의 CLIP 모델부터 시작하여, 최근 업데이트를 통해 Apple의 MobileCLIP 모델도 사용 가능해졌으며, 사용자의 단말기 내에서 검색이 이뤄지기 때문에 사용자의 프라이버시를 철저히 보호하면서도 고도화된 검색 기능을 제공합니다. “벤치에 앉아 있는 갈색 개” 같은 자연어 문장을 입력해 사진을 빠르게 찾을 수 있어 사진 관리가 훨씬 간편해집니다.
Queryable의 주요 기능은 모든 사진을 이미지 벡터로 변환해 저장하고, 입력된 텍스트를 벡터화하여 이미지 벡터와 비교한 뒤 유사도가 가장 높은 사진을 반환하는 방식입니다. 이러한 과정은 모두 기기 내에서 처리되기 때문에 개인 정보 유출 걱정 없이 사용할 수 있습니다. 특히, Apple의 MobileCLIP 모델을 사용하는 경우, iOS 환경에 최적화된 오프라인 검색이 가능합니다.
Queryable은 iOS 11 이하 기기에서도 작동하도록 최적화되어, 보다 많은 사용자에게 접근성을 제공합니다.
Queryable 동작 소개
-
모든 사진을 CLIP Image Encoder를 통해 벡터로 변환해 저장.
-
사용자가 입력한 텍스트를 Text Encoder로 벡터화.
-
텍스트 벡터와 이미지 벡터 간의 유사도를 비교.
-
유사도가 높은 결과를 정렬해 상위 K개를 반환.
더 자세한 내용은 개발자가 작성한 Run CLIP on iPhone to Search Photos 글을 읽어보세요.
Apple의 MobileCLIP을 사용하기 위해서는 다음과 같은 과정을 거쳐야 합니다:
- Google Drive에서 MobileCLIP 모델(TextEncoder_mobileCLIP_s2.mlmodelc 및 ImageEncoder_mobileCLIP_s2.mlmodelc) 다운로드
- 다운로드한 모델을
CoreMLModels/폴더에 복사 - Xcode를 실행해 빌드 및 실행
라이선스
Queryable 프로젝트는 MIT License로 공개되어 있습니다. 상업적 사용에 대한 제한은 없습니다.
Queryable 홈페이지
Queryable GitHub 저장소
Queryable App 다운로드 @ Apple AppStore
iPhone에서 CLIP 모델을 사용한 사진 검색 관련 블로그
PicQuery: Queryable과 유사한 기능의 Android App (다른 개발자)
PicQuery GitHub 저장소
PicQuery App 다운로드 @ Google Play Store
https://play.google.com/store/apps/details?id=me.grey.picquery
더 읽어보기
- Apple, OpenAI의 CLIP 모델보다 더 작고 강력한 MobileCLIP 공개
- CatLIP: CLIP의 대조 학습(CL) 대비 2.7배 빠른 범주 학습(Categorical Learning) 기법에 대한 연구 (feat. Apple)
이 글은 GPT 모델로 정리한 글을 바탕으로 한 것으로, 원문의 내용 또는 의도와 다르게 정리된 내용이 있을 수 있습니다. 관심있는 내용이시라면 원문도 함께 참고해주세요! 읽으시면서 어색하거나 잘못된 내용을 발견하시면 덧글로 알려주시기를 부탁드립니다. 
파이토치 한국 사용자 모임
이 정리한 이 글이 유용하셨나요? 회원으로 가입하시면 주요 글들을 이메일
로 보내드립니다! (기본은 Weekly지만 Daily로 변경도 가능합니다.)
아래
쪽에 좋아요
를 눌러주시면 새로운 소식들을 정리하고 공유하는데 힘이 됩니다~ 