# \[GN\] LLaVaVision - llama.cpp/llava로 만든 "Be My Eyes" 웹앱

**URL:** https://discuss.pytorch.kr/t/gn-llavavision-llama-cpp-llava-be-my-eyes/2812
**Category:** 읽을거리&정보공유
**Tags:** llavavision, be-my-eyes, llamacpp, geeknews, llava
**Created:** [11월 8, 2023, 5:33오전 UTC](https://discuss.pytorch.kr/t/gn-llavavision-llama-cpp-llava-be-my-eyes/2812 "2023-11-08T05:33:57Z")
**Posts on this page:** 1
**Page:** 1

<div class="post-metadata">

### Author: ![9bow](https://discuss.pytorch.kr/user_avatar/discuss.pytorch.kr/9bow/32/16301_2.png) [@9bow](https://discuss.pytorch.kr/u/9bow)
#### Post date: [11월 8, 2023, 5:33오전 UTC](https://discuss.pytorch.kr/t/gn-llavavision-llama-cpp-llava-be-my-eyes/2812/1 "2023-11-08T05:33:57Z")

</div>

_[GeekNews](https://news.hada.io/?utm_source=pytorchkr)의 [xguru](https://news.hada.io/user?id=xguru&utm_source=pytorchkr)님께 허락을 받고 GN에 올라온 글들 중에 AI 관련된 소식들을 공유하고 있습니다. 😺_

* * *

## 소개

[https://github.com/lxe/llavavision/raw/main/screenshot.gif](https://github.com/lxe/llavavision/raw/main/screenshot.gif)

- 시각장애인을 위해 자원봉사자와 연결해서 화면을 읽어주는 "Be My Eyes" 서비스를 AI로 비슷하게 구현
- 멀티모달 백엔드를 통해서 영상을 보고 어떤 것인지 실시간으로 설명해주는 웹앱
- 오픈소스 멀티모달 모델인 SkunkworksAI의 BakLLaVA-1 모델을 llama.cpp 로 실행하며 음성은 Web Speech API로 출력

## 원문

> **[GitHub - lxe/llavavision: A simple "Be My Eyes" web app with a...](https://github.com/lxe/llavavision)**
>
> A simple "Be My Eyes" web app with a llama.cpp/llava backend

## 출처 / [GeekNews](https://news.hada.io/topic?id=11729)

> **[LLaVaVision - llama.cpp/llava로 만든 "Be My Eyes" 웹앱 | GeekNews](https://news.hada.io/topic?id=11729)**
>
> 시각장애인을 위해 자원봉사자와 연결해서 화면을 읽어주는 "Be My Eyes" 서비스를 AI로 비슷하게 구현멀티모달 백엔드를 통해서 영상을 보고 어떤 것인지 실시간으로 설명해주는 웹앱오픈소스 멀티모달 모델인 SkunkworksAI의 BakLLaVA-1 모델을 llama.cpp 로 실행하며 음성은 Web Speech API로 출력

> **[Be My Eyes - 시각장애인에게 시력을 주세요 | GeekNews](https://news.hada.io/topic?id=3591)**
>
> \- 시각 장애인 또는 저시력자를 돕는 무료 앱- 자원 봉사자들과의 실시간 영상통화를 지원 ㅤ→ 도움 요청시, 사용 언어와 시간대에 기반해서 여러 봉사자에게 알림을 보내고 가장 먼저 응답하는 사람이 돕는 방식ㅤ→ 요청자의 카메라 영상을 보고 말로 설명- 150+개국, 180+개 언어, 27만명의 시각장애인, 450만명의 자원봉사자 - iOS/Android-

> **[MS의 이미지 캡셔닝 AI가 사람처럼 사진을 묘사하기 시작 | GeekNews](https://news.hada.io/topic?id=3052)**
>
> \- 시각 장애인용 앱 Seeing AI 및 Azure Cognitive Services 에 적용 예전 : 고양이최신 : 회색 고양이가 두 눈을 감고 있음- Seeing AI는 카메라를 이용해서 간단한 텍스트부터 인쇄된 문서까지 읽어주고, ㅤ바코드를 인식해서 손에 들고 있는 제품이 뭔지 말해주고, ㅤ사람을 인식해서 나이/성별/안경착용여부/표정(행복/슬픔..)