[GN⁺] 구글 크롬, 브라우저 내에 Gemini Nano AI 모델 `window.ai` 추가

읽을거리&정보공유
, , , , ,
1

Gemini Nano AI 모델 추가 소개

[GN⁺] 구글 크롬, 브라우저 내에 Gemini Nano AI 모델 추가
[GN⁺] 구글 크롬, 브라우저 내에 Gemini Nano AI 모델 추가2388×1292 161 KB

  • 크롬 127 버전부터 window.ai 를 통해서 Gemini Nano AI 모델을 브라우저에서 사용가능하게 제공
  • 챗봇 데모 사이트는 Next.js + Vercel AI SDK를 이용하여 작성되었음
  • 사용 예제
import { streamText } from "ai";  
import { chromeai } from "chrome-ai";  
  
const { textStream } = await streamText({  
  model: chromeai(),  
  prompt: "what is a large language model?",  
});

Hacker News 의견

  • Apple의 AI 전략을 웹 사용자에게도 적용할 수 있는 기능을 브라우저에 기본 탑재하는 것은 긍정적임
    • 로컬 모델을 사용하여 프라이버시와 보안을 강화할 수 있음
    • Google이 이를 잘 구현하면 매우 흥미로울 것임
  • Vercel이 window.ai를 발표하면서 Chrome API 대신 자체 추상화를 보여줌
    • window.ai API는 매우 간단하여 래퍼가 필요하지 않음
    • 예제 코드:
const model = await window.ai.createTextSession();
const result = await model.prompt("What do you think is the meaning of life?");
  • Google의 API에 모델을 지정할 수 없는 것은 큰 결함임
    • 모델이 계속 업그레이드되면 테스트와 유지보수가 어려울 것임
    • 제안된 코드:
const supportedModels = await window.ai.getSupportedModels();
if (supportedModels.includes("gemini-nano:0.4")) {
  const model = await window.ai.createTextSession("gemini-nano:0.4");
  // ...
}
  • 웹사이트가 사용자 CPU를 분산 LLM 처리에 사용하는 것은 문제임
  • window.ai API에 대한 공개 문서가 부족함
    • Gemini Nano 모델이 어떤 버전인지 명확하지 않음
  • 현재의 기술로는 instruct 모델이 base 모델보다 덜 유용함
    • LoRAs 실행, 온도 조절, 프롬프트 템플릿 설정 등의 기능이 필요함
    • 기술이 빠르게 변화하고 있어 브라우저에 통합하기에는 시기상조일 수 있음
    • 모델을 인터페이스와 분리하여 다른 로컬 모델도 사용할 수 있게 해야 함
  • 표준화가 부족함
    • Microsoft의 WebNN과 같은 접근이 필요함
    • Apple의 Metal을 WebGPU로 노출하려는 시도처럼 다른 벤더들이 이를 실현해야 함
  • Chrome의 "Create theme with AI" 기능이 랜덤 테마 선택과 차이가 없음
    • pixabay에서 랜덤 이미지를 반환하는 API를 만들 계획임
  • 일반 목적의 모델은 크기가 클수록 더 유용함
    • 특정 작업에 맞게 미세 조정된 온디바이스 모델이 더 정확함
  • eval(window.ai("js code to remove all adds in the following page" + document.documentElement.outerHTML))

원문

https://twitter.com/rauchg/status/1806385778064564622

데모 사이트

출처 / GeekNews

:information_source: 알려드립니다

이 글은 국내외 IT 소식들을 공유하는 GeekNews의 운영자이신 xguru님께 허락을 받아 GeekNews에 게제된 AI 관련된 소식을 공유한 것입니다.

출처의 GeekNews 링크를 방문하시면 이 글과 관련한 추가적인 의견들을 보시거나 공유하실 수 있습니다! :wink:

:gift: 아래:arrow_lower_right:쪽에 좋아요:heart:를 눌러주시면 새로운 소식을 정리하고 공유하는데 힘이 됩니다~ :star_struck: