Browser AI ๐Ÿš€: WebGPU ๊ฐ€์†์ด ๊ฐ€๋Šฅํ•œ, ๋ธŒ๋ผ์šฐ์ €์—์„œ ์ง์ ‘ ์‹คํ–‰ํ•˜๋Š” Local LLM

Browser AI :rocket: ์†Œ๊ฐœ

BrowserAI๋Š” ๋ธŒ๋ผ์šฐ์ € ๋‚ด์—์„œ ์ง์ ‘ ์‹คํ–‰ํ•  ์ˆ˜ ์žˆ๋Š” Production-Ready LLM (Large Language Models)๋ฅผ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค. ์ฆ‰, ๋ณ„๋„์˜ ์„œ๋ฒ„๊ฐ€ ํ•„์š”์—†์ด, ์›น ๋ธŒ๋ผ์šฐ์ €์—์„œ ๊ณง๋ฐ”๋กœ LLM์„ ์‹คํ–‰ํ•˜๊ณ , AI ์„œ๋น„์Šค๋ฅผ ๊ตฌํ˜„ํ•  ์ˆ˜ ์žˆ๋Š” ํ”„๋ ˆ์ž„์›Œํฌ์ž…๋‹ˆ๋‹ค. WebGPU๋ฅผ ํ™œ์šฉํ•ด ๋„ค์ดํ‹ฐ๋ธŒ ์‹คํ–‰๊ณผ ๋น„์Šทํ•œ ์†๋„๋กœ AI ๋ชจ๋ธ์„ ์‹คํ–‰ํ•  ์ˆ˜ ์žˆ์œผ๋ฉฐ, ๋ชจ๋“  ์—ฐ์‚ฐ์ด ๋กœ์ปฌ์—์„œ ์ฒ˜๋ฆฌ๋˜์–ด ๊ฐœ์ธ ์ •๋ณด๋ฅผ ๋ณดํ˜ธํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

Browser AI๋Š” AI ๊ธฐ์ˆ ์ด ์š”๊ตฌํ•˜๋Š” ๋ณต์žกํ•œ ์„œ๋ฒ„ ์„ค์ • ๋ฐ ์œ ์ง€๋ณด์ˆ˜ ๋น„์šฉ์„ ์ ˆ๊ฐํ•˜๋ฉด์„œ, ๊ฐœ๋ฐœ์ž๋“ค์ด ๋ณด๋‹ค ์‰ฝ๊ฒŒ AI ๋ชจ๋ธ์„ ์›น ์• ํ”Œ๋ฆฌ์ผ€์ด์…˜์— ํ†ตํ•ฉํ•  ์ˆ˜ ์žˆ๋„๋ก ๋•์Šต๋‹ˆ๋‹ค. ๋˜ํ•œ, ํ”„๋ผ์ด๋ฒ„์‹œ ๋ณดํ˜ธ๊ฐ€ ์ค‘์š”ํ•œ ํ™˜๊ฒฝ์—์„œ๋„ ์•ˆ์‹ฌํ•˜๊ณ  ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ๋Š” ์ ์ด ํฐ ๊ฐ•์ ์ž…๋‹ˆ๋‹ค.

BrowserAI๋Š” ๋‹ค์Œ๊ณผ ๊ฐ™์€ ์‚ฌ์šฉ์ž๋“ค์—๊ฒŒ ์ ํ•ฉํ•ฉ๋‹ˆ๋‹ค:

  • ์›น ๊ฐœ๋ฐœ์ž: AI ๊ธฐ๋Šฅ์„ ํ†ตํ•ฉํ•œ ์›น ์• ํ”Œ๋ฆฌ์ผ€์ด์…˜ ์ œ์ž‘
  • ๊ธฐ์—…: ํ”„๋ผ์ด๋ฒ„์‹œ ๋ณดํ˜ธ๊ฐ€ ์ค‘์š”ํ•œ AI ์†”๋ฃจ์…˜ ๋„์ž…
  • ์—ฐ๊ตฌ์ž: ๋ธŒ๋ผ์šฐ์ € ๊ธฐ๋ฐ˜ AI ์‹คํ—˜
  • ์ทจ๋ฏธ ๊ฐœ๋ฐœ์ž: ์ธํ”„๋ผ ์—†์ด AI๋ฅผ ํƒ๊ตฌ

BrowserAI๋Š” ๋ธŒ๋ผ์šฐ์ €์—์„œ ์‹คํ–‰ ๊ฐ€๋Šฅํ•˜๋‹ค๋Š” ์ ์—์„œ Hugging Face์˜ Transformers.js์™€ ๋น„์Šทํ•˜์ง€๋งŒ, ๋ช‡ ๊ฐ€์ง€ ์ฐจ๋ณ„์ ์ด ์žˆ์Šต๋‹ˆ๋‹ค:

  • WebGPU ์ง€์›: BrowserAI๋Š” WebGPU๋ฅผ ํ™œ์šฉํ•˜์—ฌ ๋น ๋ฅธ ์ถ”๋ก  ์„ฑ๋Šฅ์„ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค. ๋ฐ˜๋ฉด, Transformers.js๋Š” WebGL์„ ์ฃผ๋กœ ์‚ฌ์šฉํ•ฉ๋‹ˆ๋‹ค.

  • ์˜คํ”„๋ผ์ธ ๊ธฐ๋Šฅ: BrowserAI๋Š” ์ดˆ๊ธฐ ๋‹ค์šด๋กœ๋“œ ์ดํ›„ ์ธํ„ฐ๋„ท ์—ฐ๊ฒฐ ์—†์ด๋„ ๋™์ž‘ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

  • ๋‹ค์ค‘ ์—”์ง„ ์ง€์›: MLC์™€ Transformers ์—”์ง„ ๊ฐ„์— ์›ํ™œํ•œ ์ „ํ™˜์ด ๊ฐ€๋Šฅํ•ฉ๋‹ˆ๋‹ค.

Browser AI์˜ ์ฃผ์š” ๊ธฐ๋Šฅ

  • :lock: ํ”„๋ผ์ด๋ฒ„์‹œ ๋ณดํ˜ธ: ๋ชจ๋“  ๋ฐ์ดํ„ฐ ์ฒ˜๋ฆฌ๊ฐ€ ๋กœ์ปฌ์—์„œ ์ด๋ฃจ์–ด์ง.

  • :zap: WebGPU ๊ฐ€์†: ๋น ๋ฅธ AI ๋ชจ๋ธ ์ถ”๋ก .

  • :moneybag: ์„œ๋ฒ„ ๋น„์šฉ ์ ˆ๊ฐ: ์„œ๋ฒ„๊ฐ€ ํ•„์š”ํ•˜์ง€ ์•Š์Œ.

  • :globe_with_meridians: ์˜คํ”„๋ผ์ธ ์ง€์›: ์ธํ„ฐ๋„ท ์—†์ด๋„ ์‹คํ–‰ ๊ฐ€๋Šฅ.

  • :dart: ๊ฐœ๋ฐœ์ž ์นœํ™”์ : ๊ฐ„๋‹จํ•œ API์™€ ์—ฌ๋Ÿฌ ์—”์ง„ ์ง€์›.

  • :package: ์‚ฌ์ „ ์ตœ์ ํ™” ๋ชจ๋ธ: Llama, Whisper, Kokoro ๋“ฑ ์ธ๊ธฐ ๋ชจ๋ธ๋“ค ์ง€์›.

๋ผ์ด์„ ์Šค

์ด ํ”„๋กœ์ ํŠธ๋Š” MIT License๋กœ ๋ฐฐํฌ๋˜๋Š” ์˜คํ”ˆ์†Œ์Šค๋กœ, ์ƒ์—…์  ์‚ฌ์šฉ์—๋„ ์ œํ•œ์ด ์—†์Šต๋‹ˆ๋‹ค.

:framed_picture: Browser AI ๋ฐ๋ชจ

https://chat.browserai.dev/

:books: Browser AI ๊ณต์‹ ๋ฌธ์„œ

:github: Browser AI GitHub ์ €์žฅ์†Œ

https://github.com/sauravpanda/BrowserAI?tab=readme-ov-file




์ด ๊ธ€์€ GPT ๋ชจ๋ธ๋กœ ์ •๋ฆฌํ•œ ๊ธ€์„ ๋ฐ”ํƒ•์œผ๋กœ ํ•œ ๊ฒƒ์œผ๋กœ, ์›๋ฌธ์˜ ๋‚ด์šฉ ๋˜๋Š” ์˜๋„์™€ ๋‹ค๋ฅด๊ฒŒ ์ •๋ฆฌ๋œ ๋‚ด์šฉ์ด ์žˆ์„ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ๊ด€์‹ฌ์žˆ๋Š” ๋‚ด์šฉ์ด์‹œ๋ผ๋ฉด ์›๋ฌธ๋„ ํ•จ๊ป˜ ์ฐธ๊ณ ํ•ด์ฃผ์„ธ์š”! ์ฝ์œผ์‹œ๋ฉด์„œ ์–ด์ƒ‰ํ•˜๊ฑฐ๋‚˜ ์ž˜๋ชป๋œ ๋‚ด์šฉ์„ ๋ฐœ๊ฒฌํ•˜์‹œ๋ฉด ๋ง๊ธ€๋กœ ์•Œ๋ ค์ฃผ์‹œ๊ธฐ๋ฅผ ๋ถ€ํƒ๋“œ๋ฆฝ๋‹ˆ๋‹ค. :hugs:

:pytorch:ํŒŒ์ดํ† ์น˜ ํ•œ๊ตญ ์‚ฌ์šฉ์ž ๋ชจ์ž„:kr:์ด ์ •๋ฆฌํ•œ ์ด ๊ธ€์ด ์œ ์šฉํ•˜์…จ๋‚˜์š”? ํšŒ์›์œผ๋กœ ๊ฐ€์ž…ํ•˜์‹œ๋ฉด ์ฃผ์š” ๊ธ€๋“ค์„ ์ด๋ฉ”์ผ:love_letter:๋กœ ๋ณด๋‚ด๋“œ๋ฆฝ๋‹ˆ๋‹ค! (๊ธฐ๋ณธ์€ Weekly์ง€๋งŒ Daily๋กœ ๋ณ€๊ฒฝ๋„ ๊ฐ€๋Šฅํ•ฉ๋‹ˆ๋‹ค.)

:gift: ์•„๋ž˜:arrow_lower_right:์ชฝ์— ์ข‹์•„์š”:+1:๋ฅผ ๋ˆŒ๋Ÿฌ์ฃผ์‹œ๋ฉด ์ƒˆ๋กœ์šด ์†Œ์‹๋“ค์„ ์ •๋ฆฌํ•˜๊ณ  ๊ณต์œ ํ•˜๋Š”๋ฐ ํž˜์ด ๋ฉ๋‹ˆ๋‹ค~ :star_struck: