LLM에 Stable Diffusion Moment가 오고 있다

GeekNews 의 xguru님께 허락을 받고 GN에 올라온 글들 중에 AI 관련된 소식들을 공유하고 있습니다. ^^

[소개 글]

  • 2022년 8월의 Stable Diffuion(SD) 공개는 중요한 순간이었고, 이로 인해 폭발적인 혁신이 지금까지도 진행되고 있음
  • 최근에는 ControlNet이 기능면에서 MidJourney 와 DALL-E를 뛰어넘음
  • SD의 공개는 생성형 AI에 대한 새로운 관심을 만들어냈고, 11월의 ChatGPT 출시로 인해 그 웨이브가 더 거세짐
  • SD 모먼트가 대규모 언어 모델(LLM)에도 오고 있음
  • 이제 GPT-3 급의 언어 모델을 개인 노트북에서 실행가능

LLaMA

  • GPT-3 같은 LLM은 이미지 생성 모델보다 구축하고 운영하려면 훨씬 더 비용이 많이 듦
  • 가장 좋은 모델은 OpenAI 같은 회사에 의해 구축되었고 API로 접근 가능하지만 직접 실행가능하게 공개되지는 않음
  • 모델 자체도 커서 GPT-3 모델을 얻더라도 상용 하드웨어에서는 실행이 불가능(개당 $8000이 넘는 A100급 GPU가 여러개 필요)
  • 지난 수년간 공개된 언어모델이 많지만 대부분 직접 실행하기에는 적합하지 않음
  • Facebook 의 LLaMA 모델과 LLama.cpp 덕분에 모든 것이 바뀌었음
  • LLaMA는 완전한 개방형은 아님. 모델에 액세스하려면 몇가지 엄격한 조건에 동의해야함
  • 누군가 토렌트로 다운로드 가능한 비공식 PR을 올려서 다운로드가 가능해짐

llama.cpp

  • LLaMA가 개인용 노트북에서 실행이 어렵다면 그다지 좋지는 않음
  • 불가리아의 Georgi Gerganov는 이전에 OpenAI의 음성인식 모델 Whisper를 C++로 포팅한 Whisper.cpp를 만들었음
  • 그가 LLaMA에도 같은 작업을 수행
  • 4-bit 양자화(모델 사이즈를 줄여서 느린 하드웨어에서도 동작하게 하는 기술)를 이용해서 맥북에서도 실행하는 것을 목표
  • 7B 모델을 4GB로, 13B 모델을 8GB 이하로 모델 크기 자체도 줄임
  • 맥북에서 매우 잘 동작함
  • 페이스북이 GPT-3와 경쟁가능하다고 주장하는 13B 모델을 노트북에서 실행 가능해짐
  • 노트북에서 생성되는 텍스트를 보니 세상이 다시 변한다는 느낌을 받음
  • GPT-3 급의 모델을 내가 가진 장비에서 수행하려면 몇년은 기다려야 할 것이라 생각했지만, 내가 틀렸음. "미래는 이미 여기 와있음"

이게 최악의 상황일까 ?

  • SF 같은 시나리오에 대해 염려하는 것 아님. 노트북에서 실행하는 LLM이 "세상을 지배하는 AGI"가 되는 것도 아님
  • 하지만 이 기술이 안 좋은 용도로 사용되는 방법은 여러 가지가 있음
    • 스팸 생성, 자동화된 로맨스 사기, 트롤링 및 증오 발언, 가짜 뉴스와 거짓 정보, 자동화된 Radicalization
  • 이 순간 이전에는 OpenAI 같은 회사가 사람들이 이런 모델들과 상호 작용하는 방식을 제어하는 등의 얇은 방어막이 존재했음
  • 하지만 이제 각자 하드웨어에서 실행 가능하므로 이런 제어기능 자체가 사라짐

어떻게 좋은 목적으로 사용해야 할까 ?

  • 이게 사회에 큰 영향을 미칠 것이라고 생각. 내 우선 순위는 이 영향을 긍정적인 방향으로 인도하는 것
  • 생성형 AI는 해롭거나 시간낭비라고 생각하는 냉소적인 시각에 빠지기 쉬움
  • 나는 개인적으로 매일 생성형 AI도구를 사용중. 물질적인 생산성 향상을 주었고, 더 중요한 것은 내가 수행하는 프로젝트에 대한 야망을 확장 시켜줬음
  • 지난주에 ChatGPT를 이용해서 새 프로젝트에 필요한 AppleScript를 한시간만에 배웠음
  • 나는 이 기술의 긍정적인 적용 방법들을 계속 탐구하고 공유할 것

다음에 봐야할 것

  • 페이스북이 라이센스 조건을 완화하지 않는 이상, LLaMA는 이런 모델이 소비자 하드웨어에서 실행된다는 PoC로 끝나버리게 될것
  • 이제 사람들 사이에서는 자신의 기기에서 ChatGPT 같은 기능을 제공하는 완전한 공개 언어 모델을 릴리즈 하기 위한 경쟁이 시작 되었음

[원문]

[출처/GeekNews]

1개의 좋아요