Google, Gemma2 모델군(9B&27B) 공개

Google, Gemma-2(9B&27B) 모델 공개

Google, Gemma-2(9B&27B) 모델 공개

Gemma 2 모델군 소개

Google이 새롭게 공개(2024/06/27)한 Gemma 2 시리즈는 연구자와 개발자를 위한 차세대 오픈 모델로, 9B 및 27B 규모의 매개변수 크기들로 제공됩니다. 이 모델은 첫 번째 세대보다 더 높은 성능과 효율성을 자랑하며, 단일 NVIDIA H100 Tensor Core GPU 또는 TPU 호스트에서 실행할 수 있어 배포 비용을 크게 절감합니다.

Gemma 2 성능 비교

Gemma 2는 뛰어난 성능과 추론 효율성을 위해 새롭게 설계된 아키텍처를 기반으로 하며, 다음과 같은 특징을 갖습니다:

  • 탁월한 성능: Gemma 2 27B 모델은 크기 대비 최고의 성능을 제공하며, 9B 모델도 동급 최고 성능을 자랑합니다.

  • 효율성과 비용 절감: Gemma 2는 단일 Google Cloud TPU 호스트 또는 NVIDIA A100/H100 Tensor Core GPU에서 효율적으로 실행할 수 있어 비용을 절감합니다.

  • 빠른 하드웨어 간 추론 속도: Gemma 2는 다양한 하드웨어에서 빠른 속도로 실행되도록 최적화되어 있습니다.


또한, Gemma 2는 다음과 같은 특징을 통해 개발자와 연구자에게 더 쉽게 통합될 수 있습니다.

  • 개방적이고 접근 가능: Gemma 2는 상업적으로 친화적인 Gemma 라이선스 하에 제공되어 혁신을 공유하고 상업화할 수 있습니다.

  • 폭넓은 프레임워크 호환성: Hugging Face Transformers, JAX, PyTorch, TensorFlow 등 주요 AI 프레임워크와 호환됩니다.

  • 간편한 배포: Google Cloud의 Vertex AI를 통해 쉽게 배포하고 관리할 수 있습니다.

책임있는 AI 개발(Responsible AI Development)

Gemma-2, Responsible AI Development

구글은 책임 있는 AI 개발을 위해 필요한 리소스를 제공하고 있으며, LLM Comparator와 같은 도구를 통해 언어 모델의 심층 평가를 지원합니다. 또한, 텍스트 워터마킹 기술인 SynthID를 오픈 소스로 제공할 예정입니다.

시작하기

Gemma 2는 Google AI Studio에서 사용 가능하며, KaggleHugging Face Models에서도 모델 가중치를 다운로드할 수 있습니다. Google Cloud 신규 고객은 $300 크레딧을 받을 수 있으며, 학술 연구자는 Gemma 2 학술 연구 프로그램에 신청할 수 있습니다.

더 읽어보기

Gemma 2 공개 블로그 글

Gemma 2 기술 문서

:kaggle: Gemma 2 모델 상세 @ Kaggle

:hugs: Gemma 2 모델 상세 @ Hugging Face

Gemma 모델 활용하기: Gemma Cookbook

Gemma 2 학술 연구 프로그램 (~8/9)

관련 프로젝트: Gemma.cpp

관련 프로젝트: LLM Comparator

관련 프로젝트: SynthID

Ollama에서의 Gemma2 사용 가능 블로그 글




이 글은 GPT 모델로 정리한 글을 바탕으로 한 것으로, 원문의 내용 또는 의도와 다르게 정리된 내용이 있을 수 있습니다. 관심있는 내용이시라면 원문도 함께 참고해주세요! 읽으시면서 어색하거나 잘못된 내용을 발견하시면 덧글로 알려주시기를 부탁드립니다. :hugs:

:pytorch:파이토치 한국 사용자 모임:kr:이 정리한 이 글이 유용하셨나요? 회원으로 가입하시면 주요 글들을 이메일:love_letter:로 보내드립니다! (기본은 Weekly지만 Daily로 변경도 가능합니다.)

:gift: 아래:arrow_lower_right:쪽에 좋아요:+1:를 눌러주시면 새로운 소식들을 정리하고 공유하는데 힘이 됩니다~ :star_struck:

기술 문서의 LMSys Chatbot Arena Elo Rating 수치가 흥미롭네요.
벤치마크 수치에서는 다소 떨어지지만, Elo Rank로는 27B 모델이 Llama-3-70B과 비슷하거나 다소 높게 나타나고 있네요. 제목처럼 실용적인 크기(Practical Size)로 언어 모델 개선한 것 같습니다. :astonished:

보시기 편하게 LMSys Charbot Arena Leaderboard의 해당 부분 캡쳐도 첨부합니다. :smiley:

Ollama에서도 Gemma-2 모델들을 추가했다는 공지를 올렸네요. (위 문서에도 링크 추가해두었습니다!)