# \#llm-comparator

**URL:** https://discuss.pytorch.kr/tag/llm-comparator/3350.md

[최신](https://discuss.pytorch.kr/latest.md) · [카테고리](https://discuss.pytorch.kr/categories.md) · [태그](https://discuss.pytorch.kr/tags.md)

---

## [Google, Gemma2 모델군(9B&27B) 공개](https://discuss.pytorch.kr/t/google-gemma2-9b-27b/4711)

<div class="topic-metadata">

**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\
**댓글:** 2\
**마지막 업데이트:** [6월 28, 2024, 7:08오전 UTC](https://discuss.pytorch.kr/t/google-gemma2-9b-27b/4711 "2024-06-28T07:08:23Z")

</div>

Google, Gemma-2(9B&27B) 모델 공개 Gemma 2 모델군 소개 Google이 새롭게 공개(2024/06/27)한 Gemma 2 시리즈는 연구자와 개발자를 위한 차세대 오픈 모델로, 9B 및 27B 규모의 매개변수 크기들로 제공됩니다. 이 모델은 첫 번째 세대보다 더 높은 성능과 효율성을 자랑하며, 단일 NVIDIA H100 Tensor Core GPU 또는 TPU 호스트에서 실행할 수 있어 배포 비용을 크게 절감합니다. Gemma 2는 뛰어난 성능과 추론 효율성을 위해 새롭게 설계된 아키텍처를 기반으로 하며, 다음과 같은 특징을 갖습니다: 탁월한 성능: Gemma 2 27B 모델은 크기 대비 최고의 성능을 제공하며, 9B 모델도 동급 최고 성능을 자랑합니다. 효율성과 비용 절감: Gemma 2는 단일 Google Cloud TPU 호스트 또는 NVIDIA A100/H100 Tensor Core GPU에서 효율적으로 실행할 수 있어 비용을 절감합니다. 빠른 하드웨어 간 추론 속도: Gemma 2는 다양한 하드웨어에서 빠른 속도로 실행되도록 최적화되어 있습니다. 또한, Gemma 2는 다음과 같은 특징을 통해 개발자와 연구자에게 더 쉽게 통합될 수 있습니다. 개방적이고 접근 가능: Gemma 2는 상업적으로 친화적인 Gemma 라이선스 하에 제공되어 혁신을 공유하고 상업화할 수 있습니다. 폭넓은 프레임워크 호환성: Hugging Face Transformers, JAX, PyTorch, TensorFlow 등 주요 AI 프레임워크와 호환됩니다. 간편한 배포: Google Cloud의 Vertex AI를 통해 쉽게 배포하고 관리할 수 있습니다. 책임있는 AI 개발(Responsible AI Development) 구글은 책임 있는 AI 개발을 위해 필요한 리소스를 제공하고 있으며, LLM Comparator와 같은 도구를 통해 언어 모델의 심층 평가를 지원합니다. 또한, 텍스트 워터마…

---

## [LLM Comparator: LLM들 간의 답변 비교를 위한 시각화 도구 (feat. People+AI Research)](https://discuss.pytorch.kr/t/llm-comparator-llm-feat-people-ai-research/4712)

<div class="topic-metadata">

**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\
**댓글:** 0\
**마지막 업데이트:** [6월 28, 2024, 3:45오전 UTC](https://discuss.pytorch.kr/t/llm-comparator-llm-feat-people-ai-research/4712 "2024-06-28T03:45:52Z")

</div>

LLM Comparator 소개 LLM Comparator는 PAIR Code(Code for People + AI Research)에서 개발한 도구로, 대규모 언어 모델(LLM)의 평가 결과를 비교할 수 있는 인터랙티브 시각화 도구입니다. 이 도구를 사용하면 두 모델의 응답이 예제별 및 슬라이스별로 어떻게 다른지 질적으로 분석할 수 있습니다. 예를 들어, LLM Comparator는 Gemma 1.1과 Gemma 1.0의 응답을 비교하는 예제를 제공합니다. 이를 통해 아래와 같이 각 모델들의 응답이 언제, 왜, 어떻게 다른지를 분석할 수 있습니다: 언제: 스코어 분포 및 프롬프트 카테고리별 메트릭 패널에서 Gemma 1.1이 1.0보다 더 나은 응답 품질을 보임을 확인할 수 있습니다. 왜: 합리적 요약 패널에서는 이러한 스코어 차이의 이유를 분석합니다. 예를 들어, LLM 판사는 세부 정보의 양을 중점적으로 평가합니다. 어떻게: 맞춤 함수 패널에서는 구체적인 차이점을 발견할 수 있습니다. 예를 들어, Gemma 1.1은 더 자주 목록을 사용하며, Gemma 1.0은 덜 사용합니다. 이런 식으로 이메일 재작성과 같은 특정 작업에서 LLM A의 응답이 LLM B보다 왜 더 나은지를 분석할 수 있도록 돕습니다. LLM Comparator의 주요 특징들은 다음과 같습니다: 인터랙티브 시각화: 사용자는 예제별 및 슬라이스별로 모델 응답을 비교할 수 있습니다. 사용자 정의 JSON 파일 업로드: 사용자는 제공된 예제 파일을 선택하거나 직접 JSON 파일을 업로드하여 비교할 수 있습니다. Python 라이브러리 제공: llm-comparator Python 패키지를 사용하여 JSON 파일을 생성하고, 이를 시각화 도구에서 사용할 수 있습니다. 사용 방법 LLM Comparator는 LLM Comparator 에서 바로 사용해 볼 수 있습니다. 미리 제공하는 예제 파일을 선택하거나, 제공된 형식을 따르는 JSON 파일을 업…
