# \#inspectus

**URL:** https://discuss.pytorch.kr/tag/inspectus/3283.md

[최신](https://discuss.pytorch.kr/latest.md) · [카테고리](https://discuss.pytorch.kr/categories.md) · [태그](https://discuss.pytorch.kr/tags.md)

---

## [Inspectus: 대규모 언어 모델(LLM)을 위한 시각화 도구](https://discuss.pytorch.kr/t/inspectus-llm/4630)

<div class="topic-metadata">

**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\
**댓글:** 0\
**마지막 업데이트:** [6월 13, 2024, 4:19오후 UTC](https://discuss.pytorch.kr/t/inspectus-llm/4630 "2024-06-13T16:19:22Z")

</div>

Inspectus: 대규모 언어 모델을 위한 시각화 도구 소개 대규모 언어 모델(LLM)은 인공지능 연구와 개발에서 중요한 역할을 하고 있습니다. 그러나 이러한 모델의 내부 동작 방식을 이해하는 것은 여전히 쉽지 않으며, 연구가 필요한 분야입니다. Inspectus는 이러한 대규모 언어 모델의 동작 방식을 이해하기 위한 시도 중 하나로, 대규모 언어 모델(LLM)의 다양한 동작들을 시각화하고 분석할 수 있는 도구입니다. Jupyter 노트북에서 원활하게 작동하며, 직관적인 Python API를 제공합니다. Inspectus는 여러 가지 시각화 뷰를 제공하여 언어 모델의 행동에 대한 다양한 통찰을 제공합니다. 예를 들어, Attention Matrix는 토큰 간의 어텐션 점수(Attentiion Score)를 시각화하고, Query Token Heatmap과 Key Token Heatmap은 각각 선택된 Key 토큰과 Query 토큰 간의 어텐션 점수(Attention Score)를 보여줍니다. Inspectus는 기존의 시각화 도구와 비교하여 몇 가지 독특한 기능을 제공합니다. BERTViz와 같은 다른 도구와 비교했을 때, Inspectus는 사용자가 선택한 토큰에 대한 더 세부적인 어텐션 점수에 대해서 시각화를 할 수 있습니다. 또한, Inspectus는 다양한 차원(레이어 및 헤드)에 대한 주의 점수를 합산하여 시각화할 수 있어, 모델의 내부 구조를 보다 명확하게 이해할 수 있습니다. 주요 구성 요소 Attention Matrix: 각 토큰이 처리 중 다른 토큰에 얼마나 주의(attention)를 기울이는지를 시각화합니다. Query Token Heatmap: 선택된 Key 토큰과 각 Query들 간의 어텐션 점수의 합계를 보여줍니다. Key Token Heatmap: 선택된 Query 토큰과 각 Key들 간의 어텐션 점수의 합계를 보여줍니다. Dimension Heatmap: 각 차원(Layer 및 Head)에서 항목마다 …
