trunk 소개
trunk은 HuggingFace 모델들을 각 레이어의 파라미터 수, 종류, 순서를 시각적으로 표현해주는 도구입니다. 다른 시각화 툴들과 달리, trunk은 ‘간단한 시각적 스타일’을 지향합니다. 예쁘고 복잡한 시각화보다는, 모델 구조가 어떻게 구성돼 있는지를 파악하는 데 최적화된 도구입니다.
trunk는 LLM(text, audio, multimodal) 모델들을 대상으로 테스트되었으며, 모델의 컴포넌트를 컬러로 구분하고, log 스케일로 파라미터 수를 시각적으로 비교할 수 있도록 설계되어 있습니다.
기존의 시각화 도구들—예: Netron이나 TensorBoard Graph 모드—는 전체 구조를 그래프 형태로 보여주지만, 정보량이 너무 많고 직관성이 떨어지는 경우가 많습니다. trunk은 단순한 구조를 기반으로 하면서도, 레이어별 상대적 크기와 컴포넌트 종류를 컬러로 구분해 주기 때문에 빠르게 모델 구조를 이해할 수 있습니다.
trunk의 주요 특징
- 컴포넌트 별 색상 지정: attention, feed-forward, embedding 등을 컬러로 구분
- log 스케일 파라미터 크기 시각화: 레이어 간 파라미터 수 차이를 직관적으로 비교 가능
- 순차적 레이어 시각화: 모델 구조가 실제 처리 순서대로 표현됨
- HF 모델 지원: GPT-2, CLIP, Whisper 등 다양한 모델에서 테스트됨
trunk의 시각화 예시
- 자세한 이미지와 예시는 GitHub 저장소의 diagrams/ 디렉토리 또는 이 트위터 스레드에서 확인 가능합니다.
라이선스
trunk 프로젝트는 Apache-2.0 라이선스로 공개되어 있습니다.
trunk 프로젝트 GitHub 저장소
이 글은 GPT 모델로 정리한 글을 바탕으로 한 것으로, 원문의 내용 또는 의도와 다르게 정리된 내용이 있을 수 있습니다. 관심있는 내용이시라면 원문도 함께 참고해주세요! 읽으시면서 어색하거나 잘못된 내용을 발견하시면 덧글로 알려주시기를 부탁드립니다. 
파이토치 한국 사용자 모임
이 정리한 이 글이 유용하셨나요? 회원으로 가입하시면 주요 글들을 이메일
로 보내드립니다! (기본은 Weekly지만 Daily로 변경도 가능합니다.)
아래
쪽에 좋아요
를 눌러주시면 새로운 소식들을 정리하고 공유하는데 힘이 됩니다~ 