# \#visualization **URL:** https://discuss.pytorch.kr/tag/visualization/1364.md [최신](https://discuss.pytorch.kr/latest.md) · [카테고리](https://discuss.pytorch.kr/categories.md) · [태그](https://discuss.pytorch.kr/tags.md) --- ## [Flint, 시맨틱 스펙으로 차트를 만드는 AI 시대의 시각화 언어 (feat. Microsoft)](https://discuss.pytorch.kr/t/flint-ai-feat-microsoft/11204)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [7월 12, 2026, 11:30오후 UTC](https://discuss.pytorch.kr/t/flint-ai-feat-microsoft/11204 "2026-07-12T23:30:54Z")
Flint 소개 Flint는 AI 에이전트가 간결하고 사람이 직접 고칠 수 있는 차트 스펙으로부터 표현력 있고 보기 좋은 시각화를 안정적으로 만들어 내도록 설계된 시각화 중간 언어(Visualization Intermediate Language) 입니다. 마이크로소프트는 이 프로젝트에 "AI 시대를 위한 시각화 언어(A Visualization Language for the AI Era)" 라는 부제를 붙였는데, 이 표현은 Flint가 풀려는 문제를 잘 요약합니다. 대규모 언어 모델(LLM)이 데이터로부터 차트를 그리려 할 때, 지금까지는 Vega-Lite나 ECharts, Chart.js 같은 렌더링 라이브러리의 장황한 설정을 직접 생성해야 했습니다. 이 방식은 스케일, 축, 간격, 레이블, 레이아웃처럼 서로 얽힌 저수준 파라미터를 일일이 조율해야 하고, 필드 하나만 바꿔도 스펙 전체가 쉽게 깨진다는 문제가 있었습니다. Flint의 접근은 다릅니다. 개발자나 에이전트는 각 데이터 필드가 무엇을 의미하는지 와 어떤 차트를 원하는지 만 선언하고, 나머지 저수준 결정(축 유형, 0 기준선, 숫자 포맷, 색상, 크기, 레이아웃)은 Flint 컴파일러가 데이터와 시맨틱 타입으로부터 자동으로 유도합니다. 그 결과로 나오는 것은 에이전트가 안정적으로 생성할 수 있고, 사람이 직접 편집할 수 있으며, 여러 백엔드가 각자의 네이티브 스펙으로 렌더링할 수 있는 압축된 차트 명세입니다. 프로그래밍 언어에서 중간 표현(Intermediate Representation) 이 프로그램 로직과 목표 기계어를 분리하듯, Flint는 데이터 시맨틱(data semantics) 과 차트 의도(chart intent) 를 분리합니다. Flint는 마이크로소프트 리서치(Microsoft Research)가 중국 런민대학교(Renmin University of China)의 IDEAS Lab과 협업하여 개발했으며, MIT 라이선스로 공개된 오픈소스입니다. JavaScript/TypeSc… --- ## [LLM 아키텍처 갤러리 (LLM Architecture Gallery): Sebastian Raschka가 공개한, GPT-2부터 최신 오픈웨이트 모델까지의 주요 LLM 구조 시각화](https://discuss.pytorch.kr/t/llm-llm-architecture-gallery-sebastian-raschka-gpt-2-llm/9241)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [3월 17, 2026, 4:00오전 UTC](https://discuss.pytorch.kr/t/llm-llm-architecture-gallery-sebastian-raschka-gpt-2-llm/9241 "2026-03-17T04:00:46Z")
LLM Architecture Gallery 소개 최근 인공지능 분야, 특히 대규모 언어 모델(LLM)의 발전 속도는 경이로운 수준입니다. 새로운 모델이 출시될 때마다 단순히 매개변수(Parameter)의 규모만 커지는 것이 아니라, 내부 아키텍처(Architecture) 역시 혁신적으로 진화하고 있습니다. 이러한 빠른 변화의 흐름 속에서 AI 개발자와 연구자들이 각 모델의 구조적 차이점과 기술적 발전 과정을 명확하게 추적하고 이해하는 것은 매우 중요한 과제가 되었습니다. 머신러닝 권위자이자, 국내에서는 '밑바닥부터 만들면서 배우는 LLM(길벗 출판사, 2025년 9월 출간)' 도서의 저자로 알려진 세바스찬 라시카(Sebastian Raschka)가 정리 및 공개한 LLM Architecture Gallery는 이러한 개발자들의 니즈를 완벽하게 충족시켜 주는 프로젝트입니다. 2019년에 출시된 초기 모델부터 2026년 최신 오픈웨이트(Open-Weight) 모델에 이르기까지, 다양한 LLM의 아키텍처 도식(Figure)과 주요 제원(Fact sheet)을 모아놓은 직관적인 시각적 레퍼런스를 제공합니다. LLM 아키텍처 갤러리(LLM Architecture Gallery)는 단순히 모델의 크기나 벤치마크 성능을 나열하는 것을 넘어, 어텐션 메커니즘(Attention Mechanism), 정규화(Normalization) 방식, MoE(Mixture of Experts) 라우팅 기법 등 기술적인 내부 진화 과정을 한눈에 파악할 수 있도록 돕습니다. 복잡한 논문이나 기술 문서를 일일이 찾아 분석하지 않아도, 갤러리 내의 다이어그램과 요약 정보를 통해 모델 간의 구조적 유사성과 차이점을 쉽게 비교 분석할 수 있어 S/W 엔지니어들에게 매우 유용한 실무 참고 자료가 됩니다. LLM Architecture Gallery 데이터 구조 및 활용 방식 이 갤러리는 오픈소스 저장소를 통해 메타데이터 형태로 관리되며, 이를 기반으로 웹사이트에 시각적 카드가 생성됩… --- ## [NodeNest: 학습 내용을 지식 그래프 형태로 시각화하여 학습을 돕는 오픈소스 AI 튜터](https://discuss.pytorch.kr/t/nodenest-ai/8545)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [12월 29, 2025, 3:30오전 UTC](https://discuss.pytorch.kr/t/nodenest-ai/8545 "2025-12-29T03:30:49Z")
NodeNest 소개 NodeNest는 기존의 선형적인 AI 채팅 인터페이스가 가진 한계를 극복하고, 학습 내용을 시각적인 '지식 그래프(Knowledge Graph)' 형태로 구축해 주는 차세대 오픈소스 AI 튜터입니다. 우리가 ChatGPT와 같은 거대언어모델(LLM)을 사용하여 복잡한 주제를 학습할 때, AI는 종종 완벽에 가까운 장문의 에세이를 답변으로 제시합니다. 사용자는 그 순간에는 내용을 이해했다고 느끼지만, 며칠이 지나면 기억에서 대부분 사라지는 경험을 하게 됩니다. NodeNest의 개발자는 그러한 이유를 "읽는 것은 학습하는 것이 아니기 때문(Reading isn't learning)"이라고 지적합니다. 진정한 이해는 개념과 개념을 연결하고 머릿속에 구조화된 모델을 만들 때 이루어지는데, 정보가 끊임없이 위로 스크롤 되어 사라지는 기존의 선형적인 채팅창은 이러한 구조적 사고를 방해한다는 것입니다. 이에 대한 해결책으로 등장한 NodeNest는 대화를 타임라인에서 꺼내어 무한한 캔버스 위에 배치합니다. 사용자가 새로운 내용을 배울 때마다 그 정보는 단순히 지나가는 텍스트가 아니라, 지식의 나무를 구성하는 영구적인 '노드(Node)'가 됩니다. 이 도구는 AI가 단순히 지식을 주입하는 '강의 모드'를 지양하고, 사용자에게 질문을 던지며 스스로 답을 찾게 하는 '소크라테스식 문답법'을 핵심 교육 철학으로 삼고 있습니다. NodeNest는 기존의 텍스트 기반 AI 챗봇과 명확한 차별점을 가지고 있습니다. 특징 NodeNest 기존 챗봇 (Standard Chatbots) 멘탈 모델 시각적 지식 그래프 (Visual Knowledge Graph) 끝없는 텍스트의 벽 (Infinite Wall of Text) 교육 방식 소크라테스식 문답 (질문을 통한 유도) 강의식 설명 (Lecture Mode) 구조 넓이 우선 탐색 트리 (Breadth-First Tree) 선형적 구조 (Linear Rabbit Hole) 시… --- ## [Tersa: 텍스트 및 멀티미디어 데이터 처리가 가능한 워크플로우 캔버스](https://discuss.pytorch.kr/t/tersa/6973)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [5월 20, 2025, 3:30오전 UTC](https://discuss.pytorch.kr/t/tersa/6973 "2025-05-20T03:30:36Z")
Tersa 소개 AI 워크플로우를 시각적으로 구성하고 싶은 개발자분들께 희소식입니다. 디자인 엔지니어 Hayden Bleasel이 만든 오픈소스 프로젝트 Tersa는 드래그 앤 드롭 방식으로 다양한 AI 모델을 연결하여 워크플로우를 구축할 수 있는 캔버스를 제공합니다. 특히 OpenAI, Anthropic 등 주요 AI 모델들과의 통합이 가능하며, 텍스트, 이미지, 오디오, 비디오 등 멀티미디어 데이터를 처리할 수 있습니다. Tersa는 AI 워크플로우를 시각적으로 구성할 수 있는 오픈소스 플랫폼입니다. 사용자는 노드를 드래그 앤 드롭하여 다양한 AI 모델을 연결하고, 이를 통해 텍스트, 이미지, 오디오, 비디오 등 다양한 데이터를 처리하는 워크플로우를 구축할 수 있습니다. 이러한 기능은 AI 애플리케이션을 개발하거나 프로토타이핑하는 데 매우 유용합니다. Tersa는 Next.js 15, React 19, Supabase, Vercel AI SDK, ReactFlow 등 최신 웹 기술을 활용하여 개발되었으며, 사용자 친화적인 UI를 제공합니다. 또한, Supabase를 통한 클라우드 저장소와 Row Level Security를 통해 보안성을 강화하였습니다. 이러한 특징 덕분에 Tersa는 개발자 커뮤니티에서 빠르게 주목받고 있습니다. Tersa와 유사한 도구로는 LangFlow, Flowise, AirOps 등이 있습니다. 이들 도구는 주로 LLM 기반의 텍스트 처리에 중점을 두고 있으며, 사용자 인터페이스나 기능 면에서 제한적일 수 있습니다. 반면, Tersa는 멀티모달 데이터 처리와 다양한 AI 모델 통합, 직관적인 UI 등에서 차별화된 강점을 보입니다. Tersa의 주요 기능 시각적 워크플로우 빌더: 드래그 앤 드롭 방식으로 노드를 연결하여 AI 워크플로우를 구성할 수 있습니다. 다양한 AI 모델 통합: OpenAI, Anthropic 등 주요 AI 모델과의 통합이 가능합니다. 멀티미디어 데이터 처리: 텍스트, 이미지, 오디오, … --- ## [GPT2-WebGL: WebGL로 구현한 GPT-2 추론(inference) 실행 및 시각화 프로젝트](https://discuss.pytorch.kr/t/gpt2-webgl-webgl-gpt-2-inference/6900)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [5월 6, 2025, 2:29오전 UTC](https://discuss.pytorch.kr/t/gpt2-webgl-webgl-gpt-2-inference/6900 "2025-05-06T02:29:15Z")
GPT2-WebGL 소개 Nathan Barry가 WebGL2를 활용하여 GPT-2 모델을 브라우저에서 실행할 수 있도록 구현한 프로젝트를 공개했습니다. 이 프로젝트를 통해 GPU 가속을 활용하여 텍스트를 생성하는 것은 물론, Transformer 내부 구조를 시각화할 수 있습니다. GPT-2는 OpenAI에서 개발한 자연어 처리 모델로, 다양한 텍스트 생성 작업에 활용되고 있습니다. 그러나 그 크기와 연산 요구사항 때문에 일반적으로 서버나 클라우드 환경에서 실행되어야 했습니다. Nathan Barry는 이러한 제약을 극복하고자 WebGL2를 활용하여 브라우저에서 GPT-2를 실행할 수 있는 프로젝트를 개발했습니다. 이 프로젝트는 GPU 가속을 활용하여 텍스트 생성을 수행하며, Transformer 블록과 어텐션 매트릭스를 시각화할 수 있는 기능도 제공합니다. 기존에는 TensorFlow.js나 ONNX.js와 같은 라이브러리를 활용하여 브라우저에서 머신러닝 모델을 실행할 수 있었습니다. 그러나 이러한 라이브러리는 일반적으로 CPU를 활용하거나 제한적인 GPU 가속만을 제공합니다. 반면, 이 프로젝트는 WebGL2를 직접 활용하여 GPU에서 연산을 수행하므로, 더 나은 성능을 기대할 수 있습니다. 또한, Transformer 내부 구조를 시각화할 수 있는 기능은 기존의 브라우저 기반 머신러닝 라이브러리에서는 찾아보기 어려운 특징입니다. GPT2-WebGL의 주요 기능 WebGL2를 활용한 GPU 가속: GPT-2의 전체 추론 과정을 WebGL2 셰이더를 활용하여 GPU에서 수행합니다. 브라우저 기반 실행: 별도의 서버나 백엔드 없이 브라우저에서 직접 실행할 수 있습니다. Transformer 블록 및 어텐션 매트릭스 시각화 : 모델의 내부 구조를 시각화하여 이해를 돕습니다. BPE 토크나이저 통합: js-tiktoken을 활용하여 브라우저에서 직접 토크나이징을 수행합니다. 사전 학습된 가중치 다운로드 스크립트 제공: Hugging Face의 tra… --- ## [trunk, Hungging Face에 공개된 LLM 모델들의 간략한 시각화를 위한 도구](https://discuss.pytorch.kr/t/trunk-hungging-face-llm/6714)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [4월 7, 2025, 3:30오전 UTC](https://discuss.pytorch.kr/t/trunk-hungging-face-llm/6714 "2025-04-07T03:30:01Z")
trunk 소개 trunk은 HuggingFace 모델들을 각 레이어의 파라미터 수, 종류, 순서를 시각적으로 표현해주는 도구입니다. 다른 시각화 툴들과 달리, trunk은 ‘간단한 시각적 스타일’을 지향합니다. 예쁘고 복잡한 시각화보다는, 모델 구조가 어떻게 구성돼 있는지를 파악하는 데 최적화된 도구입니다. trunk는 LLM(text, audio, multimodal) 모델들을 대상으로 테스트되었으며, 모델의 컴포넌트를 컬러로 구분하고, log 스케일로 파라미터 수를 시각적으로 비교할 수 있도록 설계되어 있습니다. 기존의 시각화 도구들—예: Netron이나 TensorBoard Graph 모드—는 전체 구조를 그래프 형태로 보여주지만, 정보량이 너무 많고 직관성이 떨어지는 경우가 많습니다. trunk은 단순한 구조를 기반으로 하면서도, 레이어별 상대적 크기와 컴포넌트 종류를 컬러로 구분해 주기 때문에 빠르게 모델 구조를 이해할 수 있습니다. trunk의 주요 특징 컴포넌트 별 색상 지정: attention, feed-forward, embedding 등을 컬러로 구분 log 스케일 파라미터 크기 시각화: 레이어 간 파라미터 수 차이를 직관적으로 비교 가능 순차적 레이어 시각화: 모델 구조가 실제 처리 순서대로 표현됨 HF 모델 지원: GPT-2, CLIP, Whisper 등 다양한 모델에서 테스트됨 trunk의 시각화 예시 자세한 이미지와 예시는 GitHub 저장소의 diagrams/ 디렉토리 또는 이 트위터 스레드에서 확인 가능합니다. 라이선스 trunk 프로젝트는 Apache-2.0 라이선스로 공개되어 있습니다. :github: trunk 프로젝트 GitHub 저장소 이 글은 GPT 모델로 정리한 글을 바탕으로 한 것으로, 원문의 내용 또는 의도와 다르게 정리된 내용이 있을 수 있습니다. 관심있는 내용이시라면 원문도 함께 참고해주세요! 읽으시면서 어색하거나 잘못된 내용을 발견하시면 덧글로 알려주시기를 부탁… --- ## [DeepSeek-V3/R1 모델 학습 및 추론 시 수집한 프로파일링 데이터 공개 (feat. DeepSeek)](https://discuss.pytorch.kr/t/deepseek-v3-r1-feat-deepseek/6237)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [2월 27, 2025, 2:00오후 UTC](https://discuss.pytorch.kr/t/deepseek-v3-r1-feat-deepseek/6237 "2025-02-27T14:00:57Z")
들어가며 :pytorch::kr: DeepSeek에서 이번 주, 하루에 하나씩, 인프라와 관련한 GitHub 저장소를 공개하기로 하였습니다. 오늘은 DeepSeek-V3 및 DeepSeek-R1 모델 개발 시 사용했던 최적화 전략 및 코드들에 대한 저장소 3개를 한꺼번에 공개했습니다. 그 중 세번째로 학습 및 추론 시의 프로파일링 데이터를 살펴보겠습니다. :smiley: 프로파일링 데이터 소개 DeepSeek AI가 자사의 학습 및 추론 프레임워크에서 수집한 프로파일링 데이터를 공개했습니다. PyTorch Profiler를 활용하여 수집한 이 데이터는 Chrome이나 Edge의 트레이싱 툴(chrome://tracing 또는 edge://tracing)에서 직접 확인할 수 있습니다. MoE(Mixture-of-Experts) 기반 모델을 사용한 학습 및 추론 과정에서 병렬화 전략이 어떻게 적용되고, 통신과 연산이 어떻게 겹쳐서 수행되는지 등을 분석하는데 유용합니다. PyTorch Profiler를 사용해 수집한 이번 프로파일링 데이터에 포함된 주요 내용은 다음과 같습니다: 학습 프로파일링 데이터(train.json): DeepSeek AI의 DualPipe 프레임워크에서 MoE 기반 모델을 훈련할 때 발생하는 연산 및 통신 흐름 분석 자료 추론 과정의 Prefilling 단계(prefill.json): 입력(prompt) 처리를 위한 병렬화 및 연산-통신 오버랩(Overlapping) 전략 포함 추론 과정의 Decoding 단계(decode.json, 공개 예정): 디코딩 시점의 통신 및 연산 분배 방식 일반적으로 PyTorch Profiler를 사용하면 모델 내부의 연산 수행 시간과 CUDA 커널 호출 등의 정보를 볼 수 있지만, 대규모 모델의 분산 학습 및 추론 시에는 GPU 간 통신이 성능 병목이 되는 경우가 많습니다. 따라서, 단순한 연산 프로파일링만으로는 통신-연산 병목을 해결하기가 어렵습니다. DeepSeek에서는 이러한 문제를 해결… --- ## [Frames of Mind: R1 모델의 사고 과정을 임베딩과 차원 축소(t-SNE)를 통해 시각화하는 프로젝트](https://discuss.pytorch.kr/t/frames-of-mind-r1-t-sne/6171)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [2월 19, 2025, 11:30오전 UTC](https://discuss.pytorch.kr/t/frames-of-mind-r1-t-sne/6171 "2025-02-19T11:30:19Z")
Frames of Mind 프로젝트 소개 Frames of Mind는 R1 모델의 '사고 과정'을 시각적으로 표현하려고 시도하는 프로젝트입니다. OpenAI의 임베딩 API와 t-SNE를 활용해 R1 모델이 문제를 해결하는 과정을 단계별로 시각화할 수 있습니다. 특히, 연속된 사고 간의 이동 거리(cosine similarity)를 측정하고 이를 그래픽으로 나타내는 점이 흥미롭습니다. AI의 의사결정 과정을 깊이 이해하고 싶은 분들에게 유용할 것입니다. Frames of Mind 프로젝트가 모델의 사고 과정을 시각화하는 방식은 다음과 같습니다: 사고 과정(Chain-of-Thought, CoT) 저장: 모델의 단계별 사고를 텍스트로 저장합니다. 텍스트 임베딩 변환: OpenAI API를 이용해 저장된 텍스트를 벡터 임베딩으로 변환합니다. 임베딩 시각화: - t-SNE 알고리즘을 사용해 임베딩을 2D 공간에서 시각화합니다. 이 과정이 진행되면 AI가 특정 질문에 대해 어떤 식으로 사고하는지를 애니메이션으로 확인할 수 있습니다. 예를 들어, “자전거가 어떻게 작동하는가(Describe how a bicycle works)“라는 질문에 대한 사고 과정은 아래와 같이 표현됩니다: 현재까지는 모델의 출력을 텍스트로만 읽어보며 사고 과정을 확인할 수 있었던 반면, Frames of Mind 프로젝트는 이를 애니메이션과 그래프를 통해 직관적으로 이해할 수 있도록 설계되었습니다. 또한, 사고 단계 간의 거리(예: 연속된 사고 사이의 cosine similarity)를 측정하여 사고의 흐름이 어떻게 변화하는지도 분석할 수 있습니다. 위 예시와 같이 한 단계의 사고(Thought i)에서 다음 단계(Thought i+1)로 넘어갈 때 변화의 크기(거리, Consecutive Distance)를 측정하고 시각화 할 수도 있습니다. :github: Frames of Mind GitHub 저장소 https://github.com/dhealy05/frames\_o… --- ## [Morph: Python 기반, 데이터 애플리케이션 개발 프레임워크](https://discuss.pytorch.kr/t/morph-python/6124)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [2월 14, 2025, 2:00오전 UTC](https://discuss.pytorch.kr/t/morph-python/6124 "2025-02-14T02:00:34Z")
Morph 소개 Morph는 Python을 중심으로 데이터 애플리케이션을 개발하고 배포할 수 있는 풀스택 프레임워크입니다. 기존에는 데이터 애플리케이션을 개발할 때는 보통 백엔드, 프론트엔드, 데이터베이스까지 여러 기술을 다뤄야 합니다. 하지만 Morph는 Python을 기반으로 SQL 및 MDX를 활용하여 보다 간단하게 데이터 앱을 만들 수 있도록 도와주는 풀스택 프레임워크입니다. 특히, HTML/CSS 없이도 시각적인 데이터 앱을 만들 수 있는 Markdown 기반 문법을 제공하며, HTML/CSS나 복잡한 프론트엔드 프레임워크를 몰라도 깔끔한 UI를 가진 데이터 앱을 만들 수 있는 것이 특징입니다. 또한, 클라우드 환경에서도 손쉽게 배포할 수 있도록 지원하며, 사용자 인증 및 보안 데이터 연결 기능을 갖춘 Managed Cloud 옵션도 제공됩니다. 몇 가지 명령어만으로도 빠르게 프로젝트를 시작할 수 있습니다. Morph와 기존의 Streamlit, Dash와의 비교를 하면 다음과 같습니다: 특징 Morph Streamlit Dash 개발 언어 Python, SQL, MDX Python Python UI 구성 방식 Markdown 기반 문법 Python 코드 기반 Python 코드 기반 HTML/CSS 필요 여부 불필요 불필요 일부 필요 배포 지원 클라우드 및 로컬 지원 클라우드 및 로컬 지원 로컬 위주 Morph는 Markdown 스타일의 간결한 문법을 제공하며, HTML/CSS 없이도 데이터 앱을 쉽게 구성할 수 있는 점이 큰 강점입니다. 반면, Streamlit과 Dash는 Python 코드 기반으로 UI를 구성해야 하므로, 상대적으로 진입 장벽이 높을 수 있습니다. Morph의 주요 기능 :rocket:빠른 시작: 단 세 개의 명령어로 프로젝트를 만들고 실행할 수 있음. :globe\_with\_meridians:쉽고 간편한 배포: 클라우드를 지원하며, 사용자 인증 및 보안 기능이 포함됨. … --- ## [DeepLearning.AI, 트랜스포머 기반 LLM의 동작에 대한 무료 강의 공개 \[무료/영어/온라인\] (feat. Jay Alammar)](https://discuss.pytorch.kr/t/deeplearning-ai-llm-feat-jay-alammar/6070)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [2월 7, 2025, 3:30오전 UTC](https://discuss.pytorch.kr/t/deeplearning-ai-llm-feat-jay-alammar/6070 "2025-02-07T03:30:48Z")
"How Transformer LLMs Work" 강의 소개 Andrew Ng이 설립한 DeepLearning.AI에서 Transformer 기반 대형 언어 모델(LLM)의 작동 원리를 다루는 새로운 무료 강의를 공개했습니다. Transformer 모델이 어떻게 동작하는지 이해하면, LLM을 더 효과적으로 활용할 수 있고, 다양한 애플리케이션에 적용할 때 더욱 깊이 있는 접근이 가능합니다. 이 강의에서는 Transformer 모델의 핵심 원리 를 학습하고, 최신 연구에서 발전한 Multi-query Attention, Grouped Query Attention, Sparse Attention 같은 개선 사항도 다룹니다. 특히, 토큰화(tokenization), 임베딩(embedding), 셀프 어텐션(self-attention), Transformer 블록 등의 핵심 개념을 쉽게 익힐 수 있습니다. "How Transformers LLMs Work" 강의는 GPT-2를 비롯하여 DeepSeek-R1 등의 모델이 어떻게 동작하는지를 시각화한 글들로 유명한 Jay Alammar가 "Hands-on Large Language Models" 도서를 공동 집필한 Maarten Grootendorst와 함께 제작했으며, 중점적으로 다루는 내용은 다음과 같습니다: Bag-of-Words, Word2Vec부터 Transformer까지 언어 표현 방식의 진화 토큰화 과정과 다양한 토크나이저 전략 비교 Transformer 블록의 셀프 어텐션(Self-Attention)과 피드포워드(Feedforward) 레이어 원리 모델 연산 속도를 높이기 위한 KV 캐시(Key-Value Cache)와 계산 최적화 기법 Hugging Face Transformers 라이브러리 를 활용한 최신 모델 실습 "How Transformer LLMs Work" 강의 목차 이 강의는 총 13개의 비디오 강의와 3개의 코드 실습으로 구성되어 있습니다. … --- ## [Reservoirs Lab, Postgres를 위한 VectorDB GUI 및 데이터 인사이트 App 🐘✨](https://discuss.pytorch.kr/t/reservoirs-lab-postgres-vectordb-gui-app/5740)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [12월 24, 2024, 11:30오전 UTC](https://discuss.pytorch.kr/t/reservoirs-lab-postgres-vectordb-gui-app/5740 "2024-12-24T11:30:17Z")
Reservoirs Lab 소개 벡터 데이터의 시각화 및 탐색은 딥러닝 모델이 생성한 임베딩 데이터를 활용하는 많은 애플리케이션에서 중요한 요소입니다. Reservoirs Lab은 Postgres 데이터베이스에 저장된 고차원 벡터 데이터를 쉽게 시각화하고, 메타데이터와 벡터 간의 관계를 비롯한 데이터 간의 유사성을 탐구할 수 있는 도구입니다. Electron 기반으로 설계된 이 애플리케이션은 로컬에서 실행되며, 데이터 프라이버시를 보장하면서도 사용자 친화적인 인터페이스를 제공합니다. Reservoirs Lab 프로젝트는 다음과 같은 배경에서 시작되었습니다: 임베딩 데이터의 중요성: 자연어 처리(NLP), 이미지 처리, 추천 시스템 등 다양한 분야에서 딥러닝 모델이 생성한 벡터 임베딩은 데이터의 의미론적 관계를 포착하는 중요한 역할을 합니다. 시각화와 탐색의 필요성: 벡터 임베딩을 단순히 저장하는 것만으로는 한계가 있습니다. 데이터의 구조적 특성을 이해하고, 클러스터링을 시각적으로 탐색할 수 있어야 데이터를 효과적으로 활용할 수 있습니다. 개발자의 편의성: Reservoirs Lab은 설치 및 실행이 간단하며, 로컬 환경에서 모든 작업이 이루어져 데이터 프라이버시 문제를 해결합니다. 주요 기능 Postgres 데이터베이스 연결: Reservoirs Lab은 사용자가 입력한 연결 문자열(Connection String)을 사용해 Postgres 데이터베이스에 바로 연결합니다. 데이터는 원격 서버로 전송되지 않으며, 로컬 환경에서 안전하게 작업이 진행됩니다. 벡터 데이터 시각화: 고차원 벡터 데이터를 UMAP(Uniform Manifold Approximation and Projection) 알고리즘을 사용해 2차원 또는 3차원으로 축소합니다. UMAP은 벡터 간의 유사성을 유지하면서 데이터를 시각적으로 탐색할 수 있도록 돕습니다. 코사인 유사도 기반 탐색: 특정 데이터 포인트를 클릭하면 해당 포인트와 코사인 유사도(Cosine Sim… --- ## [Data Formulator: AI를 활용한 시각화 도구 (feat. Microsoft)](https://discuss.pytorch.kr/t/data-formulator-ai-feat-microsoft/5377)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [10월 23, 2024, 12:55오후 UTC](https://discuss.pytorch.kr/t/data-formulator-ai-feat-microsoft/5377 "2024-10-23T12:55:34Z")
Data Formulator 소개 Microsoft Research에서 개발한 Data Formulator는 AI를 활용해 데이터를 시각화하는 강력한 도구입니다. 일반적인 AI 도구와 달리, Data Formulator는 대규모 언어 모델(LLM)을 활용해 데이터를 시각적으로 변환합니다. 즉, 일반적인 AI 도구들이 주로 자연어 입력에 의존하는 것과 달리, Data Formulator는 UI 상호작용과 자연어 입력을 결합한 방식을 채택했습니다. 이를 통해 사용자는 차트 디자인을 쉽게 설명할 수 있으며, 복잡한 데이터 변환 작업을 AI가 처리하도록 맡길 수 있습니다. 특히, 데이터 분석가들이 반복적으로 데이터 시각화를 생성하는 과정에서 시간을 절약하고, 더 나은 인사이트를 얻을 수 있도록 돕습니다. 2024년 10월에 첫 릴리스가 되었으며, 이후 파이썬 패키지 설치와 로컬 실행도 가능해졌습니다. Data Formulator의 주요 특징 AI 기반 데이터 시각화: 기존의 데이터를 시각화할 뿐만 아니라, 데이터에 존재하지 않는 필드를 생성하거나 변환해 새로운 차트를 만들 수 있습니다. 반복적 시각화 생성: 시각화 작업을 반복하면서 새로운 인사이트를 발견할 수 있습니다. 또한, 자연어를 사용해 기존 차트를 개선하거나 확장할 수 있습니다. 다양한 설치 옵션: 파이썬 패키지 설치, GitHub Codespaces에서 바로 실행, 또는 로컬 개발 환경에서 커스터마이징 가능합니다. 실시간 시각적 피드백: 데이터 필드를 드래그 앤 드롭하거나, 차트 속성을 수정하면서 즉시 결과를 확인할 수 있습니다. 라이선스 Data Formulator 프로젝트는 MIT License로 공개 및 배포되고 있습니다. 하지만 Microsoft 및 관련된 3rd party의 로고 등은 각 회사 또는 단체의 정책을 따릅니다. :scroll: Data Formulator 소개 글 https://www.microsoft.com/en-us/research/bl… --- ## [한 눈(?)에 보는 RAG](https://discuss.pytorch.kr/t/rag/5240)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 1\ **마지막 업데이트:** [9월 26, 2024, 12:37오전 UTC](https://discuss.pytorch.kr/t/rag/5240 "2024-09-26T00:37:30Z")
소개 LinkedIn에 AWS GenAI Lead인 Eduardo Ordax가 공유한 "All you need to know about RAG"가 업데이트되어 퍼왔습니다. :smiley: 어떠한 기법들이 있는지, 각 기법들이 어떠한 것인지를 한 눈에 살펴볼 수 있는 내용으로 참고하실 수 있을 것 같아 퍼왔습니다. 주요 내용은 다음과 같습니다: :heavy\_check\_mark: 왜 RAG인가? 나이브 RAG 및 청킹 전략에 대한 설명 (Why RAG? Explanation of Naive RAG and Chunking Strategies) :heavy\_check\_mark: 고급 RAG 기법들 \*(Advance RAG Techniques)\*:backhand\_index\_pointing\_down: :red\_triangle\_pointed\_up: 나이브 + 메타데이터 (Naive + Metadata) :red\_triangle\_pointed\_up: 부모-자식 청크 검색 (Parent-Child chunk retrieval) :red\_triangle\_pointed\_up: 쿼리 변환 또는 재작성 (Query transformation or rewriting) :red\_triangle\_pointed\_up: 하이브리드 검색 (Hybrid Search) :red\_triangle\_pointed\_up: 쿼리 라우팅 (Query Routing) :red\_triangle\_pointed\_up: 문장 창 검색 (Sentence Window Retrieval) :red\_triangle\_pointed\_up: 계층적 색인 검색 (Hierachical Index Retrieval) :red\_triangle\_pointed\_up: HyDE :red\_triangle\_pointed\_up: 에이전트 (Agents) :heavy\_check\_mark: RAG 생성 (RAG Generation) :heavy\_check\_mark: RAG 평가 (RAG Evaluation) 전체 이미지는 아래와 … --- ## [Local Knowledge Graph, LLM의 추론 과정 시각화](https://discuss.pytorch.kr/t/local-knowledge-graph-llm/5214)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [9월 19, 2024, 6:35오후 UTC](https://discuss.pytorch.kr/t/local-knowledge-graph-llm/5214 "2024-09-19T18:35:30Z")
Local Knowledge Graph 소개 Local Knowledge Graph는 Llama 모델을 기반으로 사용자 질문에 대한 답을 단계별로 추론하여, 그 과정을 실시간으로 시각화하는 애플리케이션입니다. 특히, 관련된 질문과 답변을 의미적으로 유사한 항목으로 분류해 사용자에게 제공합니다. Flask 웹 애플리케이션으로 설계되어 있으며, 로컬 환경에서 Llama 모델을 실행하여 모든 처리를 자체적으로 수행합니다. 이 애플리케이션은 AI 기반 추론 시스템에 관심 있는 개발자들에게 유용한 도구가 될 수 있습니다. Local Knowledge Graph의 주요한 특징은 다음과 같습니다: 대화형 웹 인터페이스: 사용자가 질의를 입력하면 실시간으로 추론 과정을 시각화하여 보여줍니다. 단계별 추론 과정 표시: 추론 과정을 단계별로 실시간으로 표시합니다. 지식 그래프 시각화: 추론 단계가 동적으로 연결된 지식 그래프로 표시됩니다. 가장 강력한 추론 경로 계산: 가장 신뢰할 수 있는 추론 경로를 계산하여 보여줍니다. 질문과 답변 탐색: 의미론적 유사성을 기반으로 관련 질문과 답변을 탐색할 수 있습니다. 로컬 Llama 모델 사용: 모든 처리는 로컬 Llama 언어 모델을 통해 수행됩니다. :github: Local Knowledge Graph GitHub 저장소 https://github.com/punnerud/Local\_Knowledge\_Graph 이 글은 GPT 모델로 정리한 글을 바탕으로 한 것으로, 원문의 내용 또는 의도와 다르게 정리된 내용이 있을 수 있습니다. 관심있는 내용이시라면 원문도 함께 참고해주세요! 읽으시면서 어색하거나 잘못된 내용을 발견하시면 덧글로 알려주시기를 부탁드립니다. :hugs: :pytorch:파이토치 한국 사용자 모임:south\_korea:이 정리한 이 글이 유용하셨나요? 회원으로 가입하시면 주요 글들을 이메일:love\_letter:로 보내드립니다! (기본은 Weekly지만 Daily로 변경도 가능합니다.) … --- ## [Loss Rider: 재미있는 loss 시각화 도구](https://discuss.pytorch.kr/t/loss-rider-loss/5086)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [8월 23, 2024, 12:17오후 UTC](https://discuss.pytorch.kr/t/loss-rider-loss/5086 "2024-08-23T12:17:58Z")
Loss Rider 소개 Loss Rider는 학습(loss) 곡선을 독특한 방식으로 시각화하려는 머신러닝(Machine Learning, ML) 실무자들을 위한 파이썬 플로팅 라이브러리입니다. 이 도구는 이러한 학습 곡선을 라인 라이더(Line Rider) 맵으로 변환하여 사용자가 캐릭터가 곡선을 따라 썰매를 타고 내려가는 모습을 볼 수 있게 함으로써, 모델 학습 과정에서의 최적화를 놀이처럼 관찰할 수 있습니다. 주요 기능 라인 라이더 맵(Line Rider Maps): Loss Rider의 주요 기능은 학습 곡선을 상호작용적인 라인 라이더 맵으로 변환하여, 사용자가 모델 성능을 모니터링하는 과정을 시각적으로 매력적으로 만들어 줍니다. 경사하강법(Gradient Descent) 시각화: 모델 수렴 과정을 썰매 타기로 경험할 수 있게 하여, 경사하강법이 어떻게 작동하는지 색다르게 인식할 수 있습니다. Jupyter Notebook 통합: Jupyter Notebook 내에서의 상호작용 플로팅을 지원하여 데이터 과학자들이 워크플로에 직접적으로 시각화를 포함할 수 있도록 합니다. 커스터마이징(Customization): 축 제한, 눈금 표시, 로그 스케일 등 다양한 그래프 옵션을 지원하여 시각화를 세밀하게 제어할 수 있습니다. 라이선스 Loss Rider 프로젝트는 MIT License로 공개 및 배포되고 있습니다. :github: Loss Rider GitHub 저장소 https://github.com/jndean/LossRider 이 글은 GPT 모델로 정리한 글을 바탕으로 한 것으로, 원문의 내용 또는 의도와 다르게 정리된 내용이 있을 수 있습니다. 관심있는 내용이시라면 원문도 함께 참고해주세요! 읽으시면서 어색하거나 잘못된 내용을 발견하시면 덧글로 알려주시기를 부탁드립니다. :hugs: :pytorch:파이토치 한국 사용자 모임:south\_korea:이 정리한 이 글이 유용하셨나요? 회원으로 가입하시면 주요 글들을 이메일… --- ## [Transformer Explainer: 복잡한 Transformer 모델을 시각적으로 이해하기](https://discuss.pytorch.kr/t/transformer-explainer-transformer/5037)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [8월 14, 2024, 3:38오전 UTC](https://discuss.pytorch.kr/t/transformer-explainer-transformer/5037 "2024-08-14T03:38:39Z")
Transformer Explainer 소개 Transformer 모델은 자연어 처리(NLP) 분야에서 혁신적인 변화를 가져온 모델입니다. 하지만 그 복잡한 구조와 동작 원리는 많은 사람들에게 여전히 난해합니다. Polo Club의 Transformer Explainer는 이러한 복잡성을 시각적으로 풀어주는 도구로, 사용자가 Transformer의 내부 동작을 쉽게 이해할 수 있게 도와줍니다. 이 도구는 특히 NLP 연구자와 개발자들에게 유용하며, 모델의 작동 방식을 직관적으로 파악하는 데 도움을 줍니다. Transformer Explainer는 Transformer 기반 모델, 특히 GPT와 같은 텍스트 생성 모델의 동작 방식을 시각적으로 학습할 수 있는 인터랙티브 도구입니다. 이 도구는 웹 브라우저에서 직접 실행되는 GPT-2 모델을 통해 텍스트를 실험하고, Transformer 내부 구성 요소들이 다음 토큰을 예측하는 과정을 실시간으로 관찰할 수 있게 합니다. 모델 시각화: Transformer 모델의 작동 방식을 시각적으로 표현하여 복잡한 구조를 이해하기 쉽게 합니다. 사용자 친화적 인터페이스: 직관적인 인터페이스를 통해 사용자가 쉽게 접근하고 사용할 수 있습니다. 다양한 지원: 다양한 Transformer 모델을 지원하며, 연구자나 개발자가 필요에 따라 확장할 수 있습니다. 라이선스 Transformer Explainer는 MIT 라이선스 하에 제공됩니다. :github: Transformer Explainer GitHub 저장소 https://github.com/poloclub/transformer-explainer :framed\_picture: Transformer Explainer 데모 :scroll: Transformer Explainer 논문 더 읽어보기 SpreadSheet is All You Need: 스프레드시트(또는 엑셀)로 이해하는 nanoGPT의 동작 원리 \[… --- ## [Gradient-Free-Optimizers: 다양한 최적화 기법을 활용한 간단하고 신뢰할 수 있는 최적화 라이브러리](https://discuss.pytorch.kr/t/gradient-free-optimizers/4963)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [7월 31, 2024, 2:24오후 UTC](https://discuss.pytorch.kr/t/gradient-free-optimizers/4963 "2024-07-31T14:24:22Z")
Gradient-Free-Optimizers 라이브러리 소개 Gradient-Free-Optimizers 라이브러리는 변화도(gradient)가 없는 최적화 기법을 제공하는 파이썬 라이브러리로, 목적 함수(objective function)가 단순히 임의의 점수를 필요로 하는 경우에 유용합니다. 이 라이브러리는 다양한 최적화 문제를 해결할 수 있는 여러 기법을 포함하고 있으며, 특히 변화도(gradient) 기반 최적화 방법이 적용되지 않는 문제에도 유효합니다. 예를 들어, 복잡한 수학 함수를 최적화하거나, 데이터에 여러 개의 가우스 분포를 적합시키는 문제, 그리고 머신러닝 모델의 하이퍼파라미터를 최적화하는 데 사용될 수 있습니다. Gradient-Free-Optimizers는 Hyperactive 패키지(3.0.0 이상)의 최적화 백엔드로 사용되는 가볍고 간단한 최적화 도구입니다. 이 라이브러리는 직관적인 API와 다양한 최적화 알고리즘을 제공하여 사용자들이 쉽게 최적화 작업을 수행할 수 있도록 합니다. Gradient-Free-Optimizers는 다양한 최적화 알고리즘을 제공하며, 각 알고리즘은 서로 다른 최적화 문제에 적합합니다. 로컬 최적화 알고리즘은 주어진 검색 공간 내에서 국소적인 탐색을 수행하며, Hill Climbing, Stochastic Hill Climbing, Repulsing Hill Climbing, Simulated Annealing, Downhill Simplex Optimization과 같은 기법이 포함됩니다. 이들 기법은 각각의 장단점을 가지고 있으며, 특정 문제에 맞는 최적의 솔루션을 제공할 수 있습니다. 글로벌 최적화 알고리즘은 전체 검색 공간을 탐색하며, Random Search, Grid Search, Random Restart Hill Climbing, Random Annealing, Pattern Search, Powell's Method와 같은 기법이 포함됩니다. 이러한 기법들은 보다 넓은 범위의 탐색을 통… --- ## [\[GN\] Microsoft LIDA - LLM을 이용한 시각화/인포그래픽 자동 생성](https://discuss.pytorch.kr/t/gn-microsoft-lida-llm/2381)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [9월 1, 2023, 6:45오전 UTC](https://discuss.pytorch.kr/t/gn-microsoft-lida-llm/2381 "2023-09-01T06:45:14Z")
GeekNews의 xguru님께 허락을 받고 GN에 올라온 글들 중에 AI 관련된 소식들을 공유하고 있습니다. :smiley\_cat: 소개 IGM(이미지 생성 모델)과 LLM(대규모 언어 모델) 기반의 grammar-agnostic 한 시각화 및 인포그래픽 생성 도구 4개의 모듈로 구성 SUMMARIZER: 데이터를 자연어 요약으로 변환 GOAL EXPLORER: 해당 데이터에서 시각화 Goal을 나열 VISGENERATOR: 시각화 코드를 생성/정제/실행/필터링 INFOGRAPHER: IGM을 이용하여 데이터에 충실한 그래픽을 생성 Python API 제공 하이브리드 UI(직접 조작 또는 다국어 자연어)로 인터랙티브 차트,인포그래픽,데이터 스토리 생성 원문 소개 영상 홈페이지 GitHub 저장소 https://github.com/microsoft/lida 튜토리얼 (ipynb 노트북) 논문 출처 / GeekNews