# \#huggingface **URL:** https://discuss.pytorch.kr/tag/huggingface/192.md [최신](https://discuss.pytorch.kr/latest.md) · [카테고리](https://discuss.pytorch.kr/categories.md) · [태그](https://discuss.pytorch.kr/tags.md) --- ## [ML Intern: Hugging Face가 공개한, 논문을 읽고 모델을 학습하며 코드를 배포하는 오픈소스 ML 엔지니어 에이전트](https://discuss.pytorch.kr/t/ml-intern-hugging-face-ml/10192)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [5월 14, 2026, 12:30오후 UTC](https://discuss.pytorch.kr/t/ml-intern-hugging-face-ml/10192 "2026-05-14T12:30:50Z")
ML Intern 소개 ML Intern은 Hugging Face가 공개한 오픈소스 ML 엔지니어 에이전트로, 사용자가 자연어로 의뢰한 ML 과제를 받아 자율적으로 문헌 조사, 데이터셋 탐색, 코드 작성, 학습 실행, 모델 배포까지 수행하도록 설계되어 있습니다. 단순히 LLM에 코딩을 시키는 수준이 아니라, Hugging Face 생태계의 문서(docs), 모델(repos), 데이터셋(datasets), 작업(jobs), 논문(papers)에 깊이 접근할 수 있는 도구들을 내장해 두어, "Hugging Face 안의 ML 인턴"처럼 동작하는 것이 핵심 차별점입니다. 특히, Hugging Face의 smolagents 팀이 직접 관리하는 프로젝트라는 점에서도 신뢰성을 확보하고 있습니다. ML Intern 프로젝트는 그간 우리 PyTorchKR 커뮤니티에서도 자주 다뤄온 "자율 ML 연구·학습" 흐름의 연장선에 있습니다. 같은 Hugging Face 생태계에서 시작된 smolagents 라이브러리가 LLM 기반 에이전트의 기초 구성 요소를 제공한다면, ml-intern은 그 위에 "ML 엔지니어가 일상적으로 하는 일"이라는 명확한 응용 영역을 정의하고 그에 필요한 도구·UX·실행 인프라를 함께 묶어 둔 형태입니다. 사용자는 ml-intern "내 데이터셋으로 LLaMA를 파인튜닝해줘" 같은 한 줄 명령으로 작업을 시작할 수 있고, 에이전트는 그 순간부터 도구를 선택하고 실행하며 결과를 피드백받는 루프를 자동으로 돕니다. ml-intern은 또한 모델 종속성이 적은 설계를 따릅니다. LiteLLM을 통해 Anthropic Claude, OpenAI GPT 같은 상용 모델뿐 아니라 Ollama, vLLM, LM Studio, llama.cpp 같은 로컬 추론 백엔드를 그대로 사용할 수 있고, MCP(Model Context Protocol) 서버까지 도구로 연결할 수 있습니다. Apache-2.0 라이선스로 공개되어 있어 개인 학습, 사내 연구, 추가 도구 … --- ## [BidirLM, 기존의 LLM을 오픈소스 옴니모달 양방향 인코더(Omni-modal Bidirectional Encoder)로 변환하는 레시피와 모델 공개](https://discuss.pytorch.kr/t/bidirlm-llm-omni-modal-bidirectional-encoder/9648)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [4월 9, 2026, 9:30오후 UTC](https://discuss.pytorch.kr/t/bidirlm-llm-omni-modal-bidirectional-encoder/9648 "2026-04-09T21:30:14Z")
BidirLM 소개: 버려진 GPU 시간을 되살리는 아이디어 오픈소스 생태계에는 이미 수백만 GPU 시간이 투입되어 학습된 Gemma3, Qwen3, Qwen3-VL, Qwen3-ASR 같은 수많은 특화 Causal 디코더 모델이 존재합니다. 그러나 이들은 대부분 생성(generation) 작업에만 활용되고, 검색(retrieval)이나 임베딩처럼 표현(representation)이 핵심인 작업에는 거의 쓰이지 못해왔습니다. 문장/문서 임베딩 시장은 여전히 BERT 계열이나 별도로 재훈련한 특수 인코더가 주도하고 있고, 이 과정에서 이미 존재하는 디코더 모델들의 지식은 거의 재활용되지 못합니다. BidirLM은 바로 이 격차를 메우기 위해 등장했습니다. Nicolas Boizard, Théo Deschamps-Berger 등이 공개한 이 연구는, 어떤 causal 디코더 LLM이든 강력한 양방향 인코더(Bidirectional Encoder) 로 변환하는 완전한 오픈소스 레시피를 제시합니다. Gemma3와 Qwen3를 대상으로 한 체계적인 ablation을 통해 "어떤 적응 전략이 실제로 효과가 있는가"를 규명하고, 원본 사전학습 데이터 없이도 규모를 키울 수 있는 방법까지 제안했습니다. 여기서 한 걸음 더 나아가, 저자들은 가중치 병합(weight merging) 기법을 활용해 특화된 Causal 모델(비전, 음성 등)의 능력을 텍스트 인코더에 흡수시키는 실험을 진행했고, 그 결과물이 바로 BidirLM-Omni-2.5B입니다. 이렇게 생성한 BidirLM-Omni-2.5B 컴팩트 모델은 텍스트, 이미지, 오디오를 모두 다루면서 기존 옴니모달 및 단일모달 특화 모델들을 벤치마크에서 앞섭니다. Causal 모델을 양방향으로 만드는 "올바른" 레시피 이러한 시도는 이전부터 있었지만, 지금까지는 정리되지 않고 혼란스러웠습니다. 어떤 연구는 마스킹 단계를 건너뛰고 바로 대조 학습(Contrastive Training)에 돌입하고, 다른 연구는 양방향 어텐… --- ## [Hugging Face Skills: 코딩 에이전트에게 AI/ML 전문 지식을 부여하고 AI 워크플로우 자동화를 위한 스킬 모음 (feat. ACP)](https://discuss.pytorch.kr/t/hugging-face-skills-ai-ml-ai-feat-acp/9071)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [2월 24, 2026, 9:30오후 UTC](https://discuss.pytorch.kr/t/hugging-face-skills-ai-ml-ai-feat-acp/9071 "2026-02-24T21:30:01Z")
Hugging Face Skills 소개 최근 Claude Code, Cursor, OpenAI Codex, Google Gemini CLI와 같은 AI 코딩 에이전트들이 개발자들의 작업 방식을 혁신하고 있습니다. 그러나 이러한 에이전트들이 대규모 언어 모델(LLM) 파인튜닝, 복잡한 데이터셋 관리, 혹은 AI 모델 평가와 같이 고도로 전문화된 AI/ML 작업을 수행할 때는 도메인 특화 지식이나 최신 모범 사례(Best Practices)가 부족하여 한계에 부딪히는 경우가 많습니다. Hugging Face Skills는 이러한 간극을 메우기 위해 등장한 프로젝트로, AI 및 머신러닝 워크플로우에 특별히 맞춰진 구조화된 지침(Guidance)과 컨텍스트를 코딩 에이전트에게 제공합니다. 이를 통해 개발자들은 복잡한 프롬프트 엔지니어링 없이도 에이전트가 Hugging Face 생태계의 도구들을 정확하고 효율적으로 활용하도록 만들 수 있습니다. 본질적으로 Hugging Face Skills는 AI/ML 작업을 위한 Agent Context Protocol(ACP) 정의의 모음입니다. 여기서 'Skill(스킬)'이라는 용어는 원래 Anthropic의 Claude AI 및 Claude Code 생태계에서 사용되는 용어입니다. 하지만 Hugging Face는 이 개념을 확장하여 하나의 스킬 저장소가 거의 모든 주요 코딩 에이전트와 상호 운용될 수 있도록 세심하게 설계했습니다. 즉, 개발자가 특정 플랫폼에 종속되지 않고 OpenAI Codex의 AGENTS.md 방식이나 Google Gemini의 gemini-extension.json 방식 등을 모두 지원하는 범용적인 형태의 스킬 포맷을 사용할 수 있다는 것을 의미합니다. 실제 사용 환경에서 이 스킬들을 도입하면, 코딩 에이전트는 Hugging Face의 전문적인 도구와 API에 대한 깊은 이해도를 갖추게 됩니다. 예를 들어, 사용자가 에이전트에게 "HF LLM trainer 스킬을 사용해서 70B 모델 학습에 필… --- ## [한국 AI 오픈소스 히트맵을 소개합니다!](https://discuss.pytorch.kr/t/ai/9058)
**Author:** [@woojun](https://discuss.pytorch.kr/u/woojun)\ **댓글:** 0\ **마지막 업데이트:** [2월 23, 2026, 1:45오후 UTC](https://discuss.pytorch.kr/t/ai/9058 "2026-02-23T13:45:25Z")
안녕하세요, Hugging Face KREW와 PyTorch KR에서 활동하고 있는 정우준입니다. 최근 한국에서도 정부 주도의 오픈소스 LLM 프로젝트가 진행되는 등 국내 AI 오픈소스 생태계가 빠르게 성장하고 있는데요. 막상 국내 기업과 연구소들이 어떤 모델과 데이터셋을 공개하고 있는지, 전체적인 흐름을 한눈에 파악하기는 쉽지 않았습니다. 그래서 한국 AI 오픈소스 히트맵이라는 Hugging Face Space를 만들어 봤습니다. 국내 주요 AI 조직 14곳이 지난 1년간 Hugging Face에 공개한 모델, 데이터셋, 스페이스 활동을 GitHub Contribution 스타일의 히트맵으로 시각화한 것입니다. 중국 AI 커뮤니티의 Chinese Open Source Heatmap을 보고 영감을 받아 만들었고, 원작자 허가를 받고 공개하였습니다. 어떤 조직이 포함되어 있나요? 현재 NAVER, Kakao, Samsung, SK Telecom, LG AI Research, Upstage, NCSOFT, KRAFTON, Trillion Labs, MOTIF, TELEPIX, Supertone, HAERAE, KT까지 총 14개 조직을 추적하고 있습니다. 하나의 기업이 여러 Hugging Face 조직을 운영하는 경우가 많아서(예: NAVER는 naver-hyperclovax, naver-ellm, navervision 등 7개), 이를 하나로 통합해서 보여줍니다. 주요 기능 각 조직의 일별 공개 활동이 고유 색상의 히트맵으로 표현되고, 활동량 기준으로 자동 정렬됩니다. 현재 기준 LG AI Research(32개), HyperCLOVA X(28개), Trillion Labs(25개)가 상위를 차지하고 있습니다. 조직 카드를 클릭하면 공개 모델 수, 데이터셋 수, 스페이스 수, 총 다운로드 수 같은 상세 통계도 확인할 수 있고요. 목록에 없는 Hugging Face 조직이나 개인 사용자도 하단 검색 기능으로 개별 히트맵을 만들어볼 수 있습… --- ## [The LLM Evaluation Guidebook: Hugging Face가 공개한 LLM 평가를 위한 종합적이고 실질적인 안내서](https://discuss.pytorch.kr/t/the-llm-evaluation-guidebook-hugging-face-llm/8385)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [12월 9, 2025, 9:30오후 UTC](https://discuss.pytorch.kr/t/the-llm-evaluation-guidebook-hugging-face-llm/8385 "2025-12-09T21:30:13Z")
The LLM Evaluation Guidebook / LLM 평가 가이드북 저자 / Authors: Clémentine Fourrier, Thibaud Frere, Guilherme Penedo, Thomas Wolf 발행일 / Published: 2025년 12월 3일 PDF 파일 다운로드 / Download PDF 서론: LLM 평가의 본질과 목적 대규모 언어 모델(LLM)의 세계를 항해하다 보면, 모델을 직접 학습하든, 미세 조정(Fine-tuning)하든, 혹은 단순히 애플리케이션에 적용할 모델을 선택하든 필연적으로 "어떤 모델이 좋은 모델인가?"라는 질문에 봉착하게 됩니다. 이 질문에 대한 답은 여러분이 '모델 빌더(Model Builder)'인가 혹은 '모델 사용자(Model User)'인가에 따라 근본적으로 달라집니다 . 모델 빌더의 관점에서 평가는 개발 과정의 이정표와 같습니다. 연구자나 엔지니어는 베이스 모델을 학습하거나 새로운 아키텍처, 데이터 혼합 비율, 학습 레시피 등을 실험할 때, 이러한 변경 사항이 모델의 전반적인 성능을 향상시켰는지 확인해야 합니다. 이때 수행하는 것이 바로 '어블레이션(Ablation)' 실험입니다. 어블레이션은 특정 변수를 조작한 모델과 베이스라인 모델을 동일한 과제 세트에서 평가하여 비교하는 과정입니다. 따라서 모델 빌더에게는 반복적인 실험을 위해 빠르고 저렴하게 실행될 수 있으면서도, 미세한 성능 변화를 명확한 신호(Signal)로 포착할 수 있는 벤치마크가 필요합니다 . 반면, 모델 사용자의 관점은 다릅니다. 사용자는 추가적인 학습 없이 특정 목적에 바로 사용할 수 있는 최적의 모델을 찾습니다. 수학이나 코딩 같은 일반적인 영역이라면 리더보드 상위권 모델을 테스트하는 것으로 충분할 수 있습니다. 하지만 특수한 도메인의 경우, 일반적인 벤치마크 점수가 실제 업무 효율성과 직결되지 않는 경우가 많습니다. 따라서 모델 사용자는 자신의 구체적인 사용 사례(Use Case)와 데이터… --- ## [📄FinePDFs: Hugging Face가 공개한 3T 규모의 공개 PDF 데이터셋](https://discuss.pytorch.kr/t/finepdfs-hugging-face-3t-pdf/7713)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [9월 10, 2025, 11:30오전 UTC](https://discuss.pytorch.kr/t/finepdfs-hugging-face-3t-pdf/7713 "2025-09-10T11:30:40Z")
:page\_facing\_up:FinePDFs 소개 최근 대규모 언어 모델(LLM)을 위한 데이터셋 확보가 점점 어려워지고 있습니다. 웹 페이지 기반의 HTML 데이터는 이미 수집 가능한 양이 한계에 다다른 상황에서, 새로운 대안으로 떠오른 것이 바로 PDF입니다. 하지만 PDF는 구조가 복잡하고, 텍스트 추출 과정에서 많은 비용이 들기 때문에 지금까지는 대규모 데이터셋 구축 대상으로 크게 주목받지 못했습니다. 이런 상황에서 Hugging Face는 :page\_facing\_up:FinePDFs라는 새로운 데이터셋을 공개했습니다. :page\_facing\_up:FinePDFs는 약 3조 토큰(3 trillion tokens), 4억 7,500만 개의 PDF 문서(475 million documents), 그리고 1,733개의 언어(1,733 languages) 를 포함하는 대규모 데이터셋입니다. 이는 HTML 기반 데이터셋과 비교해도 뒤지지 않는 성능을 보여주며, HTML 데이터와 혼합했을 때는 성능이 크게 향상되는 것이 확인되었습니다. 특히 법률, 학술, 매뉴얼 등 PDF에서 주로 발견되는 고품질 도메인 지식이 포함되어 있어 연구자와 개발자들에게 매우 가치 있는 리소스로 평가됩니다. :page\_facing\_up:FinePDFs는 2013년부터 2025년까지의 CommonCrawl 스냅샷을 기반으로 수집되었고, Hugging Face의 데이터 처리 라이브러리인 datatrove를 활용해 정제 및 중복 제거 과정을 거쳤습니다. 결과적으로 3.65TB 규모의 고품질 텍스트 코퍼스(Corpus, 말뭉치)로 가공되었으며, LLM 사전 학습에 최적화된 공개 데이터셋으로 제공됩니다. :page\_facing\_up:FinePDFs는 HTML 위주의 데이터셋인 SmolLM-3 Web과 비교했을 때도 비슷한 수준의 성능을 보입니다. 하지만 두 데이터를 혼합하면, 모델 성능이 더욱 크게 개선되는 것이 확인되었습니다. Hugging Face 팀은 전체 학습 데이터에… --- ## [Reachy Mini: 차세대 AI 개발자를 위한 오픈소스 데스크탑 로봇 (feat. Hugging Face)](https://discuss.pytorch.kr/t/reachy-mini-ai-feat-hugging-face/7424)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [8월 5, 2025, 9:30오후 UTC](https://discuss.pytorch.kr/t/reachy-mini-ai-feat-hugging-face/7424 "2025-08-05T21:30:00Z")
Reachy Mini 소개 인공지능 기술이 빠르게 발전하면서, 이제는 로봇 공학도 더 이상 거창한 연구실의 전유물이 아닌 시대가 되었습니다. 특히 교육, 취미, 연구 목적으로 활용 가능한 소형 로봇들이 주목받고 있으며, 이러한 흐름 속에서 Hugging Face와 Pollen Robotics가 공동 개발한 Reachy Mini는 작지만 강력한 오픈소스 로봇으로 큰 관심을 모으고 있습니다. 이 로봇은 단순한 장난감이 아니라, 최신 AI 모델을 실생활에서 실험하고 배포할 수 있는 플랫폼으로 기획되었으며, 개발자와 연구자뿐만 아니라 초보자, 교육자, 심지어는 어린이와 가족 단위 사용자도 쉽게 접근할 수 있는 점이 특징입니다. Reachy Mini는 코드와 실제 하드웨어, 시뮬레이션 환경을 통합해 제공하며, Hugging Face의 AI 모델들을 손쉽게 적용할 수 있도록 설계되어 있습니다. 무엇보다 중요한 점은 이 로봇이 완전한 오픈소스로 제공된다는 점인데, 이는 개발자가 자신만의 기능을 추가하거나 수정할 수 있도록 장벽을 낮춰줍니다. 또한 Python을 기반으로 한 SDK를 통해 직관적인 코딩 경험을 제공하며, 향후 Scratch, JavaScript 등의 언어 지원도 예정되어 있습니다. 최근 수년간 생성형 AI 모델의 성장이 소프트웨어 중심이었다면, 이제는 이러한 기술을 실제 하드웨어에 적용하여 인간-로봇 상호작용(HRI, Human-Robot Interaction)을 보다 현실적으로 탐구할 수 있는 시대가 도래하고 있습니다. Reachy Mini는 이러한 새로운 흐름의 시작점으로, 단순한 ‘가정용 로봇’을 넘어, 누구나 AI 기술을 실험하고 공유할 수 있는 기반을 마련해주는 플랫폼입니다. Reachy Mini는 기존의 교육용 로봇이나 소형 AI 로봇들과 비교해도 여러 면에서 차별화됩니다. 예를 들어, 일반적인 교육용 로봇은 모듈식 조립 키트에 가까우며, 보통 특정 환경 내에서 제한된 기능만 수행합니다. 반면, Reachy… --- ## [FutureBench: AI 에이전트의 미래 예측 능력을 평가하기 위한 벤치마크 (feat. Hugging Face)](https://discuss.pytorch.kr/t/futurebench-ai-feat-hugging-face/7406)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [8월 3, 2025, 3:30오전 UTC](https://discuss.pytorch.kr/t/futurebench-ai-feat-hugging-face/7406 "2025-08-03T03:30:13Z")
FutureBench 소개 인공지능(AI) 분야의 주요 평가 지표는 대부분 과거의 지식에 기반한 질문에 얼마나 정확히 답할 수 있는지를 기준으로 삼고 있습니다. HLE나 GPQA 같은 고정형 지식 기반 문제나, BrowseComp, GAIA처럼 확장된 정보 접근이 가능한 벤치마크조차도 과거에 존재하는 데이터를 바탕으로 평가를 진행하죠. 하지만 Hugging Face에서는 한 걸음 더 나아가, AI의 진정한 가치를 ‘과거의 데이터를 기반으로 미래를 얼마나 잘 예측할 수 있는가’에 있다고 보고 있습니다. 미래 예측은 단순한 패턴 매칭을 넘어서, 다양한 정보를 종합하고 불확실성을 판단하며 복잡한 인과관계를 이해해야 하는 고차원의 인지 능력을 요구합니다. 이는 곧 실생활에서 유용하게 활용될 수 있는 AI 지능의 본질과 맞닿아 있는 문제이기도 합니다. Hugging Face는 이러한 문제의식에서 출발해, AI 에이전트가 실제 미래 사건을 얼마나 정확하게 예측할 수 있는지를 평가하는 새로운 벤치마크, FutureBench를 개발했습니다. 특히 이 벤치마크는 기존 평가에서 문제가 되었던 데이터 누출(Data Contamination) 문제를 구조적으로 차단합니다. 왜냐하면 미래에 대한 데이터는 아직 존재하지 않기 때문이죠. 또한, 시간이 지나면 해당 예측이 맞았는지 틀렸는지를 명확히 확인할 수 있어, 평가 결과의 신뢰성이 극대화됩니다. 이런 점에서 FutureBench는 단순한 기술적 실험이 아닌, AI 평가 방식 자체에 대한 새로운 접근을 제시하는 중요한 시도입니다. 미래를 예측할 수 있는가? AI 에이전트의 역할 FutureBench의 중심 질문은 명확합니다: “AI는 과연 미래를 예측할 수 있을까?” 이는 단순한 예 / 아니오의 문제라기보다는, 어떤 종류의 질문에 대해서 어느 정도까지 예측할 수 있느냐는 복합적인 문제입니다. 예를 들어, 어떤 기업의 분기 실적이나 선거 결과와 같은 주제는 전문가들이 다양한 정보를 바탕으로 예측하는 대표적인 예이며, … --- ## [Trackio: Hugging Face에서 공개한 AI/ML 실험 추적을 위한 경량 오픈소스 라이브러리](https://discuss.pytorch.kr/t/trackio-hugging-face-ai-ml/7398)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [8월 2, 2025, 3:30오전 UTC](https://discuss.pytorch.kr/t/trackio-hugging-face-ai-ml/7398 "2025-08-02T03:30:51Z")
Trackio 소개 머신러닝 프로젝트를 진행하다 보면, 실험의 하이퍼파라미터와 각종 메트릭을 기록하고 시각화하는 일이 필수적이라는 사실을 실감하게 됩니다. 이는 단순한 편의 기능이 아니라, 모델 성능을 향상시키고 반복 가능한 실험 환경을 구축하기 위해 꼭 필요한 작업입니다. 기존에도 Weights & Biases(wandb)와 같은 도구가 널리 사용되어 왔지만, 유료 요금제나 복잡한 설정 문제로 인해 불편함을 느끼는 경우도 많았습니다. 이러한 상황에서 Hugging Face는 자체적인 경량 실험 추적 도구인 Trackio(TRACK-yo로 발음)를 새롭게 선보였습니다. 이 도구는 오픈소스이며, 로컬에서 실행되는 대시보드와 Hugging Face Spaces와의 연동을 통해 손쉬운 공유 기능을 제공합니다. 특히 기존의 wandb 사용자에게 익숙한 API를 그대로 유지하면서도, 더 가볍고 유연한 경험을 제공하는 것이 강점입니다. Trackio는 단순한 로그 수집기를 넘어, 학습 중 발생하는 GPU 에너지 사용량, 텐서 상태 기록 등의 세부 기능까지 지원하며 연구자들이 데이터 접근성과 분석 자유도를 확보할 수 있게 돕습니다. 본 글에서는 Trackio의 주요 기능과 사용법, 그리고 기존 도구와의 비교 등을 상세히 다뤄보겠습니다. Trackio의 주요 특징 Trackio는 다음과 같은 점에서 기존의 실험 추적 도구들과 차별화를 시도합니다: wandb 대비 API 호환성: 기존 wandb 코드를 거의 수정 없이 import trackio as wandb로 교체 가능하며, 동일한 함수 이름(init, log, finish)을 사용합니다. 로컬 중심 설계: 데이터가 기본적으로 로컬에 저장되며, 필요 시 Hugging Face Spaces에 연동하여 공유 가능. 오픈소스와 무료: 모든 기능이 무료로 제공되며, 코드 기반도 1,000줄 이하로 매우 간결하게 유지됩니다. 데이터 접근의 투명성: 데이터를 Sqlite로 저장하고 Parquet 포맷으로 자동 백업하… --- ## [ScreenEnv: 데스크탑 에이전트를 위한 Docker 기반 풀스택 자동화 환경 (feat. Hugging Face)](https://discuss.pytorch.kr/t/screenenv-docker-feat-hugging-face/7285)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [7월 20, 2025, 3:00오전 UTC](https://discuss.pytorch.kr/t/screenenv-docker-feat-hugging-face/7285 "2025-07-20T03:00:00Z")
ScreenEnv 소개 최근 인공지능 기반의 데스크탑 자동화와 GUI 에이전트 개발에 대한 관심이 높아지고 있습니다. 전통적으로 GUI 테스트나 데스크탑 상의 작업 자동화를 위해선 무거운 가상 머신(VM)을 설정하고, 다양한 운영체제 환경에 대응하는 복잡한 프레임워크를 구성해야 했습니다. 하지만 Hugging Face에서 새롭게 공개한 ScreenEnv는 이 과정을 대폭 간소화하며, 컨테이너 기반으로 데스크탑 환경을 손쉽게 가상화할 수 있도록 도와주는 Python 라이브러리입니다. ScreenEnv는 Docker 기반의 Ubuntu 데스크탑 환경을 손쉽게 생성할 수 있게 해주는 도구로, GUI를 포함한 풀 데스크탑 세션을 코드로 제어할 수 있도록 설계되어 있습니다. 단순한 마우스 클릭과 키보드 입력뿐만 아니라, 윈도우 창 관리, 파일 조작, 터미널 명령 실행, 그리고 화면 녹화까지 모두 지원합니다. 이 덕분에 복잡한 GUI 기반 응용 프로그램 테스트나 데스크탑 자동화를 위한 에이전트를 매우 빠르게 구축하고 배포할 수 있게 되었습니다. 기존의 데스크탑 자동화 도구들과 비교해 보면, ScreenEnv는 매우 큰 차별점을 가집니다. 대표적인 GUI 자동화 프레임워크인 Selenium이나 AutoIt, PyAutoGUI는 로컬 환경에 직접 접근하거나 제약이 있는 플랫폼에서만 동작할 수 있었습니다. 또한 VM 기반 솔루션은 무겁고 느리며 환경 구축에 시간이 많이 들었습니다. 반면, ScreenEnv는 Docker를 기반으로 하여 몇 초 만에 완전한 데스크탑 환경을 띄울 수 있고, AI 에이전트가 MCP(Model Context Protocol)를 통해 직접 해당 환경과 상호작용할 수 있도록 설계되어 있어 확장성과 통합성이 뛰어납니다. 특히, headless 모드나 직접적인 API 호출, 또는 MCP 서버 방식 등 다양한 통합 옵션을 제공하여, 개발자의 백엔드 구조에 따라 유연하게 적용할 수 있다는 점이 가장 큰 강점입니다. Scre… --- ## [ScreenSuite: GUI Agent를 구성하는 MLLM의 성능 평가를 위한 통합 벤치마크 (feat. Hugging Face)](https://discuss.pytorch.kr/t/screensuite-gui-agent-mllm-feat-hugging-face/7232)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [7월 8, 2025, 3:30오전 UTC](https://discuss.pytorch.kr/t/screensuite-gui-agent-mllm-feat-hugging-face/7232 "2025-07-08T03:30:22Z")
ScreenSuite 소개 최근의 멀티모달 대형 언어 모델(MLLM, Multimodal Large Language Model)의 발전은 단순 텍스트를 넘어 시각 정보를 이해하고 이를 기반으로 행동하는 능력까지 확장되고 있습니다. 이에 따라 사용자의 디지털 화면 상에서 직접적으로 동작하는 “GUI 에이전트” 기술이 주목받고 있습니다. 이러한 에이전트는 브라우저를 탐색하거나 앱을 조작하는 등 실질적인 사용자 인터페이스 상의 행동을 수행할 수 있어, RPA(Robotic Process Automation)나 디지털 어시스턴트 분야에서 활용 가능성이 큽니다. 그러나 아직까지 GUI 에이전트의 성능을 체계적으로 평가할 수 있는 공개 벤치마크는 부족한 상황이었습니다. 특히 다양한 화면 유형(웹, 모바일, 데스크탑)을 아우르고, 지각 능력부터 단일/다중 단계 행동 수행까지 포괄하는 평가 기준이 필요했습니다. HuggingFace는 이러한 요구에 부응하여 ScreenSuite라는 통합 벤치마크 스위트를 공개했습니다. 이 프로젝트는 (GUI Agent가 아닌) GUI 에이전트를 구성하는 MLLM의 실제 능력을 평가하는 데 초점을 맞추고 있으며, 복잡한 에이전트 구현이 아니라 간단한 실행 기반으로 다양한 테스트를 수행합니다. MLLM이 얼마나 정밀하게 화면을 인식하고, 사용자 요청을 처리하며, 연속적인 상호작용을 수행할 수 있는지를 평가할 수 있는 중요한 도구입니다. 주요 벤치마크 구성 ScreenSuite는 GUI 환경에서 에이전트의 능력을 평가하기 위한 통합 벤치마크 컬렉션입니다. 평가 대상은 GUI 에이전트를 구성하는 대형 멀티모달 언어 모델이며, 단일 모델 기반 에이전트가 다양한 화면 내 작업을 수행할 수 있는지를 검증합니다. 벤치마크는 크게 세 가지 능력(지각, 단일 행동, 다중 단계 행동)에 따라 분류됩니다. 지각(Perception) 평가를 위한 벤치마크 (Grounding/Perception Benchmarks) Data Source … --- ## [SmolVLA: 커뮤니티 데이터로 학습한 소규모(450M) 오픈소스 시각-언어-행동(Vision-Language-Action) 로봇 모델 (feat. Hugging Face)](https://discuss.pytorch.kr/t/smolvla-450m-vision-language-action-feat-hugging-face/7226)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [7월 5, 2025, 8:30오전 UTC](https://discuss.pytorch.kr/t/smolvla-450m-vision-language-action-feat-hugging-face/7226 "2025-07-05T08:30:50Z")
SmolVLA 모델 소개 로봇이 실제 세계에서 사람처럼 유연하게 행동하기 위해서는, 시각적 정보를 이해하고, 자연어 지시를 해석하며, 이를 바탕으로 정확한 동작을 수행할 수 있는 능력이 필요합니다. 최근 인공지능 분야에서는 이러한 요구를 충족시키기 위한 비전-언어-행동(Vision-Language-Action, VLA) 모델이 주목받고 있습니다. 하지만 기존의 대부분 VLA 시스템은 대규모 사설 데이터셋과 고가의 하드웨어에 의존해왔고, 재현성도 떨어지며, 일반 연구자들이 접근하기엔 큰 장벽이 있었습니다. Hugging Face는 이러한 한계를 극복하기 위해 ‘SmolVLA’라는 450M 규모의 소규모 오픈소스 VLA 모델을 발표했습니다. 이 모델은 일반 소비자 수준의 하드웨어에서도 실행 및 학습이 가능하며, 모두 공개된 커뮤니티 데이터셋만을 사용해 학습하였습니다. 특히, 소형화와 효율성에 초점을 맞춘 구조 덕분에 빠른 추론과 실시간 로봇 제어까지 지원합니다. SmolVLA는 단순한 연구용 모델을 넘어서 실제 로봇 동작 환경에 바로 적용할 수 있도록 설계되었으며, 학습 코드, 사전 학습 모델, 평가 방식 모두 공개되어 있어 누구나 쉽게 사용할 수 있습니다. 또한, 비공식적으로 조립된 다양한 로봇 하드웨어에서도 동작하도록 설계되어 있어, 로봇 연구의 대중화에 기여할 수 있는 의미 있는 시도입니다. SmolVLA 모델의 구조 및 주요 특징 SmolVLA는 4.5억여개의 파라미터(450M)로 구성된 소규모 모델로, CPU나 일반 GPU에서도 학습과 실행이 가능하도록 설계되었습니다. Hugging Face의 LeRobot 커뮤니티에서 공유된 오픈소스 로봇 데이터셋만을 이용해 사전 학습되었으며, 학습량은 기존 대형 VLA 모델의 10분의 1 수준에 불과하지만 성능은 동등하거나 더 우수합니다. 모델 아키텍처는 크게 두 부분으로 구성되어 있습니다. 첫째는 시각-언어-센서 데이터를 처리하는 Vision-Language Model(VLM), 둘째는 이 정보를 바… --- ## [nanoVLM: 순수 PyTorch로 구현한 초경량 비전-언어 모델 (feat. Hugging Face)](https://discuss.pytorch.kr/t/nanovlm-pytorch-feat-hugging-face/6984)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [5월 22, 2025, 3:30오전 UTC](https://discuss.pytorch.kr/t/nanovlm-pytorch-feat-hugging-face/6984 "2025-05-22T03:30:16Z")
nanoVLM 소개 Hugging Face가 최근 공개한 nanoVLM은 단 750줄의 순수 PyTorch 코드로 구성된 초경량 비전-언어 모델입니다. 복잡한 종속성이나 무거운 프레임워크 없이, 단일 GPU에서도 학습 가능한 이 프로젝트는 비전-언어 모델 구조를 처음부터 끝까지 이해하고자 하는 분들에게 매우 훌륭한 학습 자료입니다. 특히 Andrej Karpathy의 nanoGPT에서 영감을 받아 설계되었으며, 연구 및 실험 중심의 멀티모달 학습에 적합합니다. nanoVLM은 이미지와 텍스트라는 서로 다른 두 모달리티를 동시에 처리할 수 있는 비전-언어 모델(Vision-Language Model, VLM)을 단순한 구조로 구현한 프로젝트입니다. Hugging Face의 연구원들이 개발했으며, 교육 목적은 물론, 실험과 커스터마이징이 쉬운 베이스라인 모델을 제공합니다. nanoVLM 프로젝트는 다음과 같은 철학을 기반으로 설계되었습니다: 읽기 쉽고 간결한 구조: 전체가 약 750줄의 PyTorch 코드로 작성되어 있어, 초보자도 모델 구조를 파악하기 용이합니다. 모듈화된 설계: Vision Encoder, Text Decoder, 그리고 이 둘을 연결하는 Projection Layer가 깔끔하게 분리되어 있어, 실험에 유연하게 대응할 수 있습니다. 학습 친화적인 구성: 222M 파라미터의 모델을 기준으로 H100 GPU 하나로 약 6시간이면 학습이 완료됩니다. 사용된 데이터셋은 공개된 Multimodal-Instructions-1.1이며, 약 170만 개의 샘플을 포함합니다. 특히 모델 아키텍처 자체가 실용성과 직관성을 고려해 구성되어 있기 때문에, 기존 VLM 구조를 학습하고 싶은 분들에게 최적입니다. 기존 VLM은 성능 면에서 우수하지만, 대부분 코드나 학습 과정이 비공개이거나 너무 복잡하여 실험에 부적합합니다. 반면 nanoVLM은 초경량 구조를 통해 학습 진입 장벽을 대폭 낮춘 것이 특징입니다. nanoVLM의 주요 기능 … --- ## [Open Computer Agent: Hugging Face의 새로운 AI 에이전트 프로젝트 (feat. smolagent)](https://discuss.pytorch.kr/t/open-computer-agent-hugging-face-ai-feat-smolagent/6924)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [5월 11, 2025, 3:00오전 UTC](https://discuss.pytorch.kr/t/open-computer-agent-hugging-face-ai-feat-smolagent/6924 "2025-05-11T03:00:47Z")
Hugging Face의 Open Computer Agent 소개 Hugging Face가 최근 공개한 Open Computer Agent는 웹 브라우징, 애플리케이션 실행 등 실제 컴퓨터 작업을 수행할 수 있는 AI 에이전트입니다. 이 에이전트는 인간처럼 컴퓨터를 조작하며, 개발자들에게 새로운 가능성을 제시합니다. 특히, 복잡한 작업을 자동화하고자 하는 분들에게 유용한 도구가 될 수 있습니다. Open Computer Agent는 Hugging Face의 smolagents 프레임워크를 기반으로 개발된 AI 에이전트입니다. 이 에이전트는 웹 브라우저를 열고, 검색을 수행하며, 버튼을 클릭하는 등 실제 사용자가 컴퓨터를 조작하는 방식과 유사하게 동작합니다. 이를 통해 다양한 작업을 자동화하거나 테스트할 수 있는 환경을 제공합니다. 이러한 기능은 특히 웹 기반 애플리케이션의 테스트 자동화, 데이터 수집, 반복적인 작업의 자동화 등에 활용될 수 있습니다. 또한, 개발자들은 이 에이전트를 통해 새로운 AI 기반 애플리케이션을 개발하거나 기존 시스템에 통합할 수 있는 가능성을 모색할 수 있습니다. Open Computer Agent는 OpenAI의 Operator와 유사한 기능을 제공합니다. 두 에이전트 모두 실제 컴퓨터 환경에서 작업을 수행할 수 있도록 설계되었습니다. 그러나 Open Computer Agent는 Hugging Face의 smolagents 프레임워크를 기반으로 하여, 더 간단하고 유연한 구성과 다양한 모델 지원을 특징으로 합니다. 또한, Open Computer Agent는 오픈 소스로 제공되며, 개발자들이 자유롭게 수정하고 확장할 수 있는 장점이 있습니다. 반면, Operator는 특정 환경에 제한될 수 있으며, 사용자 정의가 어려울 수 있습니다. 주요 기능 실제 컴퓨터 조작: 웹 브라우저 열기, 검색 수행, 버튼 클릭 등 실제 사용자와 유사한 방식으로 컴퓨터를 조작합니다. 다양한 모델 지원: Hugging Face Hub에 있는… --- ## [Hugging Face, Agent 개발을 위한 Agents Course 공개 \[영어/무료\]](https://discuss.pytorch.kr/t/hugging-face-agent-agents-course/6131)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [2월 15, 2025, 11:00오후 UTC](https://discuss.pytorch.kr/t/hugging-face-agent-agents-course/6131 "2025-02-15T23:00:11Z")
Hugging Face의 Agents Course 강좌 소개 AI 에이전트(Agents)는 최근 AI 연구 및 산업에서 가장 주목받는 기술 중 하나입니다. ChatGPT, AutoGPT와 같은 대화형 AI뿐만 아니라, LangChain, LlamaIndex와 같은 프레임워크를 활용한 다양한 AI 에이전트 개발이 활발히 진행되고 있습니다. 이런 흐름 속에서 Hugging Face는 누구나 쉽게 AI 에이전트를 배우고 개발할 수 있도록 무료 온라인 강의인 Agents Course를 개설했습니다. 이 과정은 이론부터 실습까지 체계적인 커리큘럼을 제공하며, 직접 AI 에이전트를 구축하고 활용하는 법을 배울 수 있습니다. Hugging Face의 Agents Course는 AI 에이전트의 개념과 기술을 배우고 싶은 초급~중급 개발자 및 연구자를 위한 무료 강의로, 다음과 같은 특징을 갖고 있습니다: 이론 + 실습 기반 학습: AI 에이전트 개념부터 실제 구현까지 단계별 학습 최신 AI 에이전트 프레임워크 학습: LangChain, LlamaIndex, SmolAgents 등 실제 환경에서의 실습 제공: Jupyter Notebook과 Hugging Face Spaces 활용 수료증 제공: 특정 과정을 완료하면 인증서 발급 가능 커뮤니티 학습: Hugging Face Discord에서 다른 학습자들과 소통 이 강의는 기본적인 Python과 LLM(Large Language Models) 지식만 있으면 누구나 참여 가능하며, 실습을 통해 AI 에이전트를 직접 만들고 응용하는 경험을 쌓을 수 있습니다. Agents Course 강의 구성 및 커리큘럼 이 과정은 총 5개의 유닛(Unit) 으로 구성되어 있으며, 단계별 학습을 제공합니다. 유닛 주제 설명 Unit 0 온보딩(Onboarding) 강의 개요, 학습 목표, Hugging Face 계정 생성, Discord 참여 안내 Unit 1 AI 에이전트 기초 AI 에이전트의 개념, 도구, L… --- ## [OpenAI의 Deep Research를 오픈소스로 재현한 3가지 프로젝트 소개 (feat. Hugging Face, Jina AI, Firecrawl)](https://discuss.pytorch.kr/t/openai-deep-research-3-feat-hugging-face-jina-ai-firecrawl/6050)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [2월 5, 2025, 12:30오후 UTC](https://discuss.pytorch.kr/t/openai-deep-research-3-feat-hugging-face-jina-ai-firecrawl/6050 "2025-02-05T12:30:05Z")
들어가며 :pytorch::kr: 최근 AI 에이전트 시스템이 발전하면서, 웹을 검색하고 정보를 요약하는 자동화된 연구 도구들이 주목받고 있습니다. OpenAI가 최근 공개한 Deep Research는 이러한 흐름을 반영한 대표적인 사례인데, 이를 오픈소스로 구현하고자 하는 여러 프로젝트들이 등장하고 있습니다. 이번 글에서는 3가지 오픈소스 프로젝트들을 살펴보려고 합니다: Hugging Face가 자신들의 smolagents 라이브러리를 활용하여 구현한 Open Deep Research 임베딩 모델로 유명한 Jina AI에서 개발 및 공개한 DeepResearch Firecrawl 창립자인 Nick Scamara가 Firecrawl을 활용하여 개발/공개한 Open Deep Research Hugging Face의 Open Deep Research 프로젝트 Open Deep Research는 OpenAI의 Deep Research를 분석하고 오픈소스로 재현한 smolagents 라이브러리의 예시 프로젝트입니다. 단 24시간 만에 핵심 기능을 구현했으며, 특히 GAIA 벤치마크에서 강력한 성능을 보이고 있습니다. Open Deep Research의 주요 특징 GAIA 벤치마크 최적화: OpenAI의 Deep Research와 유사한 방식으로 정보를 검색하고 정리 코드 기반 에이전트(CodeAgent) 활용: JSON 대신 Python 코드를 실행하여 더욱 효율적인 작업 수행 웹 검색 및 문서 검사 기능 내장 오픈소스 AI 모델 지원: GPT-4o뿐만 아니라 DeepSeek R1 같은 오픈소스 LLM 활용 가능 사용 기술 및 라이브러리 프로그래밍 언어: Python 프레임워크 및 라이브러리: smolagents, requests, BeautifulSoup GAIA 벤치마크 활용 텍스트 기반 웹 검색 기능 내장 사용법 아래와 같이 smolagents 라이브러리 GitHub 저장소를 복제하여 Python… --- ## [🤗 Open R1, DeepSeek-R1을 재현하는 것을 목표로 하는 오픈소스 프로젝트 (feat. Hugging Face)](https://discuss.pytorch.kr/t/open-r1-deepseek-r1-feat-hugging-face/5990)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 1\ **마지막 업데이트:** [1월 28, 2025, 2:12오전 UTC](https://discuss.pytorch.kr/t/open-r1-deepseek-r1-feat-hugging-face/5990 "2025-01-28T02:12:30Z")
Hugging Face R1 소개 Hugging Face에서 공개한 Open R1 프로젝트는 DeepSeek-R1의 오픈소스 재현을 목표로 합니다. Open R1은 DeepSeek-R1의 구성요소를 완전히 재현하기 위한 고품질 코퍼스 증류(Distillation), 강화학습(RL) 기반 파이프라인 구축, 대규모 데이터셋 기반 문제 해결 모델 개발 등의 각 단계를 개발 및 공개하고 있습니다. 또한, 이를 바탕으로 추가적인 연구와 개발을 이어나갈 수 있도록 돕습니다. Open R1은 DeepSeek-R1 기술 문서를 참고하여 다음과 같은 단계를 주요 목표로 설정하고 있습니다: 1단계: R1-Distill 모델 재현: DeepSeek-R1에서 고품질 코퍼스를 증류(distillation)하여 새로운 R1-Distill 모델을 재현합니다. 목적: 원래의 DeepSeek-R1 모델이 가진 데이터 증류 기법을 재현하여 고성능 모델을 만드는 것입니다. 활용 방법: 증류된 데이터를 기반으로 기존 모델을 세밀하게 튜닝(SFT)하여 R1-Distill 모델을 생성합니다. 예제: Bespoke-Stratos-17k와 같은 데이터셋을 활용해 모델 학습을 위해 src/open\_r1 디렉토리에 훈련 및 평가 스크립트를 포함하며, Makefile을 통해 주요 파이프라인을 간단하게 실행할 수 있습니다. 2단계: R1-Zero를 생성하는 순수 RL 파이프라인 재현: DeepSeek-R1이 개발한 R1-Zero와 같은 RL(강화학습) 기반 모델 생성 과정을 재현합니다. 목적: 새로운 대규모 데이터셋을 수학, 추론, 코딩 작업에 맞게 큐레이션하고, 이를 기반으로 강화학습을 수행합니다. 핵심 요소: 강화학습 알고리즘과 함께 고성능 하드웨어(예: H100 GPU)를 활용하여 효율적으로 파이프라인을 구축. 3단계: 기본 모델에서 RL 튜닝된 모델로의 전환: 기본(base) 모델에서 시작하여, 멀티스테이지 학습 과정을 통해 RL 튜닝된 최종 모델을 만드는 것을 목표로 합… --- ## [Hugging Face, 최대 400배 빠른 CPU 기반 정적 임베딩(Static Embedding) 모델 공개 (feat. Sentence Transformers)](https://discuss.pytorch.kr/t/hugging-face-400-cpu-static-embedding-feat-sentence-transformers/5886)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [1월 16, 2025, 9:36오전 UTC](https://discuss.pytorch.kr/t/hugging-face-400-cpu-static-embedding-feat-sentence-transformers/5886 "2025-01-16T09:36:05Z")
임베딩 및 정적 임베딩 모델 소개 임베딩(Embeddings)은 자연어 처리(NLP)에서 매우 유용한 도구로, 텍스트, 이미지, 오디오 등 복잡한 데이터를 고정된 크기의 벡터로 변환해 다양한 작업에 활용됩니다. 기존 임베딩 모델들은 뛰어난 성능을 제공하지만, 주로 트랜스포머 기반 구조로 인해 고비용, 느린 추론 속도라는 한계를 가지고 있었습니다. Hugging Face는 최신 학습 기술을 사용해 \*\*정적 임베딩 모델(Static Embedding Model)\*\*을 재조명하고, 트랜스포머 없이도 효율적이고 빠른 임베딩 모델을 만들 수 있음을 입증했습니다. 여기에는 대조학습(Contrastive Learning)과 MRL(Matryoshka Representation Learning) 같은 혁신적인 기법이 적용되었습니다. Hugging Face가 제안한 이 방법으로 학습된 모델은 CPU에서 기존의 SotA(State-of-the-Art) 임베딩 모델보다 100배 ~ 400배 가량 빠르게 동작합니다. 이 모델은 85% 이상의 성능을 유지하며 저전력 장치, 브라우저 내 실행, 엣지 컴퓨팅, 임베디드 애플리케이션에서 유용하게 사용할 수 있습니다. 모델 속도(비교 기준) 성능 유지율 All-MPNET-base-v2 1x 100% Multilingual-E5-small 1x 100% Static Retrieval 모델 100x~400x 85% 이상 정적 임베딩 모델은 트랜스포머 기반 모델의 복잡한 연산을 단순화해, 토큰을 사전에서 찾는 수준의 연산으로 대체합니다. 이를 통해 초고속 추론이 가능해졌습니다. 정적 임베딩 모델(Static Embedding Model)의 주요 특징 고속 추론: CPU에서 100~400배 빠른 속도로 실행. 낮은 리소스 사용: 엣지 디바이스나 브라우저에서도 사용 가능. 현대적 학습 기법: 대조학습: 임베딩 간의 유사도를 학습. MRL: 임베딩 벡터를 작은 차원으로 줄여도 성능 유지. 다양한 데… --- ## [SmolAgents, HuggingFace🤗가 공개한 LLM 중심의 Agent 기능 구현 라이브러리](https://discuss.pytorch.kr/t/smolagents-huggingface-llm-agent/5787)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [1월 5, 2025, 1:35오후 UTC](https://discuss.pytorch.kr/t/smolagents-huggingface-llm-agent/5787 "2025-01-05T13:35:50Z")
SmolAgents 소개 Hugging Face는 AI 언어 모델(LLM)을 기반으로 워크플로우를 간소화하고 에이전트를 구축할 수 있는 경량 라이브러리인 Smolagents를 공개했습니다. 이 라이브러리는 LLM이 외부 도구와 상호작용하며 작업을 처리하는 능력을 제공합니다. Smolagents는 단순성과 효율성에 중점을 두고 설계되어 Python 코드 기반의 액션을 작성하는 에이전트를 쉽게 만들 수 있습니다: from smolagents import CodeAgent, DuckDuckGoSearchTool, HfApiModel agent = CodeAgent(tools=\[DuckDuckGoSearchTool()\], model=HfApiModel()) agent.run("표범이 전속력으로 퐁데자르(Pont des Arts) 거리를 달리는데 몇 초나 걸릴까요?") Agent란 무엇인가요? :thinking: AI Agent는 LLM의 출력으로 워크플로우를 제어하는 프로그램입니다. AI Agents are programs where LLM outputs control the workflow . 이러한 AI Agent의 정의에서 '에이전트'는 (0 또는 1과 같은) 불연속적인 정의가 아니라, 워크플로우에서 LLM에 더 많거나 적은 권한을 부여함에 따라 연속적인 스펙트럼으로 진화할 수 있습니다. 아래 표와 같이 시스템에 따라 에이전시가 어떻게 달라지는지를 확인할 수 있습니다: 에이전시 수준(Agency Level) 설명 호출 방식 예시 패턴(Example Pattern) ☆☆☆ LLM 출력은 프로그램 흐름에 영향을 미치지 않음 단순 프로세서(Simple Processor) process\_llm\_output(llm\_response) ★☆☆ LLM 출력으로 기본 제어 흐름을 결정 라우터(Router) if llm\_decision(): path\_a() else: path\_b() ★★☆ LLM 출력으로 함수 실행을 결정 도구 호출(To… --- ## [SmolLM v2, On-Device에 최적화된 소규모 언어 모델(SLM) (feat. HuggingFace)](https://discuss.pytorch.kr/t/smollm-v2-on-device-slm-feat-huggingface/5429)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 2\ **마지막 업데이트:** [1월 4, 2025, 12:47오후 UTC](https://discuss.pytorch.kr/t/smollm-v2-on-device-slm-feat-huggingface/5429 "2025-01-04T12:47:02Z")
SmolLM2 소개 SmolLM2는 컴팩트한 언어 모델 시리즈로 135M, 360M, 1.7B 파라미터를 가진 모델들이 있습니다. 이 모델은 다양한 작업을 해결할 수 있으며, 장치 내(on-device)에서 실행할 수 있을 만큼 가볍습니다. SmolLM2-1.7B 모델은 특히 이전 모델인 SmolLM1-1.7B에 비해 명령 처리, 지식 기반 질의, 추론 능력 및 수학적 문제 해결에서 큰 성능 향상을 보였습니다. 이 모델은 11조 개의 토큰을 학습했으며, FineWeb-Edu, DCLM, The Stack과 같은 데이터셋을 활용하여 훈련되었습니다. 또한, 수학 및 코딩 데이터셋이 새롭게 추가되었으며, 곧 공개될 예정입니다. SmolLM2-1.7B-Instruct는 지도 학습(Supervised Fine-Tuning, SFT) 방식으로 명령어 처리 능력을 강화하였고, UltraFeedback 데이터셋을 사용하여 직접 선호 최적화(Direct Preference Optimization, DPO)를 적용했습니다. 이 모델은 다양한 작업, 특히 텍스트 재작성, 요약 및 함수 호출에서 뛰어난 성능을 보이며, Argilla가 제공한 데이터셋인 Synth-APIGen을 포함한 여러 데이터셋을 학습에 활용했습니다. SmolLM2의 모델 아키텍처 및 학습 환경은 다음과 같습니다: 모델 아키텍처 구조: 트랜스포머 디코더 (Transformer Decoder) 학습 토큰 수: 11조 개의 토큰 정밀도: bfloat16 학습 환경 하드웨어: 256개의 H100 GPU 사용 훈련 프레임워크: nanotron 프레임워크 활용 평가 모든 평가는 주로 제로샷(zero-shot) 설정에서 이루어졌으며, lighteval 도구를 사용하여 평가를 수행했습니다. 사전 학습 모델 평가 SmolLM2-1.7B는 다음과 같은 지표에서 경쟁 모델에 비해 우수한 성능을 보였습니다. Base Pre-Trained Model Metric SmolLM2-1.7B Llama-… --- ## [Hugging Face, transformers 라이브러리에 agents / tool 기능 추가 및 사용법 공개](https://discuss.pytorch.kr/t/hugging-face-transformers-agents-tool/5265)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [9월 28, 2024, 4:47오전 UTC](https://discuss.pytorch.kr/t/hugging-face-transformers-agents-tool/5265 "2024-09-28T04:47:53Z")
transformers의 Agent 기능 소개 에이전트(Agent) 는 LLM(Large Language Model, 대규모 언어 모델)을 엔진으로 사용하여 여러 기능을 수행하는 시스템입니다. LLM은 논리, 계산, 검색 등의 작업에서 약점을 가지고 있지만, 이를 보완하기 위해 다양한 도구(Tool) 를 사용할 수 있습니다. 에이전트는 이러한 도구를 통해 LLM의 약점을 극복하고, 더 복잡한 작업을 수행할 수 있게 합니다. Hugging Face가 도입한 에이전트 시스템은 이와 같은 맥락에서, LLM을 더욱 강력하게 활용할 수 있도록 하는 새로운 접근 방식입니다. 에이전트는 단순히 명령어를 이해하는 것을 넘어, 계산, 검색, 코드 실행 등 다양한 툴을 활용해 복잡한 문제를 해결할 수 있도록 지원합니다. 이러한 시스템을 통해 사용자는 더 복잡한 작업을 자동화하고 처리할 수 있어, 효율성을 크게 높일 수 있습니다. 에이전트는 LLM을 기반으로 하여 다양한 작업을 자동으로 계획하고 실행할 수 있는 시스템입니다. 기존의 LLM은 단순한 텍스트 생성 작업에는 매우 강력하지만, 계산이나 논리적 추론, 외부 데이터 검색과 같은 작업에서는 종종 한계를 드러냅니다. 이러한 문제를 해결하기 위해, Hugging Face는 에이전트가 외부 툴을 활용할 수 있도록 설계했습니다. 에이전트는 특정 작업에 맞는 툴을 선택하고 이를 사용해 문제를 해결합니다. 에이전트 시스템은 Hugging Face의 다양한 모델들과 결합하여 사용될 수 있습니다. LLM을 기반으로 한 에이전트는 Hugging Face Hub에서 제공하는 다양한 사전 학습된 모델을 활용할 수 있으며, 사용자가 직접 커스텀 툴을 만들어 에이전트에 추가할 수도 있습니다. 이로 인해 에이전트 시스템은 매우 유연하며, 다양한 사용 사례에 맞게 조정할 수 있습니다. 에이전트는 동작 방식에 따라 1) 모든 작업을 한 번에 수행하는 방식(CodeAgent)과, 2) 단계별로 결과를 확인하며 진행하는 방식(ReacAgent)으로 구… --- ## [HuggingFace, SQL 기반 데이터셋 질의 기능 추가 (feat. DuckDB WASM)](https://discuss.pytorch.kr/t/huggingface-sql-feat-duckdb-wasm/5206)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [9월 15, 2024, 1:41오전 UTC](https://discuss.pytorch.kr/t/huggingface-sql-feat-duckdb-wasm/5206 "2024-09-15T01:41:00Z")
(Reddit의 LocalLLaMA 서브레딧에 사용자 vaibhavs10가 게시한 글에서 발췌했습니다) 소개 Hugging Face는 최근 SQL을 통해 브라우저에서 직접 데이터셋을 쿼리할 수 있는 기능을 도입했습니다. 이 기능은 DuckDB WASM을 기반으로 하며, 사용자는 20만 개 이상의 데이터셋에 대해 SQL 쿼리를 실행할 수 있습니다. 데이터셋을 다운로드할 필요 없이, 브라우저에서 바로 SQL을 활용해 필요한 데이터를 탐색하고 결과를 얻을 수 있다는 점에서 시간과 자원을 크게 절약할 수 있습니다. 데이터셋 관리와 분석에 있어서 보다 직관적이고 효율적인 접근 방식을 제공합니다. 이 기능은 Hugging Face 플랫폼에서 데이터셋 검색 페이지를 통해 접근할 수 있습니다. 사용자는 SQL 쿼리를 입력하고 실행하면, DuckDB WASM이 쿼리를 처리해 결과를 반환합니다. 결과는 CSV 등 다양한 형식으로 다운로드할 수 있어, 추가 분석이나 모델 학습 등에 바로 활용할 수 있습니다. 주요 기능 (Reddit의 LocalLLaMA 서브레딧에 사용자 vaibhavs10가 게시한 글에서 발췌했습니다) 브라우저를 통한 SQL 쿼리: 이 기능은 DuckDB WASM을 기반으로 하여 브라우저 내에서 직접 SQL 쿼리를 실행할 수 있도록 합니다. 이 방식은 로컬 환경 설정이나 원격 서버의 오버헤드를 피하고 브라우저 내 컴퓨팅을 활용합니다. 상호작용 및 공유 가능: 사용자는 Hugging Face 플랫폼 내에서 SQL 쿼리를 작성, 테스트, 공유할 수 있으며, 커뮤니티 내에서 피드백을 주고받거나 새로운 기능을 제안할 수 있습니다. 이러한 상호작용적인 환경은 협업을 촉진하고 커뮤니티 피드백을 반영할 수 있도록 돕습니다. 효율적인 데이터 탐색: SQL 쿼리 기능을 통해 데이터셋을 필터링하고 분석할 수 있는 강력한 도구를 제공합니다. 사용자는 특정 데이터 서브셋을 추출하거나 집계 함수(예: 데이터셋 요소 수 계산 등)를 수행할 수 있으며,… --- ## [LeRobot: Hugging Face가 제공하는 로봇 학습 모델 / 데이터셋 / 튜토리얼](https://discuss.pytorch.kr/t/lerobot-hugging-face/5145)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [9월 3, 2024, 12:35오후 UTC](https://discuss.pytorch.kr/t/lerobot-hugging-face/5145 "2024-09-03T12:35:45Z")
LeRobot 프로젝트 소개 Hugging Face가 공개한 LeRobot 프로젝트는 PyTorch 기반의 실제 로봇 공학을 위한 최신 머신러닝 모델, 데이터셋, 도구를 제공하는 라이브러리입니다. 로봇 공학의 진입 장벽을 낮추고, 누구나 데이터셋과 사전 학습된 모델을 공유하고 활용할 수 있도록 하는 것이 목표입니다. LeRobot은 모방 학습(Imitation Learning)과 강화 학습(Reinforcement Learning)에 중점을 두고 있으며, 시뮬레이션 환경과 실제 환경에서 모두 사용할 수 있습니다. 또한, 인간의 시연 데이터를 포함한 사전 학습된 모델과 시뮬레이션 환경도 함께 제공합니다. 이 프로젝트는 사용자가 로봇을 직접 조립하지 않아도 다양한 시뮬레이션 환경에서 실험할 수 있도록 설계되었습니다. Koch 로봇팔(Robot Arm)과 LeRobot을 활용한 튜토리얼이 공개되어 있으며, 향후 저렴하고 효율적인 로봇을 위한 지원이 추가될 예정입니다. 모델과 데이터셋 제공: 사전 학습된 모델과 인간 시연 데이터셋을 제공합니다. Hugging Face의 LeRobot 커뮤니티에서 LeRobot 데이터셋을 비롯한 다양한 리소스들을 확인할 수 있습니다. 시뮬레이션 환경 지원: ALOHA, SimXArm, PushT 등의 다양한 시뮬레이션 환경에서 사전 학습된 정책을 평가하고 새로운 정책을 학습하도록 할 수 있습니다. 로봇 조작을 위한 실제 환경 지원 예정: 저비용으로 고성능 로봇을 다룰 수 있도록 지속적인 업데이트가 예정되어 있습니다. 라이선스 LeRobot 프로젝트는 Apache 2.0 License로 공개 및 배포되고 있습니다. :hugs: LeRobot 커뮤니티 페이지 :github: LeRobot GitHub 저장소 https://github.com/huggingface/lerobot :github: 저비용 로봇팔 Koch GitHub 저장소 https://github.com/jes… --- ## [🤗 Hugging Face의 OpenLLM 리더보드 개선: Open-LLM Leaderboard v2](https://discuss.pytorch.kr/t/hugging-face-openllm-open-llm-leaderboard-v2/4742)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [7월 3, 2024, 10:39오전 UTC](https://discuss.pytorch.kr/t/hugging-face-openllm-open-llm-leaderboard-v2/4742 "2024-07-03T10:39:25Z")
OpenLLM Leaderboard 개선 제안 글 소개 Open-LLM leaderboard는 다양한 언어 모델의 성능을 비교하고 평가하는 플랫폼으로, 연구자들과 개발자들이 최신 모델의 성능을 객관적으로 파악할 수 있는 중요한 역할을 합니다. 그러나 최근 몇 년간 리더보드에 등록된 모델들의 성능이 일정 수준에 도달한 이후로 더 이상의 눈에 띄는 향상이 없었습니다. 이는 모델 성능의 한계를 극복하기 위한 새로운 접근 방법이 필요함을 의미합니다. OpenLLM 리더보드는 이러한 상황을 타개하기 위해 다양한 개선 방안을 제시하고 있으며, 이를 통해 모델 개발자들이 더 나은 성능의 모델을 만들 수 있도록 돕고자 합니다. 현재 Open-LLM 리더보드에는 수많은 언어 모델이 등록되어 있으며, 이들 모델은 특정 기준에 따라 성능이 평가되고 순위가 매겨집니다. 최근 몇 년 동안 대부분의 모델이 높은 점수를 기록하며 상위권을 차지하고 있지만, 상위권 모델들 간의 성능 차이가 미미해지고 있습니다. 이는 새로운 모델이 기존 모델에 비해 혁신적인 성능을 보여주지 못하고 있음을 시사합니다. 이러한 현상은 모델 개발자들에게 더 큰 도전과제를 안겨주며, 리더보드의 신뢰성과 유용성을 유지하기 위해서는 평가 방식의 개선과 새로운 데이터셋의 도입이 필요합니다. 현재 Open-LLM 리더보드의 개선 필요 사항들 모델의 한계 현재 리더보드에 등록된 모델들은 GPT-3, BERT와 같은 대형 언어 모델들로 구성되어 있으며, 이들 모델은 이미 최적화된 상태입니다. 이러한 모델들은 이미 수백억 개의 매개변수를 사용하여 학습되었기 때문에, 추가적인 성능 향상을 위해서는 엄청난 양의 데이터와 연산 자원이 필요합니다. 그러나 이러한 접근 방식은 자원 소모가 크고, 환경적인 부담을 초래할 수 있습니다. 따라서 새로운 모델 개발 방법론과 아키텍처의 도입이 필요합니다. 데이터 부족 고품질의 학습 데이터가 부족한 것도 큰 문제입니다. 현재 사용되는 데이터셋은 주로 영어로 된 텍스트이며, 다양한 … --- ## [\[GN\] HuggingFace 공동창업자가 추천하는 AI 분야 입문 서적 (txt)](https://discuss.pytorch.kr/t/gn-huggingface-ai-txt/4439)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 2\ **마지막 업데이트:** [5월 22, 2024, 12:36오후 UTC](https://discuss.pytorch.kr/t/gn-huggingface-ai-txt/4439 "2024-05-22T12:36:09Z")
HuggingFace 공동창업자가 추천하는 AI 분야 입문 서적 소개 공동창업자이자 CSO인 Thomas Wolf는 물리학 & 법학 전공 그가 2016~17년에 NLP/AI/ML 분야에 들어가면서 읽은 독서 목록 즉, ChatGPT/트랜스포머/Diffusion 혁신 전이라는 것을 유의할 것 "Deep Learning(심층 학습)" 책은 현재 도구에 대한 빠른 개요를 얻기에 좋은 자료 "Artificial Intelligence: A Modern Approach(인공지능:제4판 - 현대적 접근방식)"는 신경망 이전의 모든 도구와 방법에 대한 훌륭한 자료 "Machine Learning: A Probabilistic Perspective(머신 러닝)"는 확률적 접근법을 더 깊이 파고들고 베이지안 도구에 대한 좋은 노출을 얻기에 훌륭한 자료 "Information Theory, Inference and Learning Algorithms"는 거의 믿을 수 없을 정도로 명확하게 확률과 정보 이론을 설명하는 작은 보석임 "The Book of Why: The New Science of Cause and Effect"는 인과관계에 대한 좋은 소개서임 "Reinforcement Learning: An Introduction(단단한 강화학습)"은 강화 학습에 대한 입문적 소개를 얻기에 훌륭한 자료임 자연어 처리에 대한 세 가지 훌륭한 자료가 흥미로웠음 Kyunghyun Cho의 "Natural Language Processing with Representation Learning"에 대한 강의 노트가 훌륭함 Yoav Goldberg의 "Neural Network Methods in Natural Language Processing" 책도 좋음 Jacob Eisenstein의 "Natural Language Processing" 교과서도 매우 포괄적인 읽을거리임 몇 가지 온라인 코스로 이를 보완함 edx 의 Computational Probability a… --- ## [Idefics2, Hugging Face가 공개한 8B 규모의 멀티모달 모델 (Vision-Language)](https://discuss.pytorch.kr/t/idefics2-hugging-face-8b-vision-language/4322)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [5월 10, 2024, 5:58오후 UTC](https://discuss.pytorch.kr/t/idefics2-hugging-face-8b-vision-language/4322 "2024-05-10T17:58:57Z")
Idefics2, Hugging Face가 공개한 8B 규모의 멀티모달 모델 (Vision-Language) 소개 Hugging Face에서 공개한 Idefics2 모델은 이미지와 텍스트를 동시에 입력받아 텍스트 응답을 생성하는 멀티모달 모델로, 이미지에 대한 질문에 답하거나, 시각적 내용에 대한 설명을 할 수 있습니다. Idefics2 모델은 이전 버전인 Idefics1에 비해 OCR, 문서 이해, 시각적 추론 능력이 향상되었으며, Apache 2.0 라이선스로 배포된 공개 모델입니다. 주요 기능 멀티모달 입력 처리: Idefics2는 텍스트와 이미지를 포함한 입력을 처리할 수 있습니다. 이는 이미지 캡셔닝, 시각적 질문 응답 등 다양한 작업에 활용될 수 있습니다. 향상된 OCR 및 시각적 추론: 문서 스캔이나 이미지 내 텍스트 인식에 강화된 기능을 제공합니다. 또한, 차트나 그래픽에 대한 질문에도 효과적으로 대응할 수 있습니다. 다양한 이미지와 텍스트 결합: 여러 이미지에 기반한 스토리 생성 또는 문서에서 정보 추출 등 복잡한 작업 수행 가능. 사용자 지시에 따른 미세조정: 사용자의 구체적인 요구사항에 맞게 모델을 미세조정할 수 있어, 보다 정확한 결과를 얻을 수 있습니다. 성능 비교 Idefics2는 LLava-Next-34B나 MM1-30B-chat 같은 훨씬 큰 모델들과 경쟁할 수 있는 성능을 보여줍니다. 특히 이미지와 관련된 질문에 답변하거나, 이미지로부터 텍스트 정보를 추출하는 작업에서 뛰어난 OCR 능력을 보여줌으로써, 멀티모달 작업에 특화된 강점을 가지고 있습니다. Idefics2 모델을 다른 유사 모델들과 비교한 결과는 다음과 같습니다: Model Open weights Size # tokens per image MMMU (val/test) MathVista (testmini) TextVQA (val) MMBench (test) VQAv2 (test-dev) DocVQA (test) … --- ## [허깅페이스 Trainer 관련 의문입니다.](https://discuss.pytorch.kr/t/trainer/3848)
**Author:** [@khs0415p](https://discuss.pytorch.kr/u/khs0415p)\ **댓글:** 6\ **마지막 업데이트:** [3월 26, 2024, 11:25오후 UTC](https://discuss.pytorch.kr/t/trainer/3848 "2024-03-26T23:25:56Z")
안녕하세요. 반갑습니다! 자연어 처리관련 일을 하고 있는 한명의 개발자입니다. 과거에 BERT나 GPT-2 정도의 모델을 fine-tuning할때, 보통 Trainer도 직접 구현해서 학습을 했었습니다. 최근 LLM(gemma, llama2)를 full-fine-tuning 하고 싶어서 Huggingface의 Trainer를 사용하여 학습 시도 중에 있습니다. 제 GPU는 H100 80GB이고, 모델 gemma-7b를 로드하면 약 30GB를 사용하며 이상태에서 데이터(max\_seq\_len = 2048)를 Trainer에 넣고 trainer.train()을 실행하면 약 79GB를 사용하여 학습이 진행됩니다. 제가 궁금한 점은 약 50 step정도 후에 CUDA out of memory 에러가 발생하는데, 첫 step에서 메모리 오류가 발생하지 않고 50 step 후에 발생하는 이유가 무엇일까요? 중간에 데이터가 gpu에서 내려오지 않고 쌓이고 있는건가요 ? 혹시 아시는분이 있으면 지식 공유 부탁드립니다. 감사합니다. --- ## [Quanto, Hugging Face에서 개발한 PyTorch 기반의 양자화 도구(Quantization Toolkit)](https://discuss.pytorch.kr/t/quanto-hugging-face-pytorch-quantization-toolkit/3851)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [3월 25, 2024, 11:34오후 UTC](https://discuss.pytorch.kr/t/quanto-hugging-face-pytorch-quantization-toolkit/3851 "2024-03-25T23:34:00Z")
Hugging Face에서 개발한 PyTorch 기반의 양자화 툴킷, Quanto를 소개합니다. 이 툴킷은 기존 PyTorch 양자화 도구에서 지원하지 않거나 제한적인 여러 기능을 제공합니다. 예를 들어, Quanto는 eager 모드에서 모든 기능을 사용할 수 있으며, CUDA와 MPS를 포함한 모든 장치에 양자화된 모델을 배치할 수 있습니다. 또한, 동적에서 정적 양자화 모델로의 원활한 워크플로우를 지원하며, PyTorch의 weight\_only와 :hugs: safetensors와 호환되는 직렬화를 제공합니다. Quanto는 CUDA 장치에서 정수 행렬 곱셈을 사용하고, int2, int4, int8, float8 가중치 및 int8, float8 활성화를 지원합니다. 이러한 기능들은 AI 모델 개발자 및 연구자들에게 유용한 도구가 될 것입니다. 소개 Quanto는 AI 모델의 양자화 과정을 단순화하고 최적화하기 위해 Hugging Face에 의해 개발된 PyTorch 기반의 양자화 툴킷입니다. 양자화는 모델의 가중치와 활성화를 낮은 비트 너비의 정수로 변환하여 모델의 크기를 줄이고 추론 속도를 향상시키는 기술입니다. Quanto는 이 과정을 더 효율적이고 사용자 친화적으로 만들기 위해 다양한 기능과 향상된 워크플로우를 제공합니다. 주요 기능 Eager 모드 지원: Non-traceable 모델에서도 모든 기능을 사용할 수 있습니다. 다양한 장치 지원: CUDA 및 MPS를 포함한 모든 장치에 양자화된 모델을 배치할 수 있습니다. 자동 삽입 기능: 자동으로 양자화 및 역양자화 스텁, 양자화된 함수 연산, 양자화된 모듈을 삽입합니다. 향상된 직렬화: PyTorch의 weight\_only 및 :hugs: safetensors와 호환되는 직렬화를 제공합니다. 정수 행렬 곱셈 사용: CUDA 장치에서 int2, int4, int8, float8 가중치 및 int8, float8 활성화를 지원합니다. 사용 방법 또는 작동 원리 Quanto는 PyTor… --- ## [DeepLearning.AI, 허깅페이스와 함께 하는 오픈소스 모델 강좌 개설 (무료/영어/온라인)](https://discuss.pytorch.kr/t/deeplearning-ai/3700)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [3월 7, 2024, 12:30오전 UTC](https://discuss.pytorch.kr/t/deeplearning-ai/3700 "2024-03-07T00:30:58Z")
소개 Andrew Ng이 만든 DeepLearning.AI에서 이번에 HuggingFace와 함께 협업을 통해 새로운 강좌를 개설했습니다. 이 강좌에서는 텍스트, 오디오, 이미지 및 멀티모달 태스크를 수행하기 위해 Hugging Face Hub에 올라온 오픈소스 모델들을 찾고, Hugging Face의 transformer 라이브러리를 사용하는 방법 등을 배우게 된다고 합니다. 또한, 사용자 친화적인 인터페이스나 API를 사용하여 AI 애플리케이션을 쉽게 공유하고, 로컬 또는 클라우드에서 Gradio와 Hugging Face Spaces을 사용하여 실행하는 방법을 배울 수 있다고 합니다. 이 과정에 포함된 주요 내용들은 다음과 같다고 합니다: 트랜스포머 라이브러리를 사용하여 작은 언어 모델을 멀티턴 대화가 가능한 챗봇으로 전환하여 후속 질문에 답변할 수 있습니다. 언어 간 번역, 문서 요약, 두 텍스트 간의 유사성을 측정하여 검색 및 검색에 사용할 수 있습니다. 자동 음성 인식(ASR)으로 오디오를 텍스트로 변환하고, 텍스트 음성 변환(TTS)을 사용하여 텍스트를 오디오로 변환하세요. 제로 샷 오디오 분류를 수행하여 모델을 미세 조정하지 않고도 오디오를 분류할 수 있습니다. 객체 감지와 텍스트 음성 변환 모델을 결합하여 이미지를 설명하는 오디오 내레이션을 생성합니다. 제로 샷 이미지 분할 모델에 선택하려는 객체를 식별하는 포인트를 표시하여 이미지에서 객체 또는 영역을 식별합니다. 전체 강좌는 약 5~10분 가량의 짧은 영상 16개로 구성되어 있으며, 전체 시간은 대략 115분 가량되는 것 같습니다. DeepLearning.AI 계정만 있다면 누구나 무료로 수강할 수 있으며, 강의 주제들은 다음과 같습니다. Open Source Models with Hugging Face 강좌 구성 Introduction Selecting models Natural Language … --- ## [스테이블 디퓨전 파인튜닝하는 쉬운 코드 공유](https://discuss.pytorch.kr/t/topic/3633)
**Author:** [@metamath](https://discuss.pytorch.kr/u/metamath)\ **댓글:** 2\ **마지막 업데이트:** [2월 28, 2024, 2:43오전 UTC](https://discuss.pytorch.kr/t/topic/3633 "2024-02-28T02:43:51Z")
pytorch를 사용하여 스테이블 디퓨전 파인튜닝하는 뼈대 코드 공유합니다. 허깅페이스 디퓨저 라이브러리 도움말이나 블로그에 보면 디퓨저에서 제공하는 학습 스크립트를 사용하는 예제만 나와있습니다. Keras 에는 Fine-tuning Stable Diffusion 처럼 밑바닥부터 트레이닝 루프를 다 코딩하는 예제가 있는데 파이토치 사용해서는 이렇게 하는 예제를 찾기가 쉽지 않아 직접 만들어봤습니다. diffusers에서 제공하는 스크립트 파일 사용하지 않고 학습 루프를 다 코딩하는 방식의 제일 접근하기 쉬운 바닐라 버전이라 입문하시는 분들 이해하기 쉬우실 듯 합니다. 그냥 죽 눈으로 따라만 보셔도 금방 이해가 되실것으로 생각합니다. pytorch-stable-diffusion-fine-tuning 그럼 누군가에게 유용한 정보가 되길 바라겠습니다. [다음 페이지](https://discuss.pytorch.kr/tag/huggingface/192.md?match_all_tags=true&page=1&tags%5B%5D=huggingface)