# \#bigcode

**URL:** https://discuss.pytorch.kr/tag/bigcode/227.md

[최신](https://discuss.pytorch.kr/latest.md) · [카테고리](https://discuss.pytorch.kr/categories.md) · [태그](https://discuss.pytorch.kr/tags.md)

---

## [\[GN\] StarCoder, BigCode 프로젝트가 공개한 코드용 LLM](https://discuss.pytorch.kr/t/gn-starcoder-bigcode-llm/1499)

<div class="topic-metadata">

**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\
**댓글:** 2\
**마지막 업데이트:** [5월 8, 2023, 3:58오전 UTC](https://discuss.pytorch.kr/t/gn-starcoder-bigcode-llm/1499 "2023-05-08T03:58:10Z")

</div>

GeekNews의 xguru 님께 허락을 받고 GN에 올라온 글들 중에 AI 관련된 소식들을 공유하고 있습니다. :smiley\_cat: 소개 80+개의 프로그래밍 언어에 대해서 1조개의 토큰으로 훈련된 15.5B 모델 효율적인 생성을 위해 MQA를 새용하여, 8192 토큰 컨텍스트 윈도우를 가짐 StarCoderBase : 80개 이상의 언어 데이터를 가진 The-Stack v1.2(6TB) 데이터셋으로 훈련 StarCoder : Python에 대해서 좀 더 훈련한 모델 Chat Demo 및 VSCode 용 확장 제공 원문 BigCode 저장소 (GitHub Repo) :hugs: Hugging Face Chat에서 바로 사용해보기 출처 / GeekNews