[GN] StarCoder, BigCode 프로젝트가 공개한 코드용 LLM

GeekNewsxguru 님께 허락을 받고 GN에 올라온 글들 중에 AI 관련된 소식들을 공유하고 있습니다. :smiley_cat:


소개

image

  • 80+개의 프로그래밍 언어에 대해서 1조개의 토큰으로 훈련된 15.5B 모델
  • 효율적인 생성을 위해 MQA를 새용하여, 8192 토큰 컨텍스트 윈도우를 가짐
    • StarCoderBase : 80개 이상의 언어 데이터를 가진 The-Stack v1.2(6TB) 데이터셋으로 훈련
    • StarCoder : Python에 대해서 좀 더 훈련한 모델
  • Chat Demo 및 VSCode 용 확장 제공

원문

BigCode 저장소 (GitHub Repo)

:hugs: Hugging Face Chat에서 바로 사용해보기

출처 / GeekNews

지난 5월 5일자 TLDR AI Newsletter에도 소개된 내용이라, 해당 내용을 아래 함께 추가합니다. :slight_smile:


StarCoder Released (3 minute read)

테크크런치에서 허깅 페이스와 ServiceNow의 협업으로 무료 코드 생성 AI 모델이 탄생했다고 보도했습니다. 이 모델은 코드를 자동으로 생성하여 개발자를 지원함으로써 코드를 처음부터 작성하는 데 필요한 시간과 노력을 줄이는 것을 목표로 합니다. 이 파트너십은 소프트웨어 개발 프로세스를 간소화하여 개발자의 효율성을 높이는 동시에 생성된 코드의 품질을 유지하는 것을 목표로 합니다. 이번 출시는 생산성을 높이고 혁신을 촉진하기 위해 다양한 산업 분야에서 AI 기반 도구를 통합하는 추세가 증가하고 있음을 의미합니다.

TechCrunch reports on a collaboration between Hugging Face and ServiceNow, resulting in a free, code-generating AI model. The model aims to assist developers by automatically generating code, thereby reducing the time and effort needed to write code from scratch. The partnership seeks to streamline the software development process, making it more efficient for developers while maintaining the quality of the code generated. This release signifies the growing trend of incorporating AI-powered tools in various
industries to enhance productivity and foster innovation.

BigCodeProject의 트위터 글

https://twitter.com/BigCodeProject/status/1654174951006404610

StarCoder 논문 링크

JupyterCoder : Jupyter Code용 플러그인