* 공식 : StarCoder: A State-of-the-Art LLM for Code
https://huggingface.co/blog/starcoder
* VentureBeat 기사 : Hugging Face and ServiceNow open up generative AI for coding with StarCoder
* 아래는 공식 설명에서 인용
StarCoder와 StarCoderBase는 80개 이상의 프로그래밍 언어, Git 커밋, GitHub 이슈, Jupyter 노트북 등 GitHub에서 허가된 데이터로 학습된 코드용 대규모 언어 모델(Code LLM)입니다. LLaMA와 마찬가지로 1조 개 토큰에 대해 약 150억 개의 파라미터 모델을 학습시켰습니다. 그리고 350억 개의 파이썬 토큰에 대해 StarCoderBase 모델을 파인 튜닝하여 StarCoder라는 새로운 모델을 만들었습니다.
저희는 StarCoderBase가 널리 사용되는 프로그래밍 벤치마크에서 기존의 개방형 코드 LLM보다 성능이 뛰어나며, OpenAI의 code-cushman-001 (GitHub Copilot의 초기 버전을 구동한 오리지널 Codex 모델)과 같은 폐쇄형 모델과 같거나 능가한다는 사실을 발견했습니다. 8,000개가 넘는 토큰의 컨텍스트 길이를 가진 StarCoder 모델은 다른 어떤 개방형 LLM보다 더 많은 입력을 처리할 수 있어 다양하고 흥미로운 애플리케이션을 구현할 수 있습니다. [중략]
[모델] * 일부 링크만 인용
GitHub: StarCoder 이용 또는 파인 튜닝에 대해 알아야 할 모든 것.
https://github.com/bigcode-project/starcoder/
StarCoder: 파이썬에서 추가로 학습한 StarCoderBase.
https://huggingface.co/bigcode/starcoder
StarCoderBase: The Stack의 80개 이상의 언어에 대한 학습.
https://huggingface.co/bigcode/starcoderbase
[툴 & 데모]
StarCoder 채팅: 스타코더와 채팅하세요!
VSCode 확장: 스타코더로 코딩하세요!
https://marketplace.visualstudio.com/items?itemName=HuggingFace.huggingface-vscode
StarCoder 플레이그라운드: 스타코더로 작성해보세요!
https://huggingface.co/spaces/bigcode/bigcode-playground
StarCoder 에디터: 스타코더로 편집하세요!
https://huggingface.co/spaces/bigcode/bigcode-playground
[후략]
* DeepL 번역기 사용.
그럼,
공유합니다.
'개발 이야기 > AI 인공지능 이야기' 카테고리의 다른 글
네이버와 손잡은 삼성전자…'삼성 전용 챗GPT' 만든다 (0) | 2023.05.16 |
---|---|
깃허브 코파일럿의 대안, 무료 코딩AI 공유 (0) | 2023.05.08 |
Hugging Face, 자체 오픈소스 AI 챗봇 HuggingChat 공개 (0) | 2023.04.26 |
미국 AI 스타트업이 개발한 Forefront Chat, GPT-4 무료 제공 (0) | 2023.04.23 |
AI 인공지능과 GPT그리고 부가적인 유용한 유튜브 채널 공유 (0) | 2023.04.20 |