과학기술정보통신부의 재원으로 정보통신기획평가원의 지원을 받아 수행된 전문지식 대상 판단결과의 이유/근거를 설명가능한 전문가 의사결정 지원 인공지능 기술개발 과제에서 개발된 한국어 생성 언어모델을 공개합니다. ETRI에서 배포하는 언어모델은 총 2종이며, 한국어 모델(polyglot-ko-12.8b)을 기반으로 약 26만개의 instruction following 데이터로 fine-tuning된 모델과 영어 모델(llmama2-13b)을 기반으로 약 63만개의 instruction following 데이터로 fine-tuning된 모델입니다. 영어 모델 기반으로 fine-tuning된 생성 언어모델은 NIA와 Upstate가 주최하는 Open-ko-llm 리더보드에서 추론과 상식분야에서 1위를 하였습니다 (2023. 10. 10기준). We are disclosing the Korean language generation language model developed in the artificial intelligence technology development project to support expert decision-making that can explain the reasons/basis for the judgment results for expert knowledge, which was carried out with the support of the National IT Planning and Evaluation Institute with funding from the Ministry of Science and ICT. There are two types of language models distributed by ETRI: a model fine-tuned with approximately 260,000 instruction following data based on the Korean model (polyglot-ko-12.8b) and a model fine-tuned with approximately 260,000 instruction following data based on the English model (llmama2-13b). This model is fine-tuned with 630,000 instruction following data. The generative language model fine-tuned based on the English model ranked first in the inference and common sense categories on the Open-ko-llm leaderboard hosted by NIA and Upstate (as of October 10, 2023). 한국전자통신연구원_한국어 생성 언어모델(EiLLM) Electronics and Telecommunications Research Institute of Korea_Korean generative language model (EiLLM) 2024-07-10 2024-07-10 한국전자통신연구원 지식정보서비스실 과학기술 - 과학기술연구 LLM,생성언어모델,인공지능 LLM,Generative language model,A.I 이용허락범위 제한 없음 수시