지난해 12월 서울 강남구 코엑스에서 열린 ‘독자 AI 파운데이션 모델’ 프로젝트 1차 발표회에서 참석자들이 네이버클라우드 부스를 체험하고 있다. [사진 = 연합뉴스]

모델 평가 점수에서는 NC AI가 탈락했는데, 개발 과정에서 중국 AI 모델을 활용한 네이버 또한 ‘독자성 기준 미충족’으로 다음 단계에 진출하지 못하게 된 것이다.

과학기술정보통신부와 정보통신산업진흥원(NIPA), 한국정보통신기술협회(TTA)는 15일 독자 AI 파운데이션 모델 프로젝트 1차 평가 결과를 발표했다.

이번 1차 단계 평가는 네이버클라우드, 업스테이지, SK텔레콤, NC AI, LG AI연구원이 1차 결과로 개발한 모델을 대상으로 했다. 벤치마크 평가(40점 배점), 전문가 평가(35점), 사용자 평가(25점)에서 각 점수를 종합해 순위를 매기는 방식으로 진행됐다.

가장 큰 점수가 달린 벤치마크 평가에서는 참여한 5개 정예팀과 글로벌 모델을 비교할 수 있는 벤치마크 5종에 대해 평가를 진행했다.

NIA 벤치마크 평가에서는 SKT와 LG AI연구원이 10점 만점 중 9.2점으로 최고점을 득점했으며, 글로벌 공통 벤치마크 평가에서는 LG AI연구원이 20점 만점 중 14.4점으로 1위를 기록했다. 글로벌 개별 벤치마크 평가에서는 업스테이지와 LG AI연구원이 10점 만점 중 10.0점을 거뒀다.

종합했을 때 LG AI연구원이 33.6점으로 최고점을 기록했으며, 5개 정예팀의 평균은 30.4점이었다.

총 10명의 외부 AI 전문가로 구성됭 평가위원회 평가에서도 LG AI연구원이 35점 만점 중 31.6점을 기록하며 1위에 올랐다. 사용자 평가에서도 LG AI연구원이 25점 만점을 기록했다.

개별 점수가 공개되진 않았으나, 각 평가를 종합했을 때 NC AI가 가장 낮은 점수로 집계되면서 2차 단계로 넘어가지 못하게 됐다.

네이버의 경우 평가 점수에서는 탈락을 면했으나 “독자성 기준을 충족하지 못했다”는 평가를 받으며 조건 미부합으로 탈락이 결정됐다. 네이버는 모델 인코더 기술 등에서 중국 알리바바가 만든 큐원(Qwen) 오픈소스를 가져와 활용한 것이 밝혀진 바 있다.

과기정통부는 “공모 안내에서도 해외 모델 미세 조정 등으로 개발한 파생형 모델이 아닌 모델의 설계부터 사전 학습 과정을 수행한 국산 모델로 독자 AI 파운데이션 모델을 정의했다”라며 독자 AI 파운데이션 모델은 검증된 오픈소스를 전략적으로 활용하더라도 가중치를 초기화한 후 학습, 개발 수행하는 것이 모델의 독자성 확보를 위한 최소 조건이라고 밝혔다.

또한 정책적 측면에서도 외산 AI 모델을 활용할 때 국가 위협이 발생할 가능성을 해소하기 위해 어떠한 상황에서도 주체적으로 AI의 운영과 이용을 통제할 수 있는 역량 확보가 중요하다고 덧붙였다.

과기정통부는 “네이버클라우드 정예팀의 AI 모델은 독자성 기준을 충족하지 못하는 것으로 판단됐다. 전문가 평가위원들도 독자성 한계에 대한 문제를 제기했다”며 이같은 결정 배경을 설명했다.

지난달 서울 코엑스에서 ‘독자 AI 파운데이션 모델 프로젝트 1차 발표회’가 열린 가운데 배경훈 과기부총리가 발표하고 있다. [매일경제DB]

한편 1개 팀이 탈락할 예정이었던 기존 시나리오와 달리 2개 팀이 한 번에 탈락하게 되면서, 정부는 재공모를 통해 1개 정예팀을 추가 선정한다는 계획이다.

추가 공모는 상반기 중으로 진행되며, 최초 공모에 참여했던 컨소시엄은 물론 그외 기업, 이번에 탈락한 네이버클라우드나 NC AI도 지원할 수 있다.

배경훈 부총리 겸 과기정통부 장관은 이날 결과 발표에 앞서 “독자 파운데이션 모델의 목표는 세계 최고 수준이어야 하고 대한민국의 자긍심이 되어야 한다”라며 “AI 자원에 한계가 있기 때문에 자원을 집중해 세계 최고에 도전하기 위해 지금의 평가 방식을 취하고 있지만, 탈락 기업에도 지속적인 지원과 기회를 제공할 것”이라고 밝혔다.