독파모 2차 단계평가 완벽 정리, 벤치마크 점수만으론 안 되는 3가지 이유

Table of Contents

안녕하세요! 성징어의 IT 잉크사이트(IT Ink-Sight) 성징어입니다.

8월 8일부터 11일까지, 일반 시민 200명이 아직 이름조차 낯선 국산 AI 모델 4종을 나흘 내내 직접 써보고 점수를 매기는 일이 진행 중입니다. 과학기술정보통신부가 추진하는 ‘독자 AI 파운데이션 모델(독파모)’ 프로젝트의 국민평가단 체험 일정인데요. 벤치마크 리더보드 순위표만 보면 끝날 것 같던 이 사업이, 왜 일반 시민 200명의 손끝 평가까지 필요로 하게 됐을까요. 답은 최근 며칠 사이 쏟아진 독파모 2차 단계평가 관련 소식들 속에 있습니다.

7일 IT 업계에 따르면 독파모 2차 단계평가는 기존처럼 벤치마크 점수와 전문가 평가, 국민(사용자) 평가라는 3단 구조를 유지합니다. 다만 이번에는 단순 정답률 비교를 넘어 추론에 들어가는 토큰 수와 시간·비용, 한국어 데이터 활용 능력, 산업 현장 적용 가능성까지 함께 들여다봐야 한다는 목소리가 커지고 있습니다. 국가대표 AI 모델을 뽑는 사업인 만큼, 점수 몇 점 차이보다 실제로 얼마나 쓸모 있느냐가 관건이라는 이야기입니다.

독파모란 무엇인가, 국가대표 AI를 뽑는 이유

독파모는 ‘독자 AI 파운데이션 모델’의 줄임말입니다. 해외 빅테크의 거대언어모델에 전적으로 의존하지 않고, 한국어와 국내 산업·제도 맥락을 제대로 이해하는 자체 기반모델을 국가 차원에서 육성하겠다는 과기정통부 사업입니다. 올해 초 1차 평가로 참가팀을 추렸고, 지금은 그 결과를 바탕으로 독파모 2차 단계평가가 진행 중입니다.

1차 평가를 통과한 곳은 LG AI연구원, SK텔레콤, 업스테이지 세 팀이었습니다. 여기에 올해 새로 합류한 모티프테크놀로지스까지 더해 현재 4개 팀이 독파모 2차 단계평가용 모델을 나란히 겨루고 있습니다. 4개 팀 모두 이달 초 세계 최대 AI 오픈소스 플랫폼 허깅페이스에 차세대 모델을 순차 공개했고, 정부는 이렇게 만들어진 모델을 국민 AI 문해력을 높이는 ‘모두의 AI’ 사업에 활용할 계획입니다.

‘모두의 AI’ 사업은 이름 그대로 특정 기업이나 전문가만이 아니라 전 국민이 국산 AI 모델을 일상적으로 체험하고 활용하도록 저변을 넓히는 데 초점을 맞춘 정책입니다. 학교나 공공기관, 소상공인 현장에 국산 AI를 보급하는 시나리오까지 염두에 두고 있다 보니, 정부 입장에서는 독파모에서 어떤 모델이 최종 낙점되느냐가 곧 ‘모두의 AI’ 사업의 품질을 좌우하는 출발점이 되는 셈입니다. 두 사업이 사실상 한 몸처럼 맞물려 돌아가는 구조라고 볼 수 있습니다.

왜 굳이 정부가 나서서 이런 사업을 벌이는지 의아할 수도 있습니다. 챗GPT나 제미나이 같은 해외 모델을 그냥 쓰면 되지 않느냐는 반문도 나올 법합니다. 하지만 공공기관이나 금융권처럼 민감한 데이터를 다루는 조직 입장에서는 모델의 학습 데이터 출처와 운영 주체가 국내에 있는지가 보안·주권 차원에서 중요한 문제입니다. 여기에 한국어 특유의 어미 변화나 존댓말 체계, 국내 법령·제도 용어를 해외 모델이 얼마나 정확히 이해하느냐도 실무에서는 무시할 수 없는 변수입니다. 독파모는 이런 문제의식에서 출발한 국가 차원의 대응책인 셈입니다.

흥미로운 대목은 평가 기준 자체가 계속 진화하고 있다는 점입니다. 1차 평가 때는 독자 모델의 정의와 평가 기준을 둘러싼 논란이 적지 않았고, 그 반성 위에서 이번 2차 평가는 초기 데이터와 학습 로그를 실제로 보유했는지, 개발 과정의 문제를 외부 기술에 기대지 않고 자체 해결할 수 있는지를 독자성 판단의 핵심 기준으로 삼는 방안이 검토되고 있습니다.

독파모 사업이 이렇게 정교해지는 배경에는 ‘독자 AI’라는 말 자체를 둘러싼 신뢰 문제가 있습니다. 해외 오픈소스 모델을 가져다 미세조정만 해놓고 독자 모델이라 부르는 것 아니냐는 의심을 걷어내려면, 처음부터 데이터를 누가 만들었고 학습 과정의 의사결정을 누가 내렸는지가 투명하게 드러나야 합니다. 그래서 이번 2차 평가에서는 성능표 뿐 아니라 개발 이력 자체를 들여다보는 절차가 한층 강화된 셈입니다.

LG AI연구원 SK텔레콤 업스테이지 모티프테크놀로지스 4사의 독파모 참여 모델을 상징하는 아이콘

참여 4개사, 같은 목표 다른 해법

이번 라운드에서 가장 눈에 띄는 대목은 4개사가 저마다 완전히 다른 승부수를 던졌다는 점입니다. 체급을 키운 곳도 있고, 효율을 택한 곳도 있고, 산업 현장을 파고든 곳도 있습니다. 파라미터 규모만 놓고 봐도 최소 250B(2500억 개)에서 최대 750B(7500억 개)까지 세 배 차이가 나는데, 그 이면에는 각 기업이 그리는 서로 다른 시장 전략이 깔려 있습니다.

LG AI연구원은 4개 팀 중 가장 큰 몸집으로 승부했습니다. 기존 K-엑사원 가중치를 재활용하는 업사이클링 방식으로 ‘K-엑사원 2.0’을 내놓으면서 파라미터 규모를 직전 모델보다 3배 이상 키운 750B까지 확대했습니다. 학습 비용을 줄이면서도 성능을 끌어올린 셈인데, 라이선스도 아파치 2.0으로 바꿔 상업적 활용 범위를 넓혔습니다. 공공 서비스 적용 경험이 풍부한 만큼 대국민 체험 서비스도 함께 준비 중이라고 합니다.

SK텔레콤은 688B 규모의 ‘에이닷 엑스 케이투(A.X K2)’로 맞섰습니다. 장문 추론과 에이전트 성능 강화에 집중했고, 조 단위 모델과 비전·음성 모델까지 확장하는 로드맵도 함께 제시했습니다. 마찬가지로 아파치 2.0 라이선스를 적용해 누구나 수정·상업적 활용이 가능하도록 열어뒀습니다. 서비스 확산 전략은 제조·국방·바이오 등 산업 현장 실증과 ‘모두의 AI’ 사업 참여로 요약됩니다.

업스테이지는 몸집 경쟁 대신 효율을 택했습니다. 250B 규모 ‘솔라 오픈 2’는 전문가혼합(MoE) 구조를 바탕으로 최대 100만 토큰 문맥 처리 능력을 구현했고, 기업이 자체 인프라에서 돌려도 비용 부담이 크지 않도록 설계된 점이 특징입니다. 올 상반기 인수한 포털 다음과 AI 에이전트 플랫폼을 발판 삼아 실사용 확산을 노리는 전략도 눈에 띕니다.

모티프테크놀로지스는 이번 라운드의 신예입니다. 1차 평가 이후 뒤늦게 합류한 만큼 최종 버전이 아닌 프리뷰(베타) 모델을 먼저 공개했는데, 314B 규모의 MoE 모델 ‘모티프3’는 글로벌 AI 평가기관 아티피셜 애널리시스 인텔리전스 지수(AAII)에서 44점을 기록했습니다. 정식 버전에는 상업적 이용 제한이 없는 MIT 라이선스를 적용할 예정이며, 금융·회계 분야 협력사를 중심으로 초기 상용 레퍼런스를 쌓는 데 집중하고 있습니다.

네 팀의 전략을 나란히 놓고 보면 재미있는 구도가 드러납니다. LG AI연구원이 ‘체급’으로, SK텔레콤이 ‘산업 적용력’으로, 업스테이지가 ‘효율과 비용’으로, 모티프테크놀로지스가 ‘독자 설계’로 각각 승부하는 모습인데, 이는 이 사업이 단일한 잣대로 우열을 가리기 어렵다는 뜻이기도 합니다.

라이선스 선택도 눈여겨볼 만합니다. LG AI연구원과 SK텔레콤은 나란히 아파치 2.0을 택해 상업적 활용의 문턱을 낮췄고, 모티프테크놀로지스는 한발 더 나아가 사실상 제한이 거의 없는 MIT 라이선스를 예고했습니다. 반대로 업스테이지는 라이선스 개방성보다 실제 서비스 접점을 늘리는 쪽에 무게를 뒀는데, 올 상반기 인수한 포털 다음을 통해 이미 수백만 이용자에게 노출되는 채널을 확보했다는 점이 다른 세 팀과 구별되는 지점입니다. 결국 네 회사는 ‘얼마나 개방적인가’와 ‘얼마나 빨리 실사용자에게 닿는가’라는 두 축 위에서 조금씩 다른 좌표를 찍고 있는 셈입니다.

벤치마크 점수와 추론 비용, 한국어 데이터 활용도를 저울질하는 독파모 2차 단계평가 이미지

벤치마크 점수만으론 부족한 이유

여기서 질문 하나가 남습니다. 파라미터 규모도 다르고 라이선스도 다른 네 모델을 대체 어떤 기준으로 비교해야 할까요. 업계에서는 독파모 2차 단계평가가 또다시 성능 점수 중심으로만 흐르면 이 사업의 정책적 목표를 충분히 담아내기 어렵다는 지적이 나옵니다. 국가대표 AI 모델을 선정하는 사업인 만큼, 한국어와 국내 제도·문화에 대한 이해도, 공공·산업 분야 활용 가능성까지 종합적으로 검증해야 한다는 이유에서입니다.

특히 주목할 부분은 추론 자원입니다. 같은 문제를 맞히더라도 한쪽 모델이 수십 배 많은 토큰과 연산 자원을 썼다면 실제 서비스 운영 비용은 완전히 달라집니다. 최고 성능만 보면 앞선 모델이더라도, 속도와 비용을 함께 고려하면 산업 현장에서는 오히려 경쟁력이 떨어질 수 있다는 뜻입니다. 노엄 브라운 오픈AI 리서치 부문 부사장도 최근 열린 ‘글로벌 AI 프론티어 심포지엄 2026’에서 AI 모델 평가에 추론 자원을 별도로 반영해야 한다고 주장한 바 있습니다. 그는 짧은 시간과 적은 비용으로 시험할 때 나타나지 않았던 도구 오용이나 공격적 행동이, 더 많은 시간과 연산 자원이 주어졌을 때 드러날 수 있다며 이 부분이 안전성 평가와도 직결된다고 짚었습니다.

결국 독파모 2차 단계평가의 핵심 쟁점은 ‘얼마나 똑똑한가’에서 ‘얼마나 쓸 만한가’로 옮겨가고 있다고 정리할 수 있습니다. 벤치마크 리더보드에 이름을 올리는 것과, 실제 제조 현장이나 민원 상담 창구에서 하루 종일 안정적으로 굴러가는 것은 전혀 다른 문제이니까요.

글로벌 오픈웨이트 경쟁 속에서 독파모가 선 자리

이 사업을 국내 시선으로만 보면 절반만 이해한 셈입니다. 오픈웨이트(가중치 개방형) 모델은 이제 전 세계 AI 산업의 새로운 격전지로 자리 잡았습니다. 중국에서는 딥시크와 알리바바, 문샷AI, 옛 지푸(Zhipu)였던 Z.AI 등이 공격적으로 오픈웨이트 모델을 쏟아내며 개발자 생태계를 넓히고 있고, 미국에서도 메타를 비롯해 구글과 오픈AI까지 오픈웨이트 전략을 다변화하는 모습입니다. 판이 이렇게 커지다 보니 모델 경쟁력을 가르는 기준도 단순 벤치마크 점수보다 얼마나 많은 개발자와 기업이 실제로 그 모델을 갖다 쓰느냐로 옮겨가는 분위기입니다.

이런 흐름 속에서 이번 2차 평가가 단순 ‘국산 모델 만들기’를 넘어 ‘잘 만든 AI’에서 ‘많이 쓰는 AI’로 무게중심을 옮기려는 이유가 설명됩니다. 참여사들이 하나같이 라이선스를 열어젖히고 허깅페이스에 모델을 공개한 것도, 결국 중국·미국발 오픈웨이트 공세 속에서 국내 개발자 생태계를 지키지 못하면 아무리 성능이 좋아도 도태된다는 위기감이 깔려 있기 때문입니다. 업계 관계자는 이와 관련해 “결국 산업 현장에서 선택받고 개발자들이 지속적으로 활용하는 모델이 경쟁력을 갖게 될 것”이라고 짚었는데, 이 말은 독파모 참여 4개사 모두에게 똑같이 해당하는 이야기입니다.

체급으로 보면 750B 규모의 K-엑사원 2.0도 글로벌 최상위권 오픈웨이트 모델과 비교하면 결코 압도적인 크기는 아닙니다. 그럼에도 국내 팀들이 이 경쟁에 뛰어드는 이유는, 몸집 경쟁만으로는 승부를 볼 수 없다는 걸 이미 알고 있기 때문입니다. 한국어 데이터 품질, 국내 산업 도메인 지식, 공공·금융 분야의 규제 이해도처럼 해외 빅테크가 상대적으로 취약한 영역에서 격차를 벌리는 쪽이 오히려 승산이 크다는 계산이 깔려 있는 셈입니다.

숫자로 봐도 아직 갈 길이 멀다는 걸 알 수 있습니다. 모티프테크놀로지스의 프리뷰 모델이 글로벌 AI 평가기관 AAII 지수에서 받은 점수는 44점인데, 이는 세계 최상위권 모델들과 비교하면 상당한 격차가 남아 있는 수준입니다. 다만 이 점수는 정식 버전이 아닌 프리뷰 단계에서 나온 결과이고, 나머지 세 팀 역시 1차 평가 이후 성능을 끌어올린 개선판을 이번에 새로 내놓은 만큼, 독파모 2차 단계평가가 끝나는 시점의 실제 순위는 지금과 사뭇 다를 수 있습니다.

국민평가단 200명, 무엇을 평가하나

이 사업에서 가장 이색적인 절차는 역시 국민평가단입니다. 8월 8일부터 11일까지 나흘간 일반 시민 200명이 LG AI연구원·SK텔레콤·업스테이지·모티프테크놀로지스 네 팀의 모델을 절대평가 방식으로 직접 체험하고 있습니다. 이 결과는 기존 벤치마크 평가, 전문가 심사 점수와 합산돼 독파모 2차 단계평가에 반영될 예정입니다.

다만 업계에서는 이 취지에 공감하면서도 세부 설계가 관건이라는 목소리가 나옵니다. 일반 이용자가 체감하는 품질을 반영할 수 있다는 장점은 분명하지만, 평가단 구성이나 질문 유형, 모델별 응답 조건이 제대로 통제되지 않으면 실제 기술력보다 브랜드 인지도나 화면 구성 같은 요소가 결과를 좌우할 수 있다는 우려입니다. 국민평가가 단순한 선호도 조사나 인기투표로 흘러서는 안 된다는 지적도 함께 나옵니다.

그래서 나온 대안이 역할 분담입니다. 사실 정확성과 환각 발생 여부, 유해 답변 차단, 보안성처럼 일반 이용자가 판단하기 어려운 항목은 전문가 평가로 보완하고, 국민평가는 편의성과 자연스러운 대화 능력, 한국어 표현력 같은 체감 요소에 집중해야 한다는 것입니다. 평가 참여자의 연령과 직업, AI 이용 경험을 고르게 구성하고 모델별로 동일한 질문·응답 시간·사용 환경을 적용해야 평가 결과의 대표성과 신뢰성을 확보할 수 있다는 게 업계 관계자들의 공통된 의견입니다.

공교롭게도 이 국민평가단 일정은 10일 청와대에서 열리는 3대 메가프로젝트 2차 민관합동 점검회의와도 시기가 겹칩니다. 호남권 반도체 클러스터, 충청권 첨단산업, 영남권 피지컬 AI 사업을 점검하는 이 회의에서도 독파모 국민평가단 진행 상황이 함께 언급될 것으로 알려졌는데요. 정부가 AI 인프라 투자와 독자 모델 육성을 하나의 국가전략으로 묶어 챙기고 있다는 걸 보여주는 대목입니다.

독파모 2차 단계평가에 참여하는 국민평가단 200명이 AI 모델을 체험하는 모습

데이터 확보 경쟁, 국립중앙도서관과 TDM 면책규정

성능만큼이나 뜨거운 감자가 데이터입니다. 독파모 참여 기업들은 이미 국가AI전략위원회와 간담회를 열어 데이터 확보 방안을 논의한 바 있습니다. LG AI연구원과 업스테이지는 국립중앙도서관 도서 데이터화와 함께, 학습 목적 저작물 활용을 위한 텍스트·데이터 마이닝(TDM) 면책 규정 마련을 요청했습니다. 국내 도서 콘텐츠를 합법적으로 학습에 활용할 근거가 아직 충분치 않다는 문제의식이 깔려 있습니다.

SK텔레콤은 정부 데이터 정제 체계 고도화와 한국어 평가 데이터셋 확대를 제안했고, 모티프테크놀로지스는 대규모 한국어 사전학습 데이터를 국가 차원에서 구축하고 정제·분류·후처리까지 지원해야 한다고 강조했습니다. 임문영 전 국가AI전략위원회 부위원장은 이와 관련해 기업이 모델 개발에 그치지 않고 제조·금융·공공·의료 등 산업 현장에서 실제 서비스로 확장할 수 있는지도 함께 살펴야 한다고 언급한 바 있습니다.

TDM 면책규정이 낯선 분들을 위해 조금 풀어보면, 텍스트·데이터 마이닝(TDM)은 대량의 텍스트나 이미지를 기계학습에 활용하기 위해 분석·가공하는 행위를 뜻합니다. 지금은 국내 도서나 논문을 AI 학습에 쓰려면 저작권자 개별 허락을 일일이 받아야 하는지가 불분명한 경우가 많은데, 면책규정이 마련되면 일정 조건 아래 학습 목적의 활용을 저작권 침해로 보지 않는 근거가 생깁니다. 유럽연합이나 일본은 이미 유사한 조항을 도입해 자국 AI 기업의 데이터 확보 부담을 덜어준 바 있어, 국내 기업들도 같은 수준의 제도적 기반을 요구하고 있는 셈입니다.

이 대목이 특히 흥미로운 이유는, 이번 평가가 단순히 ‘누가 더 좋은 모델을 만들었나’를 넘어 ‘국가가 AI 산업에 어떤 공공재를 제공해야 하는가’라는 질문으로 이어지기 때문입니다. 국립중앙도서관 데이터화나 TDM 면책규정은 특정 기업 한 곳이 아니라 국내 AI 생태계 전체의 경쟁력과 직결되는 문제입니다.

바꿔 말하면, 독파모 참여사들이 정부에 요청한 항목들은 사실 이번 사업 참여 4개사만을 위한 특혜가 아닙니다. 국립중앙도서관 데이터가 정비되고 TDM 면책규정이 마련되면, 지금 이 경쟁에 끼지 못한 스타트업이나 앞으로 등장할 5번째, 6번째 도전자에게도 똑같이 열리는 인프라입니다. 그런 의미에서 독파모는 4개사의 승부처인 동시에, 그 승부를 가능케 하는 공공 데이터 인프라를 함께 정비하는 계기로도 읽힙니다.

공공 IT 컨설팅 관점에서 본 시사점

여기서부터는 제가 평소 업무에서 자주 마주치는 고민과 맞닿아 있습니다. 공공 정보화 사업의 제안평가 기준을 설계하다 보면, 정량 배점과 정성 배점을 어떻게 나눌지, 벤치마크형 지표와 현장 적용성 지표의 비중을 어떻게 잡을지 늘 애매한 지점이 남습니다. 독파모 2차 단계평가가 걸어가는 방식—벤치마크 평가, 전문가 평가, 사용자 평가를 3단으로 나누고 각자 잘 판단할 수 있는 영역만 맡기는 구조—은 이 고민에 참고할 만한 사례입니다.

특히 “추론 비용까지 평가에 넣어야 한다”는 지적은 공공 SW사업 평가에서도 낯설지 않은 논리입니다. 최저가 낙찰이 아니라 총소유비용(TCO) 개념으로 사업을 평가해야 한다는 원칙과 맞닿아 있기 때문입니다. 성능 점수만 높은 시스템이 아니라, 실제 운영 단계에서 비용과 안정성까지 감당할 수 있는 시스템을 고르자는 취지는 이번 평가나 공공 정보화 사업 평가나 본질적으로 같은 이야기입니다.

또 하나 눈여겨볼 점은 국민평가단 같은 체감형 평가를 도입할 때 표본 구성과 평가 조건을 엄격히 통제해야 한다는 지적입니다. 이는 공공기관이 대국민 서비스를 오픈하기 전 사용성 테스트를 설계할 때도 동일하게 적용되는 원칙입니다. 독파모 2차 단계평가를 둘러싼 이런 논의들을 지켜보면, 향후 공공 AI 사업 제안요청서(RFP)에도 벤치마크 점수 외에 추론 비용, 데이터 거버넌스, 사용자 체감 품질을 명시적으로 배점하는 흐름이 자리 잡을 가능성이 커 보입니다.

실무적으로 풀어보면 이렇습니다. 제안평가 배점표를 짤 때 흔히 기술점수와 가격점수를 나누는데, 기술점수 안에서도 ‘얼마나 많은 기능을 구현했는가’에 치우친 배점이 여전히 많습니다. 그런데 독파모 참여사들이 지적한 추론 비용·데이터 확보 역량·현장 실증 경험 같은 항목은, 사업이 끝난 뒤 실제 운영 단계에서 발주기관이 두고두고 체감하는 요소들입니다. 저는 개인적으로 앞으로 공공 AI 도입 사업 평가표에는 초기 구축 성능뿐 아니라 운영 단계의 총소유비용, 데이터 거버넌스 체계, 실사용자 만족도를 아우르는 별도 배점 항목이 자리 잡아야 한다고 보는데, 독파모 2차 단계평가가 그 청사진을 미리 보여주는 시범 사례로 읽힙니다.

앞으로 남은 일정과 지켜볼 지점

국민평가단 체험이 8월 11일 마무리되면, 그 결과는 곧바로 벤치마크 점수·전문가 심사 점수와 합산되는 절차로 넘어갑니다. 다만 이 글을 쓰는 시점까지 정부는 최종 결과 발표일이나 세부 배점 비율을 공식적으로 못 박지는 않았습니다. 3대 메가프로젝트 2차 점검회의처럼 국가 차원의 AI·반도체 인프라 점검 일정과 맞물려 있는 만큼, 독파모 관련 후속 발표도 비슷한 시기에 함께 나올 가능성이 있어 보입니다.

개인적으로 가장 궁금한 지점은 두 가지입니다. 하나는 국민평가단 200명의 표본이 실제로 연령·직업·AI 이용 경험을 고르게 대표했는지가 결과 발표 때 어떻게 검증될지이고, 다른 하나는 추론 비용이라는 새로운 변수가 최종 배점에 구체적으로 몇 퍼센트나 반영될지입니다. 이 두 가지가 명확히 공개되어야 다음 3차 평가, 혹은 후속 독자 AI 사업을 준비하는 기업들도 어떤 기준에 맞춰 개발 전략을 짤지 가늠할 수 있을 것입니다.

마무리하며

독파모 2차 단계평가는 아직 진행형입니다. 8월 11일 국민평가단 체험이 끝나면 벤치마크 점수, 전문가 심사, 국민 체감 점수를 모두 합산하는 절차가 이어질 텐데, 그 결과에 따라 LG AI연구원·SK텔레콤·업스테이지·모티프테크놀로지스 네 팀의 희비도 갈릴 것으로 보입니다. 다만 이번 라운드에서 확인된 건, 단일 점수표로 국가대표 AI를 뽑는 시대는 이미 지났다는 사실입니다.

여러분은 국산 AI 모델을 직접 써본 경험이 있으신가요. 아니면 여전히 해외 모델이 먼저 손이 가시나요. 독파모 2차 단계평가 결과가 나오면 어떤 모델이 실제로 우리 일상과 산업 현장에 스며들지, 저도 계속 지켜보며 다음 글에서 이어가 보겠습니다.