"딥시크는 몇 등급일까?"…'불수능' 국어 문제 풀게 했더니 '깜짝 결과'

중국 인공지능(AI) 모델 딥시크가(Deepseek)가 대학수학능력시험 국어 영역 고난도 문제를 풀어내는 추론 능력을 선보였다.

31일 연합뉴스에 따르면 수능 문제 지문을 학습한 딥시크는 2024년도 수능 국어영역 공통과목에서 34문제 가운데 5문제를 틀려 12점이 감점됐다.

25년도 대비 '불수능'이었다고 평가받는 24년도 수능 국어 1등급 컷은 '언어와 매체' 84점, '화법과 작문'이 88점이다.

딥시크는 현대문학 관련 지문, 맞춤법·어휘 관련 문제에서는 빠르게 답을 내놓으며 강점을 보였다.

그러나 지문을 토대로 가상의 여론조사 통계를 분석하는 문제(7번), 서로 다른 데이터 처리 기법을 비교·분석하는 문제(10번) 등 당시 고난도 문항으로 평가받았던 비문학 지문에서는 약점을 드러냈다.

또 특정 표현에 드러난 화자의 의도를 묻는 문제(25번·31번), 고전 시가에 드러난 표현 기법을 묻는 문제(34번) 등에서는 모든 보기를 맞는 서술로 간주하거나 엉뚱한 해석을 내놓기도 했다.

이밖에 테스트해 본 수학 문제의 경우 2점짜리 계산 문제는 잘 맞혔으나, 복잡한 추론을 요구하는 고난도 문제에서는 어려움을 겪었다.

기하 문제에서는 캡처 이미지 속의 그림을 인식하지 못했고, 주관식 수열 문제에서는 초기 조건을 만족하는 값을 모조리 대입해 보는 소위 '노가다'를 시도하면서 무한루프에 빠지기도 했다.

한편, 딥시크는 5분에 한 번꼴로 '서버가 바쁘다'는 메시지를 띄우며 장기간 먹통 상태에 빠지는 등, 안정성 면에서는 개선이 필요해 보였다.

전 세계에서 접속자가 몰린 탓이라고는 하나, 과거 생성형 AI 열풍을 일으켰던 오픈AI 때의 챗GPT에 비하면 그 빈도와 정도가 잦다는 지적이 나온다.