수능 국어 1등급 받은 AI

대학수학능력시험(수능) 국어 과목은 통합 교과 성격이 강하다. 많은 정보가 담긴 글을 1~2분 안에 읽고, 의미 파악은 물론이고 추론까지 해야 한다. 고교 교사들에 따르면 국어를 잘하는 학생은 수학·영어·탐구 영역에서도 높은 점수를 받는 경우가 많지만, 반대 사례는 그만큼 안 된다고 한다.

인공지능(AI)이 수능 국어 영역에서도 뛰어난 실력을 보였다. 지난 9월 출시된 오픈AI의 챗GPT o1-프리뷰 모델이 올해 수능 국어에서 97점(원점수)을 얻었다. 한 문제만 틀리고 모두 맞힌 것이다. 80분 시험에서 AI가 총 45개 문항을 푸는 데 걸린 시간은 35분이었다.

연구진에 따르면 o1-프리뷰는 문제를 읽은 뒤 곧바로 답을 내지 않고, 선지를 보면서 그중 하나를 택하는 방식으로 설계됐다고 한다. 오지선다 객관식 시험에 최적화한 것이다. AI가 유일하게 틀린 것은 8번 비문학 문항이었는데 수험생들에게도 매우 어려웠다. 입시 전문가들은 해당 문항의 정답률을 20% 안팎으로 추정했다. 수험생 대부분이 풀지 못하고 ‘찍었다’는 얘기다.

실제로 문제를 살펴보니, 시험지 한 장을 가득 채운 두 개의 지문에 ‘보기’까지 추가돼 훑어보는 데만 5분이 족히 걸렸다. AI가 해당 문항을 맞히지 못한 이유도 사람과 비슷했다. AI가 지문의 맨 앞과 끝을 주목하는 경향이 있는데 핵심 주제가 글 중간에 있었다는 것이다. ‘매력적인 오답’도 배치됐다. 수능 출제진이 파놓은 함정에 AI도 빠진 셈이다.

AI가 문학 문항에서 만점을 받은 것은 수능의 한계를 보여준다. AI가 인간의 감성이나 감정을 잘 이해해서라기보다는 문학 문제도 결국 논리성에 기반을 두고 있다는 의미이기 때문이다. 수능 국어 고득점엔 문학의 감상 능력보다 비유와 상징 등 문학의 분석 틀을 아는 것이 더 중요하다는 얘기이기도 하다.

o1-프리뷰는 지난해 수능 국어에서 88점을 맞았다. 재수해서 올해 97점을 받았으니 내년엔 점수가 더 오를 것이다. 미국 변호사 시험이나 일본 의사 시험도 모두 합격점을 받은 AI이니 수능 정복은 시간문제일 터다. 그래도 AI가 국어에서 만점을 받았다는 소식은 듣고 싶지 않다.