한국과학기술원(KAIST)는 이상완 뇌인지과학과 교수 연구팀이 IBM 인공지능(AI) 연구소와 함께 인간의 뇌가 목표 변화와 불확실한 상황을 처리하는 방식을 규명했다고 14일 밝혔다. 차세대 AI 강화학습이 나아가야 할 방향을 제시한 것이다.
연구팀은 기존 강화학습 모델들이 목표가 바뀌는 상황에서는 안정성이 떨어지고 환경이 불확실하면 유연성이 부족해지는 한계가 있다는 데 주목했다. 반면 인간은 두 요소를 동시에 달성한다는 점에 집중했다. 연구팀은 이 차이가 전두엽이 정보를 표현하는 방식 자체에서 비롯된다고 봤다.
이에 뇌 기능 MRI(fMRI) 실험과 AI 분석 기법을 활용한 결과 인간 전두엽은 목표 정보와 불확실성 정보를 서로 간섭하지 않도록 분리해 저장하는 특별한 구조를 가지고 있음이 밝혀졌다. 이런 구조가 뚜렷할수록 사람은 목표가 바뀌면 빠르게 전략을 바꾸고 환경이 불확실해도 안정적인 판단을 유지했다.
연구팀은 전두엽이 단순히 학습을 실행하는 수준을 넘어 상황에 따라 어떤 학습 전략을 사용할지 스스로 선택하는 메타학습 능력을 갖고 있다는 점을 보여줬다. 즉 전두엽은 무엇을 배울지뿐 아니라 어떻게 배울지도 학습하는 구조를 가지고 있다는 얘기다.
이번 연구는 개인의 강화학습·메타학습 능력 분석, 맞춤형 교육 설계, 인지 능력 진단, 인간-컴퓨터 상호작용 등 다양한 분야에 활용될 수 있다. 뇌 기반 표현 구조를 활용하면 뇌처럼 생각하는 AI 기술로서 AI가 인간의 의도와 가치를 더 잘 이해해 위험한 판단을 줄이고 사람과 더 안전하게 협력하는 기술로 이어질 수 있다.
이상완 교수는 “이번 연구는 변화하는 목표를 유연하게 따라가면서도 안정적으로 계획을 세우는 뇌의 작동 원리를 AI 관점에서 규명한 성과”라며 “이러한 원리가 앞으로 AI가 사람처럼 변화에 적응하고 더 안전하고 똑똑하게 학습하는 차세대 AI의 핵심 기반이 될 것”이라고 말했다.
이 연구는 성윤도 박사과정 학생이 1 저자, IBM AI 연구소 마티아 리고티 박사가 2저자로 참여했다. 이상완 교수가 교신저자를 맡았다. 연구 결과는 국제 학술지 네이처 커뮤니케이션스 11월 26일자에 게재됐다.
