UNIST 윤성환 교수팀, 환경변화에도 안정적인 성능 유지 강화학습 기법 개발

UNIST 인공지능대학원 윤성환 교수팀은 환경 변화에도 성능 저하 없이 안정적으로 작동하는 강화학습 기법을 개발해 세계 3대 인공지능 학회인 ICLR의 구두 발표 논문으로 채택됐다. 전체 11,672편의 제출 논문 중 2% 이내인 단 207편 만이 구두 발표 기회를 얻었다.

강화학습은 정답을 미리 알려주는 지도학습과 달리, AI가 시행착오를 통해 얻는 보상을 최대화함으로써 문제해결 전략인 ‘정책’을 찾아간다는 점에서 더 인간에 가까운 학습방식이다. 하지만 기존 강화학습은 학습하지 않은 낯선 환경에서는 성능이 급격히 떨어지는 한계가 있다.

연구팀은 누적 보상의 민감도를 낮추는 학습법을 제안했다. 행동 변화에 따른 누적 보상 값의 변화가 지나치게 커지지 않도록 정책 파라미터 공간에서 누적보상의 곡면을 평탄하게 만드는 학습 전략이다. 기존 방식은 자율주행차가 눈길에서 감속 타이밍을 살짝 놓치면 큰 보상 손실로 이어져 전체 성능이 무너졌지만, 제안된 방식은 정책이 조금 바뀌어도 성능이 일정하게 유지된다.

실제 로봇의 마찰 조건이나 무게 등 물리적 요소를 변화시킨 상황에서, 새롭게 제안된 학습 기법은 평균 보상 유지율이 80~90%에 달하며 높은 수준의 안정성과 강인함을 입증했다. 반면, 기존의 학습법은 동일한 조건에서 평균 보상이 절반 이하로 감소하는 등 성능 유지에 한계를 드러냈다.

제1저자인 이현규 연구원은 “강화학습 파라미터 공간에서 누적보상의 민감도를 낮추기 위해 지도학습 분야에서 사용되던 SAM(Sharpness-Aware Minimization) 기법을 차용해 이 같은 학습법을 개발했다”며 “효과적이면서도 적용이 쉬운 방식”이라고 설명했다.

지도학습에서는 AI모델이 정답에서 벗어난 정도를 계산하는 ‘손실함수’를 기준으로 학습이 이뤄지는데, SAM은 이 손실이 갑자기 크게 튀지 않도록 완만하고 평평한 구간(flat minima)을 찾는 방식이다. 연구팀은 이 개념을 강화학습에 맞게 확장해 손실 대신 누적 보상이 급격히 변하지 않도록 학습 경로를 조정했다.

윤성환 교수는 “높은 수준의 일반화 성능을 갖는 강화학습 모델이 필요한 로보틱스, 자율주행 등에 활용될 것”이라고 기대했다.

한편, ICLR(International Conference on Learning Representations)은 ICML, Neurips와 더불어 세계 3대 AI 학회로 꼽힌다. ICLR 2025는 4월 24일부터 28일까지 싱가포르에서 개최되며, 전 세계에서 제출된 11,672편의 논문 중에서 3,646편이 채택됐다. 연구 수행은 정보통신기획평가원, 한국연구재단, UNIST의 지원을 받아 이뤄졌다.

이남주 기자