AI 기본법 시행 전 짚고 넘어가야 할 ‘에이전틱 AI’

내년 시행을 앞둔 ‘인공지능(AI) 발전과 신뢰기반 조성 등에 관한 기본법(이하 AI 기본법)’은 유럽에 이어 세계에서 두 번째로 제정된 AI 법안이다. 최근 자율적인 의사 결정 능력을 갖춘 에이전틱 AI 등 개념이 등장하면서 기술 발전이 빠르게 이뤄지고 있다. 이러한 상황에서 AI 시대에 어떤 고민을 해야 할 지 논의가 이뤄졌다.

1일 국회의원회관 제2소회의실에서 ‘고영향 AI 및 에이전틱 AI 시대의 신뢰 확보를 위한 정책적 논의’를 주제로 세미나가 열렸다.

발제는 김형훈 포스텍 컴퓨터공학과 교수와 새순 그리고리언 세일즈포스 아시아 태평양 지역 대외협력 부문 부사장이 맡았고, 토론자로 정만기 한국산업엽한포럼 회장, 최민석 AI안전연구소 AI안전정책 대외협력실 실장, 이형섭 삼성SDS 커뮤니케이션팀 상무, 노원명 매일경제신문 논설위원, 공진호 과학기술정보통신부 인공지능긴반정책과 과장 등이 참석했다.

“자율성 높은 에이전틱 AI, 제품처럼 검증 과정 필요”

김형훈 교수는 “AI 에이전트에서 한 단계 더 발전한 것이 에이전틱 AI”라며 ‘에이전틱 AI’ 개념을 설명했다.

김 교수가 말하는 AI 에이전트는 기존 대규모언어모델(LLM) 등에서 API로 기능을 확장해 복잡한 문제 해결과 추론 능력을 갖췄다. 여기서 스스로 판단해 업무를 수행하고 다른 에이전트와 협업할 수 있다면 ‘에이전틱 AI’다. 시스템이 목표 달성을 위한 구체적인 내역 없이도 제공한 목표를 달성할 수 있어야 한다. 즉, 인간의 개입성이 더 적다.

김 교수는 이 과정에서 “점차 인간에서 AI로 ‘권한’이 넘어가는데, 좋을 것 같지만 사실 문제가 있다”며 “LLM은 완전하지 않다”고 지적했다. 잘못된 정보를 제공하는 환각 현상이나 폭탄 제조법 등 위험한 정보를 제공하는 것이 그 예시다. 특히 에이전틱 AI는 자율성이 높기 때문에 에이전트들이 업무를 수행하는 과정에서 사용자 모르게 민감한 정보들이 유출될 가능성도 있다.

김 교수는 “자동차를 만들면 이런저런 테스트를 많이 하지 않나? 어떤 제품을 만들기 위해서는 굉장히 많은 검증을 한다”며 “AI 제품이 나왔을 때 앞으로 이런 검증 과정 같은 게 필요하지 않는지 생각해 볼 때가 된 것 같다”고 발표를 마쳤다.

“에이전틱 AI 도입은 필수적, 정부는 역할을 명확하게 정의해야”

다음 발제에 나선 새순 그리고리언 부사장은 “앞으로 인간과 에이전틱 AI를 함께 관리해야 하는 시대가 올 것”이라며 변화는 필수적이라고 이야기했다. 따라서 기업과 조직 등에게 새로운 기회이면서도 해결할 과제가 많기도 하다.

세일즈포스에 따르면 향후 2년 내 AI 에이전트 활용이 327% 증가하고, 생산성은 30% 향상된다고 전망했다. 생성형 AI에 이어 AI 에이전트 시대에 대비해야 하는 시점이다. 그리고리언 부사장은 “AI는 이제 헬스케어, 금융, 정부, 제조업 등 다양한 산업군에서 활용될 것으로 기대하고 있다”고 예측했다.

다양한 산업군에서 AI가 활용되는 만큼, 일하는 방식이나 AI가 일자리를 대체할 수 있다는 우려도 있다. 그리고리언 부사장은 이에 “역사적으로 봤을 때 기술의 혁신은 사람이 업무하는 방식을 항상 변화시켜 왔고, 분명 일부 일자리는 사라질 수 있지만, 새로운 일자리가 생겨날 것”이라는 의견을 밝혔다.

그리고리언 부사장은 중소기업의 AI 활용도 중요하게 생각했다. 세일즈포스 자체 조사에 따르면 중소기업 90%가 AI 활용이 도움이 된다고 응답했다. 경제 발전 등 앞으로 AI 도입은 필수적이라는 의견이다.

그는 정부가 해야 할 역할로 ▲고영향 AI 범위 명확화 ▲개발자, 배포자, 유통자 간 역할 재정의 ▲사실 조사 등 사업자에 대한 의무 부과를 위한 관련 규제 명확화 등을 꼽았다.

“무인 가게는 CCTV 같은 최소한의 감시 필요, 에이전트도 마찬가지”

이날 토론에서 김형훈 교수는 “무인 아이스크림 가게는 인간의 개입 없이 돌아가는 건데, 그게 잘 돌아가는 이유는 CCTV 같은 최소한의 감시와 주인이 이야기하는 등 피드백이 있어서 그렇다”며 인간의 개입을 최소화하는 AI와 상황이 비슷하다는 예시를 들었다.

김 교수는 “다만 규제를 반드시 강하게 해야 한다는 입장은 아니지만, ‘물건을 훔치면 안된다’ 같은 규범이 있는데, 아이스크림 가게는 피해가 크지 않고 예상도 가능하지만, 에이전틱 AI는 ‘자율성’으로 권한이 넘어가서 어떻게 될지 모른다”고 우려했다.

그는 “사건이 일어난 뒤에 수습하는 건 늦을 수 있다”며 “선제적으로 안전장치를 마련해야 한다”고 설명했다. 또, “규제를 꼼꼼하게 해야 한다기보다는 전에 없던 상황이고 피해 규모도 예측이 안 되니까 미리 점검해 보는 시간이 있으면 좋겠다”고 덧붙였다.

산업계는 규제보다는 비즈니스와 경쟁력 관점에서 바라볼 것을 요청했다. 토론자로 나선 이형섭 삼성SDS 상무는 “최근 생성형 AI 미디어데이를 통해 에이전틱 AI으로 진화한 패브릭스, 브리티웍스 등을 소개했다”며 “에이전틱 AI는 이제 시작하는 단계며, 아직 오지 않았다고 생각한다”고 의견을 밝혔다.

이형섭 상무는 “에이전틱 AI는 무엇인지 국가나, 기업, 사업마다 정의하는 게 다르다”며 “규제와 점검도 필요하지만, 좀 더 생태계를 강화하고 기업이 다양하고 새로운 도전을 할 수 있도록 현명한 논의가 진행됐으면 한다”며 보안 이슈 등 문제도 중요하지만, 에이전틱 AI는 기업에게 새로운 비지니스 시장이라는 점을 짚었다.

산업계가 갖고 있는 규제에 대한 우려를 잘 알고 있다는 공진호 과기부 과장은 “AI 기본법의 입법 취지는 지속 가능한 발전을 위해 필요 최소한의 규제를 하자”라며 “하위법령 정비를 진행하고 있고, 법에는 에이전트 AI에 대한 정의나 규율 대상 등 이런 부분은 명확하게 들어있지 않다”고 설명했다.

공진호 과장은 “AI 기본법 관련 하위법령은 조만간 초안을 공개해 내년도 법 시행 전까지 업계, 시민단체 등 최대한 많은 의견을 수렴할 것”이라고 밝혔다.

글. 바이라인네트워크

<최가람 기자> ggchoi@byline.network