법원 인공지능연구회, '사법에서의 AI 활용 가이드라인' 발표

"소송당사자는 법관 요구 따라 AI 사용 여부 공개해야"

인공지능의 발달에 따라 소송당사자가 생성형 인공지능(Generative AI)을 사용하여 문서, 그림, 동영상 등을 만들어 주장서면이나 증거 등으로 제출하는 상황이 빈번할 것으로 예상된다. 심지어 딥페이크를 이용하여 작출한 증거가 재판에 제출될 가능성도 상당하다. 이처럼 소송당사자들이 재판 과정에서 인공지능을 사용할 경우 재판부는 어떻게 해야 할까?

법관들의 자체 연구모임인 '법원 인공지능연구회'(회장 기우종)가 최근 "사법에서의 인공지능 활용에 관한 가이드라인"을 완성해 공개했다. 인공지능연구회는 "사법부의 관점에서 인공지능에 대한 과제를 고민하던 중 2024. 5. 9. 연구회 창립 기념 세미나에서 인공지능 가이드라인 제정의 필요성에 대한 중론이 모아졌고, 이에 2024. 8.경부터 연구회 산하 AI 가이드라인 WP(Working Party)를 조직하여 수차례의 온 · 오프라인 회의를 거쳐 초안을 마련하고 2024. 12. 연구회 정기세미나에서 발표한 뒤 의견 수렴절차를 거쳐 2025. 2. 최종안을 내게 되었다"고 소개했다. 비록 구속력이 없는 권고안에 불과하지만, 사법 인공지능기술의 실제 수요자이자 재판 주재자인 법관들의 자체 연구모임인 법원 인공지능연구회에서 마련한 가이드 라인은 의미가 작지 않다. 법원 인공지능연구회 초대 회장을 역임한 이숙연 대법관도 "사법부와 재판에 있어 인공지능이 미치는 영향에 대한 근본적 철학과 실천적인 방향성을 제시하는 훌륭한 지침이 될 것"이라고 기대했다. 

법원 인공지능연구회는 이번 가이드라인을 마련하는 과정에서 EU AI act, 미국 연방사법센터의 권고안(An Introduction to Artificial Intelligence for Federal Judges)을 비롯하여 브라질, 캐나다, 호주, 뉴질랜드, 싱가포르 등의 관련 규정에서부터 2024. 11.경의 유네스코 초안(UNESCO Guidelines for the Use of AI Systems in Courts and Tribunals)에 이르기까지 세계 각국의 인공지능 관련 법규와 지침 등을 상세히 분석하였다고 밝혔다.

가이드라인 중 소송당사자의 인공지능 사용에 대한 법원의 대응 부분을 요약해 소개한다. 법원 인공지능연구회는 2023. 10. 24. 창립되었다.

1. 소송당사자의 인공지능 사용 여부 공개 의무

가. 기존에 문서, 동영상, 그림, 음성은 기술적으로 위조·변조하기 어려웠으나, 지금은 인공지능을 사용하면 누구나 쉽게 이를 위조 · 변조할 수 있다. 또한 인공지능을 사용하여 작성된 문서의 경우 그 내용이 정확하지 않거나 편향될 가능성이 있다. 따라서 법원은 재판 과정에서 소송당사자가 제출한 서면뿐만 아니라 동영상, 그림, 음성 등의 증거가 인공지능을 사용하여 작성 또는 제작되었다고 의심되거나 상대방이 이를 지적하는 경우, 제출 당사자에게 해당 자료가

인공지능을 사용하여 작성 · 제작된 것인지 여부를 밝힐 것을 명할 수 있다. 특히 형사재판의 경우에는 증거능력이 엄격하게 요구되므로, 법관은 인공지능으로 생성된 자료가 증거로 제출된 경우 상대방에게 제출된 자료의 증거능력 유무에 관한 의견을 진술하게 한 후 증거결정을 하는 등 형사소송법과 형사소송규칙 등에 따라 증거능력 여부를 검토할 필요가 있다.

나. 생성형 인공지능을 사용하여 생성된 문서의 경우, 그 내용이 부정확하거나 편향성이 있을 가능성이 있다. 가령 대형 언어모델의 경우 프롬프트의 입력 값에 따라 결과물이 다르게 나타나고, 프롬프트를 조절하여 다른 결과를 발생시킬 수 있는 경우도 있다. 이에 따라 법원은 소송당사자가 인공지능을 사용하여 소송자료를 제출한 경우 사용된 인공지능 도구, 입력된 프롬프트, 소송당사자가 인공지능 결과물 검증을 위하여 취한 조치 등을 구체적으로 밝히도록 소송

지휘할 수 있다.

2. 딥페이크 사용으로 인한 문제

재판 과정에서 딥페이크가 문제되는 상황은, ①소송당사자가 (고의 또는 과실로) 딥페이크 기술로 위 · 변조된 이미지, 동영상을 제출하는 경우와 ②딥페이크 기술을 사용하지 않은 이미지, 동영상에 대하여 소송당사자가 위조를 주장하는 경우로 나누어 볼 수 있는데, 두 가지 경우 모두 영상 등의 진위를 판단해야 한다는 문제를 야기한다. 즉, 딥페이크 기술을 이용하면 이미지, 동영상을 매우 사실적으로 만들 수 있어서 (진본의 경우에도) 진본과 위작의 구별이 어려워질 가능성이 높다.

현재 딥페이크 여부를 사후 추적하거나 이에 대응하는 기술 및 프로그램으로는 Microsoft Video Authenticator, Amber 인증, Sensity AI, Truepic 등이 있습니다. 또한 딥페이크 기술로 제작된 이미지 또는 동영상은 얼굴 특징 주변의 흐릿함, 부자연스러운 피부 질감, (동영상의 경우) 눈의 깜빡임의 부자연스러움 등과 같은 특징이 있다고 한다. 그러나 딥페이크를 감지하는 기술이 불완전한 데 반해 딥페이크 기술은 고도로 발전하고 있으므로, 현시점에서 딥페이크 기술이 사용되었는지를 사후적으로 완전히 밝혀내는 것은 어렵다.

이에 따라 형사사건뿐만 아니라 민사 등 다른 유형의 재판에서도 증거로 제출된 이미지, 동영상의 진위를 밝히기 위한 감정비용의 지출이 늘어나거나 재판이 지연될 가능성이 커지리라 예측된다. 나아가 딥페이크 기술에 관한 지식이나 대응 능력이 부족한 소송당사자의 경우에는 재판청구권을 실질적으로 보장받지 못하게 될 우려도 있다.

3. 인공지능으로 작성된 소장, 준비서면, 의견서 등 주장서면을 제출한 경우

(1) 인공지능으로 작성한 것이 의심되는 소장, 준비서면, 의견서 등 주장서면이 제출된 경우, 법원은 이를 제출한 측에 인공지능을 사용한 것인지 밝히도록 요구할 수 있다.

(2) 법원은 당사자가 주장서면 작성에 인공지능을 활용하였음이 밝혀졌거나 의심되는 경우 그 서면에 제출한 당사자가 의도하지 않은 부분이 포함되어 있다고 하더라도 주장에 관한 법률적 효과는 모두 그 당사자에게 귀속되고, 이로 인하여 불이익한 판단을 받을 수도 있음을 당사자에게 경고할 수 있다.

(3) 당사자가 인공지능을 사용하여 주장서면을 제출한 것이 확인되었다면, 그 신빙성의 검증을 위하여 필요한 경우 어떤 인공지능을 사용하였는지, 입력한 프롬프트는 무엇인지, 어떻게 정보의 정확성을 검증하였는지 등을 확인할 수도 있다.

(4) 인공지능으로 작성된 문서의 경우 존재하지 않는 내용을 그럴듯하게 인용하거나 당사자가 의도하지 않은 정보를 포함하고 있는 경우가 많으므로, 법관은 이러한 오류 가능성에 유의하여 주장서면을 검토하고, 상대방에게도 이러한 점을 고지하고 주장서면 내용을 반박할 기회를 부여하는 것이 바람직하다.

(5) 대형 언어모델의 경우 영미권 데이터를 주로 학습하고, 과거의 데이터를 학습했다는 측면에서 제출된 서면의 내용이 설득력이 있어 보인다고 하더라도 당해 사건에 적용되는 우리의 법령 및 법리에 부합하는지에 관한 검토가 필요할 수 있다.

4. 인공지능으로 작성된 문서, 동영상, 그림, 음성 등이 증거로 제출된 경우(딥페이크로 의심되는 경우 포함)

(1) 인공지능으로 작성한 것이 의심되는 문서, 사진, 음성, 영상 등이 증거로 제출된 경우, 이를 제출한 측에 인공지능을 사용한 것인지 밝히도록 요구하여야 한다.

(2) 인공지능을 사용하여 제출된 것이 확인되었다면, 어떤 인공지능을 사용하였는지, 구체적인 제작 방법(가령 입력한 프롬프트) 등을 추가로 확인하는 것이 필요하다.

(3) 자료를 제출한 측에서 인공지능 도구를 사용한 것이 아니라고 진술하는 경우에도 상대방에게 이를 검증할 것인지 의사를 물어볼 필요가 있다.

(4) 인공지능 기술 발달로 이를 활용한 위조 증거가 손쉽게 생성될 수 있으므로 상대방이 그 증거에 관하여 부인 또는 부지의 의견을 밝힌 경우 위조를 주장하는 것인지 여부에 관한 의견을 밝히도록 하는 것이 바람직할 수도 있다.

(5) 제출된 증거의 증거능력이 문제되는 경우에는 기존의 증거능력 판단 법령 및 판례에 따라 판단하여야 한다. 현행 민사소송법과 동 규칙, 형사소송법과 동 규칙 등에 의하면 재판에 제출된 증거의 증거능력, 증명력 등은 대부분 법관의 판단에 달려있다(형사소송법상 일부 진술증거는 예외). 가급적 준비절차나 준비기일 등을 통하여 딥페이크 쟁점에 관하여 먼저 정리하는 것이 바람직할 것이다.

5. 소송당사자가 인공지능을 사용하여 양형, 재범률, 구체적 쟁점에 관한 전문적 의견 등을 제시한 경우

(1) 소송당사자가 제출한 자료가 양형, 재범률, 구체적 쟁점에 관한 전문적 의견 등을 제시한 것으로서 인공지능을 사용하여 수집 · 분석된 것으로 의심되는 경우, 그 소송당사자에게 인공지능을 사용한 것인지 밝히도록 요구하여야 한다.

(2) 인공지능을 사용하여 제출된 것이 확인되었다면, 어떤 인공지능을 사용하였는지 등을 추가로 확인하는 것이 필요하다.

(3) 사용된 인공지능이 신뢰성 있는 도구인지 확인하여야 한다. 경우에 따라 해당 인공지능의 정확성과 공정성에 대한 검증이 필요할 수 있고, 그 경우 인공지능에 사용된 알고리즘이나 훈련 데이터에 접근할 수 있는지 확인하여야 한다.

6. 소송당사자가 증거 수집·분석 과정에서 인공지능을 사용한 경우

5항의 유의점과 함께,

(4) 인공지능이 증거를 수집 · 분석한 과정과 그 결과를 추적할 수 있도록 모든 절차가 기록되어 있는지 확인하여야 한다. 경우에 따라 해당 기록에 대한 검증이 필요할 수 있다.

(5) 인공지능 도구의 증거 분석 과정에서 원본 데이터가 변경 · 조작되지 않았는지 확인하여야 한다.

리걸타임즈 김덕성 기자(dsconf@legaltimes.co.kr)