직원이 영업비밀을 챗GPT에 올렸다?… AI 보안주의보

소비재를 제조·판매하는 A기업에서 최근 벌어진 일입니다. 인공지능(AI)을 이용해 업무 전반을 혁신하는 AX(AI 전환) 차원에서 사내 ‘생성형 AI 활용 공모전’을 열었다고 합니다. 업무에 AI를 활용하는 다양한 아이디어를 모으기로 한 겁니다. 그런데 의욕 충만한 한 직원이 중대 실수를 저지르고 맙니다.

AI 응용 방안을 고민하다 영업비밀 일부를 챗GPT에 입력해 본 겁니다. AI 계정을 관리하는 사측에서 이 사실을 뒤늦게 인지했지만, 이미 입력한 정보는 지울 길이 없었습니다. 챗GPT를 비롯한 대다수 생성형AI에 입력된 정보는 대체로 AI기업 측 서버에 저장되고, 해당 AI 모델의 학습에 쓰입니다.

A기업엔 ‘보안유지가 필요한 정보를 AI에 입력해선 안 된다’는 지침이 있었습니다. 그러나 해당 직원은 이를 인지하지 못했던 것으로 보입니다. 사측은 해당 직원을 징계하고 지침 안내를 강화했습니다.

■직장인 30% “민감 정보를 AI에 입력해 본 적 있다”

생성형 AI가 직장인들의 주요 업무 도구로 자리잡아 가는 과정에서 보안 우려도 커지고 있습니다. 글로벌 데이터 보호 전문기업인 ‘베리타스 테크놀로지’의 지난해 설문에 따르면 한국 직장인의 약 32%가 고객·직원 정보와 재무 정보 등 민감한 정보를 AI에 입력해 본 적이 있다고 답했습니다. 국내 직장인 500명을 대상으로 한 설문 결과인데요, 표본의 크기가 작지요. 해외의 대규모 설문 결과를 볼까요.

글로벌 디지털 기업 ‘탤러스 디지털’이 올해 미국 직장인 1000명을 대상으로 설문한 결과입니다. 챗GPT(오픈AI), 제미나이(구글), 코파일럿(마이크로소프트) 등에 고객·직원 개인정보, 출시 전 제품정보, 회사 재무정보를 입력해 본 적이 있느냐는 질문에 57%가 “그렇다”고 답했습니다.

삼성전자도 A기업과 유사한 사고를 겪은 적이 있습니다. 2023년 반도체 부문 직원들이 소프트웨어 소스코드(컴퓨터 프로그래밍 언어로 작성한 설계도) 오류를 확인하고 회의 내용을 요약하기 위해 챗GPT에 소스코드와 회의록을 입력한 겁니다. 이후 삼성전자는 반도체 부문의 챗GPT사용을 금지했고, 사외에서 개인적으로 사용하더라도 “사내 정보를 입력하지 않도록 유의하라”고 공지했습니다.

AI를 통한 정보유출은 사실 기업만의 문제도 아닙니다. 울프 크리스테르손 스웨덴 총리는 지난 3일 현지 매체와의 인터뷰 중 이렇게 말했다가 곤욕을 치렀습니다. “나는 AI를 꽤 자주 사용한다. 같은 사안을 두고 다른 사람들은 어떻게 생각할지 AI에 묻곤 한다. 챗GPT와 르챗(프랑스의 생성형 AI)을 주로 사용한다” 스웨덴 정부의 주요정보가 AI 기업에 흘러들어갔을 것이란 비판이 즉각 터져나왔습니다. 이후 스웨덴 총리실은 “민감 정보는 올리지 않는다”고 해명하며 수습에 나섰습니다.

물론 AI기업들은 개인정보 유출 방지를 위해 노력하고 있다고 말합니다. 오픈AI 측은 “우리는 AI 모델이 개인이 아닌 세상에 대해 학습하기를 바란다”면서 “개인정보나 민감정보 응답 생성 가능성을 최소화하고 있다”고 밝혔습니다. 가령 제가 챗GPT에 개인정보를 입력해 이 정보가 GPT모델 학습에 사용되더라도, 다른 이용자와의 대화에서 해당 정보가 노출되지 않도록 노력하고 있다는 겁니다.

하지만 정보가 외부 서버에 흘러 들어가는 한 ‘유출 사고’ 가능성은 늘 존재합니다. 2023년 구글 딥마인드 등 연구진은 챗GPT에 ‘poem’이라는 단어를 무한 반복하라는 지시를 입력하는 방법(일종의 인젝션 공격)으로 GPT 학습 데이터를 대량 불러온 적이 있습니다. 이 데이터엔 누군가의 이름, 전화번호, 이메일 주소 등 개인정보가 담겨 있었고 저작권이 있는 문학 작품도 포함돼 있었습니다.

■당신도 ‘섀도우 AI’를?

정보유출 우려가 커지면서 국내외 대기업들은 보안이 강화된 AI를 사용하는 추세입니다. 입력 데이터를 암호화하는 모델(챗GPT 엔터프라이즈·팀 버전 등)이나 자체 서버만을 활용하는 온프레미스 AI, 외부 전용 클라우드를 사용하는 프라이빗 AI 등이 대표적이죠.

현대자동차는 지난 7월부터 현대오토에버를 통해 개발한 AI모델 ‘H-챗’을 사용 중인데요. 챗GPT4를 기반으로 현대차 그룹 자체 서버만을 이용하는 버전인 것으로 알려져 있습니다. 네이버는 자사의 하이퍼클로바X와 외부의 프라이빗 AI 모델들을 함께 사용 중이라고 합니다. 삼성전자는 2023년부터 사내용으로 개발한 AI ‘가우스’를 주로 사용해 왔는데요. 업무 특성에 따라 외부 모델 사용이 필요할 경우 유관부서의 승인을 받아야 합니다.

그런데 이처럼 보안을 강화한 AI를 쓰더라도 우려가 말끔히 해소되는 것은 아닙니다. ‘섀도우(은밀한) AI’ 때문입니다. 섀도우 AI란 기업 내에서 공식 승인을 받지 않은 AI를 임직원이 임의로 업무에 사용하는 현상을 가리킵니다.

전문가들은 기업이 일단 AI 보안 정책부터 제대로 수립하는 것이 급선무라고 말합니다. 최대선 숭실대 소프트웨어학과 교수는 “AI에 노출해선 안 되는 정보와 그렇지 않은 정보에 관한 분류 체계를 만들고 이를 직원들에게 명확히 전달해야 한다”고 지적합니다. 그러나 일부 대기업을 제외하면 다수 기업·기관엔 이러한 AI 보안 체계가 없거나 있더라도 허술한 것이 현실입니다. 글로벌 컨설팅 기업 딜로이트가 지난해 11개국 3만명의 소비자와 직원을 대상으로 벌인 설문에 따르면 응답자의 4분의 1은 자신이 속한 조직에 “AI 정책이 없다”고 답했다고 합니다.

최 교수는 즉시 실천할 수 있는 보안 강화 ‘팁’도 소개했는데요, 첫 번째는 AI ‘데이터 학습’ 옵션을 찾아 끄는 것입니다. 각자 입력한 정보가 해당 AI 모델의 학습에 이용되지 않도록 하는 방법입니다.

두 번째는 웹사이트 텍스트 등을 복사해 AI 입력창에 붙여넣을 때, 무슨 내용인지 반드시 한번 읽어보라는 것입니다. 해커들이 몰래 숨겨놓은 ‘정보 유출 지시(프롬프트)’가 자신도 모르게 AI에 입력될 수 있기 때문입니다. 이러한 공격의 유형은 다양하지만 AI에 입력한 내용이 해커에게 모두 노출되는 상황도 생길 수 있습니다.

여러분이 다니는 기업에는 AI 보안 정책이 있나요? 여러분이 사용하는 AI ‘데이터 학습’ 옵션은 비활성화돼 있나요? AI가 일상에 파고든 만큼 보안도 각별히 유의해야 하는 시대입니다.