LLM 신뢰성 평가 실증 및 교육자료 개발 맡아 국내 LLM 모델 평가 진행
크라우드웍스는 한국정보통신기술협회(TTA)가 주관하는 ‘생성형 AI 신뢰성 평가의 실용적 접근 방안 연구사업’을 성공적으로 완료했다고 4일 밝혔다. 크라우드웍스는 이번 사업을 통해 AI 신뢰성 평가에 대한 전문성과 경쟁력을 확보하게 됐다.
이번 연구사업의 핵심은 생성형 AI의 신뢰성 및 안전성을 체계적으로 평가하기 위한 프레임워크 표준 개발 및 실증이었다. 크라우드웍스는 LLM 신뢰성 평가 실증 및 교육자료 개발을 맡았으며, 국내 기업이 개발한 3개의 LLM 모델을 대상으로 평가를 진행했다.
크라우드웍스는 먼저 데이터셋을 활용한 평가 결과를 바탕으로 3개 LLM 모델의 응답 패턴을 분석했다. 이를 통해 각 모델별로 두드러지는 잠재적 위험 요소를 파악하고 공격 시나리오를 설계했다. 다양한 프롬프트를 활용해 모델을 다각적으로 테스트하며 시나리오를 보완했고, 각 모델의 취약점을 집중적으로 탐색했다.
이어 AI 모델을 활용한 자동 평가와 전문 인력을 활용한 레드팀 심화 평가를 동시에 진행했다. 전문 레드팀은 크라우드웍스가 보유한 60만 명의 데이터 전문가 풀에서 적대적 프롬프트 생성 및 응답 평가 경험이 있는 LLM 전문가를 선발해 구성했다. 이들은 모델에 대한 세부적인 이해를 바탕으로 심화 평가를 수행했다.
평가 과정에서는 과제를 통해 수립한 폭력, 불법, 불합리, 비사실, 오도, 비윤리 등의 AI 위험도 평가 기준을 적용했다. 이를 통해 각 모델별 응답의 위험성을 정량적, 정성적으로 분석했으며, 모델의 신뢰성과 안전성을 다각도로 검증해 개선사항을 도출했다.
크라우드웍스는 이번 사업을 통해 확보한 AI 신뢰성 평가 전문성을 바탕으로, 기업용 AI 리스크를 줄이기 위한 AI 신뢰성 평가 서비스를 고도화했다. 또한, 올해 다양한 산업군으로 AI 서비스 신뢰성 평가 사업을 확대하고, AI 신뢰성 및 안전성 분야에서 리더십을 강화해나갈 계획이다.
김우승 크라우드웍스 대표는 “이번 TTA 연구사업을 통해 개발한 AI 신뢰성 평가 프레임워크는 국내 생성형 AI 신뢰성 평가의 기준이 됐다는 점에서 의미가 크다”며 “60만 명의 데이터 전문가 네트워크와 검증된 평가 체계를 기반으로, 많은 기업이 신뢰할 수 있는 AI 서비스를 개발하도록 지원하겠다”고 강조했다.
헬로티 서재창 기자 |
