[디지털문서 인사이트] 문서기반 데이터는 인공지능 시대의 마중물

최근 빅데이터, 인공지능(AI), 거대언어모델(LLM) 등과 같은 기술이 등장하면서 이와 관련된 연관 기술 키워드의 생성 주기가 짧아지고 있다. '10년이면 강산도 변한다'는 말이 이제는 '1개월이면 강산도 변한다'는 말로 변한 것처럼 정보기술(IT) 분야에서 기술발전의 속도가 날로 빠르게 변하고 있다.

정보통신기술(ICT)의 급속한 발전으로 방대한 빅데이터 처리와 AI 컴퓨팅 기술은 계산의 영역을 넘어 추론을 중심으로 한 사고(思考)의 영역으로 활용의 축이 급격히 변화하고 있다. 기존의 AI 기술은 규칙(Rule)이나 통계(Statistics) 모델 기반이 주류를 이루었다면 최근에는 GPU, HBM등과 같은 반도체 및 소프트웨어(SW)적인 데이터 처리 기술과 거대언어모델을 통해서 생성형AI 등 AI 관련 기술이 비약적으로 발전함에 따라 각종 산업과의 융합을 통해 더욱 고도화되고 있다.

특히, 생성형 AI(Generative AI)와 멀티모달(Multimodal) 기술의 발전은 문서 기반 데이터의 단순 활용 단계를 넘어 새로운 콘텐츠를 생성하는 추론 중심의 데이터 지혜 단계로 진화시키고 있다. 지금의 기술적 변화는 물이 100도를 넘어서 기체 상태인 수증기로 변하는 임계점(Critical Point)처럼, 빅데이터와 AI 기술은 활용 단계를 넘어 속성이 바뀌는 지혜를 생성하는 데이터의 임계점 단계로 이동하고 있는 듯하다.

이러한 기술적 변혁의 중심에는 우리가 활용하는 데이터 중에서 PDF, HWP와 같은 다양한 형태로 만들어진 문서기반의 원천 데이터가 데이터의 활용 초기 단계를 넘어 지식과 지혜의 단계로 진보하고 있는 것을 의미한다.

생성형 AI 기반의 거대언어모델을 통한 검색, 증강, 생성 즉, RAG(Retrieval-Augmented Generation) 등과 같은 기능이 바로 그 예라고 할 수 있다. 또 LLM에서 활용되는 트랜스포머 모델은 단순 텍스트 기반의 확률형 모델을 넘어 멀티 모달 기술과 결합해 Masked Attention Transformer 등과 같은 이미지 데이터의 객체 탐지 및 증강 영역으로 활용 영역을 넓히고 있다. 문서 데이터 속에는 텍스트를 넘어 다양한 객체(사진, 동영상, 소리, 음성 등)와 융합된 고품질의 데이터적 속성도 가지고 있다.

예를 들어 고대 비석 또는 바위에 새겨진 문자를 카메라로 촬영해 디지털화 작업을 거친 후 이를 PDF와 같은 특정 문서 포맷에 저장했을 때, 과거에는 이러한 문서를 해석하고 의미등을 이해하고 파악하려면 관련 학자나 전문가들이 오랜 시간을 연구해야 했다.

그러나 이제는 생성형 AI 기술을 활용하면 초보자도 몇 분 만에 의미를 파악하고 새로운 지식으로 생성해 활용할 수 있게됐다.

데이터를 커피 원두에 비유하면 온도와 시간의 조건에 따라 로스팅 과정을 거치면 에스프레소, 아메리카노 등과 같은 다양한 커피를 만들 수 있는 것처럼, 데이터 전처리 과정을 거쳐 정제된 문서 기반의 데이터는 AI 학습에 최적화되어 활용할 수 있을 것이다.

이러한 문서기반의 고품질 데이터를 다양한 AI 구현의 마중물로 활용한다면 우리의 기술 수준을 더욱 높일 수 있을 것이다.

문영상 숭실대 정보과학대학원 소프트웨어공학과 겸임교수 ysmoon@ssu.ac.kr