“AI로 실시간 수어 통역” 사인 스피크

이달 초, 미국 라스베이거스에서 열린 아마존웹서비스(AWS)의 연례 기술 컨퍼런스 ‘리인벤트 2024’에 취재를 가서, 나는 통역사의 도움을 많이 받았다. 좋은 이야기가 많이 오가더라도, 언어를 몰라 소통이 안 되면 그 모든 말이 다 부질 없을 뿐더러, 다른 사람과 함께 있는 그 시간 자체가 고통이다. 그런데, 나를 도와주던 그 통역 선생이 말했다.

“앞으로 5년, 통역을 직업으로 돈을 벌 수 있는 시간이라고 생각한다.”

독자님들은 눈치 채셨겠지만, 생성AI 기술이 올라오면서 통역과 번역의 품질도 빠르게 좋아지고 있다. 아직은 실시간성에서 사람을 따라오진 못하지만, 그럼에도 불구하고 생성AI가 언어의 장벽을 무너트리는 속도가 매우 빠르다는 것에는 대체로 공감하는 분위기다.

수어도 마찬가지다. 청각 장애인의 언어인 수어를, 비청각 장애인이 알고 있는 경우는 드물다. 늘 통역이 필요한 영역이다. 따라서, 이 부문에서도 당연히 생성AI로 소통 문제를 해결하려는 이가 생겨날 수밖에 없다. 바로 그 일을 하는 이들, ‘사인 스피크(Sign-Speak )’가 올해 AWS가 선정한 80개 기술 창업팀 안에 들었다.

어떤 기술은 백문이불여일견이다. 일단, 아래의 영상을 보고 난 후에 이야기를 더 진행하면 좋겠다.

수어를 알아듣고 실시간 통역을 제공하고, 아바타를 생성해 보다 청각장애인과 비청각장애인이 보다 부드러운 대화를 할 수 있도록 서비스한다. 사람과 사람의 대화에서는 물론, 사람과 기계의 대화에서도 수어 통역은 편리함을 가지고 온다. 물론, 아직은 중간에 상대편으로 대화의 턴을 넘기기 위한 ‘버튼 누르기’ 등의 동작이 필요하지만, 이런 불편 역시 기술의 발전으로 개선될 수 있는 부분으로 보인다.

아쉽게도 현장에서의 인터뷰가 불발되어, 한국에 돌아와 야미 파야노(Yami Payano), 사인 스피크 최고경영자(CEO) 와 서면으로 인터뷰를 나눴다. 그는 “장애인을 위한 개선이 모든 사람에게 혜택을 줄 수 있다”면서 “접근성을 높이는 솔루션은 결국 모두에게 필요한 것”이라고 강조했다.

창업 계기는 무엇인가?

사인 스피크의 시작은 청각장애인인 공동 창업자 니콜라스 켈리의 경험에서 비롯했다. 일상적인 상황에서 통역사 부족과 접근성 문제로 인한 소통의 어려움을 직접 겪었다.

그 경험과, 그로 인한 비전을 나와 또 다른 공동 창업자 니콜라스 윌킨스는 함께 공유받았고, 사인 스피크를 창업하게 됐다. 우리는 청각장애인 커뮤니티와 깊은 연관이 있기 때문에, 단순히 의사소통 문제를 해결하는 것을 넘어서 음성 인식 기술에서도 접근성을 높이는 것이 얼마나 중요한지 깨달았다. 우리의 목표는 “모든 사람이 기술을 평등하게 활용할 수 있는 환경을 만드는 것”이다.

사인 스피크의 핵심 기술이 무엇인지 설명해달라

독자적인 AI 기술을 기반으로 청각장애인과 난청인을 위한 네 가지 주요 기능을 제공한다. 첫째, 수어 인식이다. 컴퓨터 비전과 머신러닝으로 미국 수어(ASL)를 실시간 음성이나 텍스트로 변환한다. 둘째, 아바타 통역이다. 자연스러운 모습의 아바타가 음성이나 텍스트를 수어로 변환한다. 세번째, 실제 통역사와의 연결이다. 개인화된 소통이 필요한 상황에서 실제 사람 통역사와 연결해준다. 마지막으로 실시간 자막이다. 후천적 청각 장애인을 위한 영역이다.

이런 기술이 실생활에서는 어떻게 활용되고 있나?

현재 사인 스피크의 서비스는 금융 기관들과 협력해 미국 내 약 4800만명의 청각장애인과 난청인의 접근성을 높이고 있다. 우리의 강점은 기업에 필요한 모든 접근성 도구를 통합 제공하면서도, 구체적인 용도에 맞는 맞춤형 옵션을 제공하는 유연성이다. 또한 API를 통해 기업들이 자사 제품에 우리 기술을 직접 통합할 수 있도록 지원한다. 청각 장애인 접근성 분야에서 선도적인 소프트웨어 솔루션이 되려 한다.

사회적인 서비스에 기술이 깊이 접목되어 있다. 창업 전에는 혹시 어떤 일을 했나?

창업 전에는 데이터 분석과 권익 옹호 분야에서 경력을 쌓았다. 게이츠 밀레니엄 장학생으로 아메리칸 대학교에서 경제학과 수학을 전공했고, 50만달러 규모의 예산을 관리하며 16명의 이사진을 이끄는 경험을 했다.

또한 이민 정책 개혁을 위한 비영리 단체 ‘크로스 캠퍼스 오거나이징 네트워크(Cross-Campus Organizing Network)’를 공동 설립하며 포용적인 사회를 만들기 위한 열정을 키웠다. 금융 분야에서는 패니메이의 공정대출팀에서 정량 분석가로 일하며, 저소득층과 소외계층이 겪는 대출 차별 문제 해결에 주력했다. 이런 경험들이 사인 스피크의 접근성과 포용성 중심 비전을 구체화하는 데 큰 도움이 됐다.

기존 수어 시스템의 문제점은 무엇이라고 보나

기존 수어 시스템은 대부분 인간 통역사에 의존하는데, 이는 비용이 많이 들고 즉시 이용하기 어렵다. 통역사를 예약하려면 몇 주 전에 요청해야 하고, 최소 두 시간 기준으로 분당 수 달러의 비용이 든다. 통역사가 없을 경우 필담으로 소통해야 하는데, 이는 시간이 많이 걸리고 오류가 발생하기 쉽다.

게다가 기존 기술 대부분은 영어 기반으로, 수어만의 독특한 문법 구조를 반영하지 못한다. 수어는 영어와 전혀 다른 문법 체계를 가지고 있어 영어 중심의 기술로는 커뮤니티의 요구를 충분히 충족시킬 수 없다.

음성 언어 번역도 아직 100% 정확하지 않다. 사인 스피크의 자동 수어 인식 기술은 어느 정도의 정확도를 달성했다고 판단하나?

우리는 100% 정확도를 목표로 계속해서 기술을 개선하고 있다. 현재 사인 스피크는 96%의 정확도를 달성했는데, 알고리즘 개선과 데이터 축적을 통해 꾸준히 발전하고 있다. 청각장애인을 위한 신뢰할 수 있는 소통 도구를 제공하기 위해 최선을 다하고 있다.

아바타를 활용한 수어 통역이 인상적이다. 실시간 수어 해석과 애니메이션 생성에는 어떤 기술이 사용되나? 개발 시 겪는 주요 어려움은?

사인 스피크는 딥러닝, 컴퓨터 비전, 자연어 처리, 클라우드 컴퓨팅 등 첨단 기술을 결합해 활용한다. AWS의 강력한 GPU와 특수 하드웨어를 활용해 알고리즘을 가속화하고 실시간 처리를 가능하게 하고 있다.

개발 과정에서 가장 큰 어려움은 수어의 복잡성이다. 손 동작뿐만 아니라 얼굴 표정, 몸짓, 문법 구조까지 모두 포함하며, 여기에 지역별 방언과 개인별 스타일의 차이까지 더해져 기술 구현의 난이도가 높아지기 때문이다.

사인 스피크의 서비스는 현재 얼마나 사용되고 있나

현재 사인 스피크는 알파 버전을 통해 1000명 이상의 사용자에게 제공되고 있다. 또, 여러 포춘 500대 기업들과 고객 시범 운영을 진행 중이다.

사용자들로부터 어떤 피드백을 받나?

매우 긍정적인 반응을 받는다. 많은 분들이 사인 스피크가 삶을 변화시켰다고 말씀해 주신다. 이러한 피드백을 바탕으로 기술을 지속적으로 개선하고, 커뮤니티의 요구를 더 잘 충족시키기 위해 노력하고 있다.

창업자로서 고민하는 것이나, 혹은 직면한 도전이 있다면?

모든 창업 여정이 그렇듯 여러 가지 어려움이 있다. 자금 조달(많은 투자자들이 접근성을 우선순위로 두지 않음), 우수 인재 확보, 규제 장벽 극복, 그리고 일과 삶의 균형 유지 등 다양한 도전을 마주한다. 하지만 청각장애인들의 삶에 의미 있는 변화를 주고 더 포용적인 세상을 만들 수 있다는 점에서, 이러한 도전은 충분히 가치 있다고 생각한다.

접근성 문제를 해결하는 것은 왜 중요한가?

접근성 문제 해결은 단순히 도덕적 의무를 넘어 경제적, 사회적으로도 필수적이다. 포용적인 세상을 만드는 것은 소외된 수백만명의 잠재력을 끌어내어 혁신, 생산성, 그리고 사회적 결속으로 이어질 수 있다.

또한, ‘커브 효과(Curb Effect)’처럼 장애인을 위한 개선이 모든 사람에게 혜택을 줄 수 있다. 예를 들어, 휠체어 사용자를 위해 설계된 경사로는 유모차를 밀고 다니는 부모나 여행 가방을 끄는 여행객에게도 도움이 된다. 더불어 인구 고령화로 인해 누구나 장애를 겪을 가능성이 커지고 있다. 접근성을 높이는 솔루션은 결국 모두에게 필요한 것이다.

앞으로의 계획은?

다양한 국가에 수어 지원을 확대하고 기술의 정확도와 속도를 개선하려 한다. 더 많은 플랫폼과 기기에 우리의 기술을 통합시켜 개인 사용자들이 더 쉽게 접근할 수 있도록 서비스를 만들어가겠다. 그래서, 세계적으로 더 많은 청각 장애인과 난청인들에게 도움을 줄 수 있길 희망한다.

글. 바이라인네트워크

<남혜현 기자> smilla@byline.network