‘결국 데이터’ 게임 성패 예측하는 법

게임 업계인들이 가장 알고 싶은 정보가 ‘게임 성패 예측’이다. 개인 또는 전문가 경험과 커뮤니티 반응, 문화적 흐름 등을 종합해서 점치지만 성패를 예측하기가 쉽지 않다. 성공을 예측해도 어느 정도로 잘 될지 예측하는 것은 더더욱 어렵다. 이를 데이터로 풀어낸 경험이 넥슨개발자콘퍼런스(NDC)에서 공유됐다.

편호장 넥슨코리아 네비게이터실 분석가<사진>는 26일 NDC 발표에서 “사람들이 게임을 접하고 팬이 되는 과정을 살펴보면 자연스럽게 데이터를 얻을 수 있다”고 예를 들었다.

“유저 퍼널에서 수집할 수 있는 데이터 예시를 들어보겠습니다. 이 단계들을 크게 최초 접점 반응, 플레이 여부 판단, 게임 플레이 경험 이렇게 세 가지로 나눠 봤습니다. 최초 접점 반응에서는 유튜브에 올라간 게임 트레일러(예고영상)에 대한 반응에 관한 데이터를 수집해 볼 수 있습니다 플레이 여부 판단 단계에서는 게임 소개나 영상을 포함해서 어떤 게임 스토어 페이지를 보고 어떤 반응을 보이는지 이런 데이터들을 수집해 볼 수도 있습니다. 게임 플레이 경험 관련해서는 실제 게임 플레이를 해보고 나서 세부 경험이나 몰입 수준에 대한 정상적인 데이터들을 수집해 볼 수 있습니다.”

“실제로 저희가 각 단계에서 이런 시도들을 좀 해보았습니다. 트레일러를 유튜브에 노출했을 때 발생하는 데이터들을 정량화해서 이것들이 실제 출시 후 게임 매출과 관계가 어떤지 예측 모델을 생성해 봤고요. 출시 전에 게임 소개를 보고 내부 전문가들이 첫 인상이나 플레이 여부나 시장성 평가들을 해보고 이 데이터로 게임의 성패 예측하는 것도 해보았습니다. 출시한 모바일 게임들의 리뷰 데이터들을 수집해서 실제 게임의 매출과 관계를 분석해 봤습니다.”

“세 가지 결과가 어땠을까요? 우선 최초 접점 반응에 대한 분석 사례로 유튜브에 노출된 게임 트레일러에 대한 반응을 예측 모델을 사용해 봤습니다. 유튜브에 관련 데이터들을 저희가 수집해서 봤을 때 실제 매출과 양의 상관관계가 있음을 확인했습니다. 이 데이터들이 예측 모델에 기여하는 수준도 높았고 이를 통해서 유튜브 데이터를 함께 활용하는 것이 예측 모델에 더 나은 성능을 보인다는 것을 확인했습니다. 플레이 여부를 판단하는 과정에서 전문가 평가 데이터도 활용했는데요. 출시 전 게임 소개나 영상을 기반으로 해서 내부 전문가들이 절대평가와 상대평가를 진행을 했습니다. 내부 전문가들의 순위 평가가 실제 매출과 상관관계가 있는 점을 확인할 수 있었고요. 절대 평가와 실제 매출 역시 양의 상관관계가 있는 것을 확인할 수 있었습니다. 그래서 이 결과를 토대로 저희는 전문가들이 평가한 데이터들을 실제 게임 매출이나 성과 예측에 활용했습니다.”

앱마켓 최고점수인 별점 5점이 많으면 매출에 도움이 될까. 편 분석가는 “매출과는 뚜렷한 관계가 없었다”고 밝혔다. 대신 리뷰에서 정성적인 경험을 추출해서 정량화한 뒤 매출 간 상관관계를 봤을 땐 유의미한 결과가 있었다는 설명이다.

“(게임을 통해서 발생하는) 인간적인 데이터를 같이 활용하는 것이 게임 매출 같은 수치적 예측에도 도움이 되었다라고 내부 결론이 있었습니다. 인간적인 데이터는 말초적인 반응을 그대로 설명합니다. 시청각적 반응, 콘텐츠 문화를 잘 설명하는 데이터로서 의미가 있습니다. 실제 유저가 의사 결정하는 과정을 잘 드러나는 데이터로서 의미가 있습니다. 수치나 정량 데이터에서 나타나지 않는 디테일한 경험과 가치를 놓치지 않고 데이터로 활용할 수 있습니다.”

그는 데이터를 수집하되 성과와 연결해 해석하는 여러 조언을 내놨다. 이는 개발자들이 자신의 경험에 매몰돼 게임을 주관적으로 보는 상황을 방지하기 위한 것이다.

“게임 요소를 분해해 레이블링을 해 보시면 자연스럽게 내 게임이 가지고 있는 객관적인 부분을 확인하실 수 있고요. 이런 요소들이 시장성과 어떤 관계가 있는가를 살펴보는 것이 이 시작점이 될 수 있습니다. AI나 머신러닝을 활용하는 것이 당연히 필요하고요.”

“일정 수준 이상의 잘 선정된 샘플의 의견은 상태 예측에 큰 도움이 됩니다. 다만 주의사항도 있습니다. 사람들은 개인의 경험을 바탕으로 의견을 내기 때문에 익숙하지 않은 새로운 것에 대한 의견 데이터를 활용하실 때는 좀 주의가 필요합니다. 사람은 개인이 아니라 어떤 커뮤니티의 일원으로서 문화적인 관점에서 의견을 제시하는 경우가 있기 때문에 소수의 의견을 사용하시는 것보다는 프로파일을 공유하는 그룹의 의견을 사용하시는 것이 더 좋습니다.”

“전문가 의견을 활용하실 때도 주의 사항이 있습니다. 전문가 의견이 이전에 실제로 얼마나 정확했느냐 검증하는 것이 당연히 필요하고요. 일반적으로 생각하는 게임 업계인이 다 전문가라고 보기는 어렵습니다. 해당 장르 유저와 커뮤니티를 얼마나 이해하고 있는가 게임 성패에 대해서 경험을 얼마나 가지고 있는가 정보 습득을 얼마나 하는가 이런 것들이 중요하고요.”

편 분석가는 ‘게임 성패 예측을 잘한다’를 “더 많은 편을 객관적으로 보는 것”이라고 정의했다. 더 다양한 인간적인 데이터를 정량화하고 예측에 활용할 예정이라고도 했다.

“사람으로부터 수집하는 데이터의 수집 방식의 한계도 있기 때문에 이것을 AI로 생산해서 예측에 활용하는 것도 예정에 있습니다. 게임은 수치 데이터뿐만 아니라 개인적인 경험이나 문화를 함께 봐야 제대로 볼 수 있는 콘텐츠입니다. 실마리가 사람에 있다고 생각합니다. 왜냐하면 게임은 사람이 만들고 사람이 경험하니까요. 사람으로부터 출발하는 데이터를 함께 다루고 객관적으로 들여다보는 것이 게임의 소중한 영혼을 놓치지 않는 방법이라고 생각합니다.”

글. 바이라인네트워크

<이대호 기자>ldhdd@byline.network