영상부터 음향까지, AI 영화제작의 새로운 패러다임을 제시한 스튜디오프리윌루젼

– 영상에 맞는 음향 자동 생성 시스템 ‘Video to Foley’ 개발

– AI영화제 수상, 상업 광고 시장 진출 등 성과 입증

– AI로 K-콘텐츠의 새 지평 개척

– AI 영상 제작에 이어 AI 플랫폼 전문 기업으로 성장 모색

‘영화를 만들 때 가장 중요한 창의적인 작업에 집중하고, 반복적이고 소모적인 작업은 줄일 수 없을까?’

영화 제작 일을 하던 권한슬 대표는 이러한 문제의식을 가지고 2023년 스튜디오프리윌루젼을 설립했다. 회사명의 ‘Free Will’은 창작자들의 자유로운 의지를, ‘Illusion’은 미디어 콘텐츠의 환상적인 요소를 의미한다.

“우리의 비전은 AI 기술로 창작자들을 단순 반복적인 작업으로부터 해방시키고, 창의성에 집중할 수 있게 하는 것입니다. 이를 통해 전 세계 미디어 산업의 새로운 패러다임을 열어가고자 합니다.”

서울AI허브에서 만난 권한슬 대표와 구도형 부대표는 한목소리로 이렇게 얘기했다. 권 대표와 구 부대표는 중앙대학교 영화학과 출신으로 대학 시절부터 단편영화를 함께 제작해왔다. 헐리우드가 이미 AI를 활용한 CG 작업을 도입하고 있고 최근에는 제임스 카메론 감독이 이미지 생성 AI 기업인 스테이빌리티AI의 이사회에 합류하며 화제가 되었다. 이러한 흐름 속에서 권 대표와 구 부대표는 한국 영화 산업이 글로벌 시장에서 뒤처질 수 있다는 위기의식을 느껴 창업을 결심했다.

영상뿐만 아니라 음향 생성도 자동으로

스튜디오프리윌루젼의 대표적인 기술은 ‘Video to Foley’ 시스템이다. 영상 제작에서 음향 작업은 필수다. ‘Video to Foley’는 영상 속 움직임을 AI가 자동으로 분석해 적절한 음향 효과를 생성하는 기술이다. 예를 들어, 생성형 AI로 걷는 장면을 만들었다면, 해당 장면에 맞게 신발, 바닥 재질에 맞는 음향을 걷는 타이밍에 맞춰 자동으로 생성한다. 이 행동 감지 및 탐지 알고리즘 모델은 현재 프로토타입까지 개발을 완료했으며, 국내 특허 2건과 해외 PCT 출원을 진행 중이다.

스튜디오프리윌루젼은 AI 오픈소스를 활용해 적은 양의 데이터로도 원하는 영역의 콘텐츠를 생성할 수 있는 파인튜닝 기술을 보유하고 있다. 권 대표는 “의상 교체나 배우의 표정 연기와 같은 세부적인 작업도 오픈소스 기술을 체계적으로 활용해 전문적이고 효율적인 제작 공정을 구축했다”며 “현재 많은 AI 프로덕션 업체들이 우리의 방식을 벤치마킹하고 있다”고 설명했다.

AI 세상에서의 K콘텐츠 왜곡을 바로잡다

스튜디오프리윌루젼은 한국형 AI 콘텐츠 제작을 위한 개발도 진행 중이다. 현재 생성형 AI 서비스들의 가장 큰 문제점은 한국적인 요소를 제대로 생성하지 못한다는 점이다. 권 대표는 “프롬프트에 ‘세종대왕’을 입력하면 만주 사람이 생성되고, ‘한복’을 입력하면 중국 의상이 나온다. 한국 문화가 AI에서 왜곡되고 있으며, 정부도 이 문제를 인식하고 있다. 이런 문제를 해결하기 위해서는 표상 문제를 해결해야 한다”고 지적하면서 “스튜디오프리윌루젼은 기존의 군집화된 표상 문제를 ‘미메시스에이아이(Mimesis AI)’로 해결하고자 한다”라고 설명했다. 권 대표는 이러한 기술 개발의 의미를 한국 영화 산업과 국가적 차원에서 강조했다.

“AI 산업은 단순히 산업적인 문제만은 아닙니다. 국가적 차원의 접근이 필요한 이유가 있습니다. 예를 들어, ‘독도’를 입력하면 독도가 잘 생성되지 않지만 ‘다케시마’로 입력하면 독도가 더 잘 생성됩니다. 생성형 AI로 무엇이든 만들 수 있다는 것은 이론적인 이야기일 뿐입니다. 우리가 원하는 것을 왜곡없이 생성해야 합니다. 특히 한국적인 콘텐츠라면 더욱 중요합니다.”라고 한국적 콘텐츠 생성의 중요성에 대해 강조했다.

영화 산업은 다양한 시도와 실험을 하는 게 중요하다. 그러기 위해서는 영화 제작 비용이 낮아야 한다. AI 기술을 도입한다면 구현하고 싶은 영상에 대해 다양한 시도를 할 수 있고 그렇게 되면 영화 산업도 발전시킬 수 있다는 게 권 대표와 구 부대표의 설명이다.

스튜디오프리윌루젼은 올해 과학기부장관상(대상)을 수상했고 최근 딥테크팁스에 선정되는 등 기술력을 인정받고 있다. 서울대 인공지능연구실 출신의 설한울 연구소장을 포함해 4명의 서울대 연구진으로 AI R&D팀을 구성했으며, 서울대학교 AI연구원장이자 컴퓨터공학과 교수인 장병탁 교수와 인공지능·딥러닝 분야의 세계적 권위자인 요슈아 벤지오 교수가 자문위원으로 참여하고 있다.

AI 영화 및 광고 시장 개척

스튜디오프리윌루젼은 AI 기술을 활용해 다양한 성과를 내고 있다. 올해 2월에 개최된 제1회 두바이 국제AI영화제에서 AI 단편 영화 ‘One More Pumpkin’(200년 이상 장수한 한국의 노부부를 다룬 스릴러)으로 대상과 관객상을 수상했다. 500개가 넘는 출품작 중에서 이룬 성과이며, AI 필름이라는 새로운 장르를 개척했다는 평가받고 있다. 이 수상을 계기로 국내 영화제에서도 AI 영화 부문이 생기는 등 스튜디오프리윌루젼의 행보 큰 영향을 미쳤다. 스튜디오프리윌루젼은 대한민국 국제영화제 개막제와 부천영화제의 AI 부분의 트레일러 제작 및 자문도 맡았다.

상업 광고 시장에도 의미 있는 진출을 했다. 올해 6월 제작한 현대자동차 CF(영원히 달리는 자동차)는 AI만으로 만든 최초의 광고다. 권 대표는 “현대자동차 트럭의 경우 상용차 학습 데이터가 부족해 어려움이 있었지만, 트럭 데이터를 활용해 성공적으로 구현해 냈다. 이는 단순한 기술적 가능성을 넘어 상업 영역에서 실증했다는 데 큰 의미가 있다”고 상업 광고 시장 진출의 의미에 대해 설명했다.

이 외에도 ‘2024 대한민국 정부 박람회 공식 AI 애니메이션’을 비롯한 정부 광고와 현대제철, 한국마사회, 네네치킨 등 여러 기업의 AI 트레일러 및 숏폼 광고를 제작하며 역량을 입증하고 있다. 특히 숏폼, 초단편 콘텐츠, 기획물, 마케팅용 영상, 프리비즈(Pre-Visual) 컨셉 티저 등 다양한 영상 제작에서 높은 활용성을 보여주고 있다.

AI 영화의 모든 것을 담는 플랫폼 구축

스튜디오프리윌루젼은 AI 기술 개발과 활용을 넘어 플랫폼 사업으로도 영역을 확장하고 있다. 전 세계의 다양한 AI 도구들을 통합 제공하는 ‘AI-Kive’ 플랫폼을 개발해, AI 기업들에게는 콘텐츠 창작자들과의 연결을, 창작자들에게는 창작자에게 필요한 서비스를 매칭하고 있다. AI-Kive는 콘텐츠 창작자들의 실제 사용 사례와 노하우를 공유하는 커뮤니티로서의 기능도 가지고 있다.

권 대표는 “전 세계에 약 8천 개의 AI 서비스가 있지만, 대부분의 사람들은 10개도 알지 못한다. 이러한 다양한 AI 서비스들을 쉽게 찾고 활용할 수 있도록 아카이빙했다”고 AI-Kive 플랫폼에 대해 설명했다.

지난 10월 베타 서비스를 시작한 AI-Kive는 향후 SaaS 구독 모델로 전환될 예정이며, AI 영화 전용 OTT 서비스로의 확장도 계획하고 있다.

구 부대표는 “이를 통해 한국이 AI 미디어 기술의 새로운 허브가 되는 것을 목표로 하고 있다. 우리는 국내 AI 콘텐츠 시장의 개척자로서 앞으로도 이 시장을 선도하고 싶다. 이를 위해서는 창작뿐만 아니라, 기술 개발, 플랫폼까지 갖춰야 한다. 그래야 정보도 모이고 사람도 모인다”라고 AI-Kive 플랫폼 구축의 의미에 대해서 강조했다.

스튜디오프리윌루젼은 현재 시리즈A 투자 유치를 준비하며 글로벌 시장 진출을 위한 발판을 마련하고 있다. 특히 미국, 중동 시장에서 높은 관심을 받고 있으며, 여러 글로벌 미디어 기업들과 협력을 논의 중이다.

권 대표는 “AI 기술은 이제 시작입니다. 앞으로 2-3년이 이 시장의 주도권을 잡는 매우 중요한 시기가 될 것입니다. 우리는 한국의 우수한 미디어 제작 역량과 AI 기술을 결합해 이 시장을 선도해 나가고자 합니다. 궁극적으로는 AI 기술을 통해 모든 사람이 자신의 이야기를 쉽고 아름답게 표현할 수 있는 세상을 만들고 싶습니다”라고 포부를 밝혔다.

Studio Free Willusion presents a new paradigm for AI filmmaking, from video to sound

– Development of ‘Video to Foley’, an automatic sound generation system that matches the video

– Proven achievements such as winning AI film festival awards and entering the commercial advertising market

– Opening new horizons for K-content with AI

– Seeking growth as an AI platform specialist company following AI video production

'Can't we focus on the most important creative work when making a movie and reduce repetitive and exhausting work?'

CEO Kwon Han-seul, who worked in film production, founded Studio Free Willusion in 2023 with this problem in mind. The word 'Free Will' in the company name refers to the free will of creators, and 'Illusion' refers to the fantastic elements of media content.

“Our vision is to use AI technology to free creators from simple, repetitive tasks and allow them to focus on creativity. Through this, we aim to open a new paradigm for the global media industry.”

CEO Kwon Han-seul and Vice President Koo Do-hyung, whom we met at Seoul AI Hub, spoke in unison. CEO Kwon and Vice President Koo graduated from Chung-Ang University’s Department of Film and have been producing short films together since their college days. Hollywood is already introducing CG work utilizing AI, and recently, director James Cameron joined the board of directors of image-generating AI company Stability AI, which became a hot topic. Amid this trend, CEO Kwon and Vice President Koo felt a sense of crisis that the Korean film industry could fall behind in the global market, and decided to start a business.

Not only video, but also sound is automatically generated.

Studio Free Willusion's representative technology is the 'Video to Foley' system. Sound work is essential in video production. 'Video to Foley' is a technology in which AI automatically analyzes the movements in the video and generates appropriate sound effects. For example, if a walking scene is created using generative AI, the sound that matches the shoes and floor material according to the timing of walking is automatically generated according to the scene. This behavior detection and detection algorithm model has currently been developed up to the prototype, and two domestic patents and overseas PCT applications are in progress.

Studio Free Willusion has fine-tuning technology that can create content in a desired area with a small amount of data using open source. CEO Kwon explained, “We have systematically utilized open source technology to create a professional and efficient production process, even for detailed tasks such as changing costumes or acting out actors’ facial expressions.” He added, “Currently, many AI production companies are benchmarking our methods.”

Correcting K- content distortion in the AI world

Studio Free Willusion is also developing Korean-style AI content. The biggest problem with current generative AI services is that they cannot properly generate Korean elements. “If you input ‘Sejong the Great’ into the prompt, a Manchurian person is generated, and if you input ‘Hanbok,’ Chinese clothing appears. Korean culture is being distorted in AI, and the government is aware of this problem. In order to solve this problem, we need to solve the representation problem,” he said. “Studio Free Willusion aims to solve the existing clustered representation problem with ‘Mimesis AI.’” Kwon emphasized the significance of this technological development on a national level and in the Korean film industry.

“The AI industry is not simply an industrial issue. There are reasons why a national approach is necessary. For example, if you input ‘Dokdo,’ Dokdo is not generated well, but if you input ‘Takeshima,’ Dokdo is generated better. It is only theoretical to say that generative AI can create anything. I think AI should contribute to what we want, especially to creating Korean content,” he said, emphasizing the importance of creating Korean content.

It is important for the film industry to make various attempts and experiments. In order to do so, the cost of film production must be low. If AI technology is introduced, various attempts can be made for the images that one wants to implement, and this can also develop the film industry, according to CEO Kwon and Vice CEO Koo.

Studio Free Willusion has been recognized for its technological prowess, winning the Minister of Science and Technology Award (Grand Prize) this year and recently being selected for Deep Tech Tips. It has formed an AI R&D team with four Seoul National University researchers, including Director Seol Han-ul, who is from the Seoul National University Artificial Intelligence Lab, and Professor Jang Byeong-tak, the director of the Seoul National University AI Lab and a professor of computer engineering, and Professor Yoshua Bengio, a world authority in the field of artificial intelligence and deep learning, are participating as advisors.

Pioneering AI Movie and Advertising Markets

Studio Freewillusion is achieving various results by utilizing AI technology. In February of this year, at the 1st Dubai International AI Film Festival, the AI short film 'One More Pumpkin' (a thriller about an elderly Korean couple who lived for over 200 years) won the Grand Prize and Audience Award. This achievement was made among over 500 entries, and it is evaluated as pioneering a new genre called AI film. This award had a great impact on Studio Freewillusion's future, such as the creation of AI film categories in domestic film festivals. Studio Freewillusion also produced and advised on trailers for the opening ceremony of the Korea International Film Festival and the AI section of the Bucheon International Film Festival.

They have also made a meaningful foray into the commercial advertising market. The Hyundai Motor Company CF (Car that Runs Forever) produced in June of this year is the first advertisement made solely with AI. CEO Kwon explained the significance of their foray into the commercial advertising market, saying, “In the case of Hyundai Motor Company trucks, there were difficulties due to a lack of commercial vehicle learning data, but they were successfully implemented using truck data. This is significant in that it goes beyond simple technical feasibility and has been proven in the commercial sector.”

In addition, it is proving its capabilities by producing government advertisements including the '2024 Republic of Korea Government Expo Official AI Animation' and AI trailers and short-form advertisements for various companies such as Hyundai Steel, Korea Racing Authority, and NeNe Chicken. In particular, it is showing high usability in various video productions such as short-form, ultra-short content, planning materials, marketing videos, and pre-visual concept teasers.

Building a platform that contains everything about AI movies

Studio Free Willusion is expanding its business beyond AI technology development and utilization to platform business. It has developed the 'AI-Kive' platform that integrates and provides various AI tools from around the world, connecting AI companies with content creators and matching creators with the services they need. AI-Kive also functions as a community that shares actual use cases and know-how of content creators.

“There are about 8,000 AI services around the world, but most people don’t even know about 10 of them. We’ve archived these various AI services so that they can be easily found and utilized,” said CEO Kwon, explaining the AI-Kive platform.

AI-Kive, which started its beta service last October, is planning to transition to a SaaS subscription model in the future and is also planning to expand into an OTT service dedicated to AI movies.

Koo, the vice president, emphasized the significance of building the AI-Kive platform, saying, “Through this, we aim to make Korea a new hub for AI media technology. As a pioneer in the domestic AI content market, we want to continue to lead this market. To do this, we need to have not only creation, but also technology development and platforms. Only then can information and people gather.”

Studio Free Willusion is currently preparing to attract Series A investment and is laying the groundwork for entering the global market. It is receiving particularly keen interest from the US and Middle Eastern markets, and is currently discussing collaboration with several global media companies.

CEO Kwon said, “AI technology is just beginning. The next two to three years will be a very important period for taking the lead in this market. We want to lead this market by combining Korea’s excellent media production capabilities with AI technology. Ultimately, we want to create a world where everyone can easily and beautifully express their stories through AI technology.”

映像から音響まで、AI映画製作の新しいパラダイムを提示したスタジオフリーウィルジョン

– 映像に合わせた音響自動生成システム「Video to Foley」開発

– AI映画祭受賞、商業広告市場進出などの成果を証明

– AIによるKコンテンツの新たな地平開拓

– AI映像制作に続き、AIプラットフォーム専門企業として成長を模索

「映画を作るとき、最も重要な創造的な仕事に焦点を当て、反復的で消費的な仕事を減らすことはできませんか？」

映画制作の仕事をしていたクムシル代表はこのような問題意識を持って2023年スタジオプリウィルジョンを設立した。会社名の「Free Will」は創作者の自由な意志を、「Illusion」はメディアコンテンツの幻想的な要素を意味する。

「私たちのビジョンは、AI技術によって創作者を単純な反復的な作業から解放し、創造性に集中できるようにすることです。これにより、世界中のメディア業界の新しいパラダイムを開いていきたいと思います。」

ソウルAIハブで出会ったクムスル代表と構図型副代表は一声でこう話した。クォン代表と旧副代表は中央大学映画学科出身で大学時代から短編映画を共に制作してきた。ハリウッドがすでにAIを活用したCG作業を導入しており、最近はジェームズキャメロン監督がイメージ生成AI企業であるステイビリティAIの理事会に合流して話題になった。このような流れの中でクォン代表と旧副代表は韓国映画産業がグローバル市場で遅れることができるという危機意識を感じて創業を決心した。

映像だけでなく音響生成も自動的に

スタジオプリウィルジョンの代表的な技術は「Video to Foley」システムだ。映像制作では音響作業は必須だ。 「Video to Foley」は、映像の動きをAIが自動的に分析して適切な音響効果を生成する技術だ。例えば、生成型AIで歩くシーンを作成した場合は、そのシーンに合わせて靴、床材質に合った音響を歩くタイミングに合わせて自動的に生成する。この行動検知および検出アルゴリズムモデルは現在プロトタイプまで開発を完了しており、国内特許2件と海外PCT出願を進めている。

スタジオプリウィルジョンは、オープンソースを活用して少量のデータでも所望の領域のコンテンツを生成できるファインチューニング技術を保有している。クォン代表は「衣装交換や俳優の表情演技のような細部的な作業もオープンソース技術を体系的に活用して専門的かつ効率的な製作工程を構築した」とし「現在多くのAIプロダクションメーカーが私たちのやり方をベンチマークしている」と説明した。

AI世界でのKコンテンツの歪みを修正する

スタジオフリーウィルジョンは韓国型AIコンテンツ制作のための開発も進行中だ。現在、生成型AIサービスの最大の問題点は、韓国的な要素を正しく生成できないことだ。クォン代表は「プロンプトに「世宗大王」を入力すると満州人が生成され、「韓服」を入力すると中国の衣装が出る。韓国文化がAIで歪曲されており、政府もこの問題を認識している。このような問題を解決するためには表象問題を解決しなければならない」と指摘しながら「スタジオプリウィルジョンは既存の群集化された表象問題を「ミメシスAI」で解決したい」と説明した。クォン代表はこのような技術開発の意味を韓国映画産業と国家レベルで強調した。

「AI産業は単に産業的な問題だけではありません。国家レベルのアプローチが必要な理由があります。たとえば、「独島」と入力すると独島がうまく生成されませんが、「竹島」と入力すると独島が生成されます。生成型AIで何でも作れるというのは理論的な話だけです。私たちが望むもの、特に韓国的なコンテンツの生成にAIが寄与しなければならないと思います」と韓国的コンテンツ生成の重要性について強調した。

映画産業は様々な試みと実験をすることが重要だ。そのためには映画製作コストが低くなければならない。 AI技術を導入すれば実装したい映像に対して多様な試みができ、そうなれば映画産業も発展させることができるというのがクォン代表と旧副代表の説明だ。

スタジオフリーウィルジョンは今年科学寄附官賞（大賞）を受賞し、最近ディープテクチップスに選定されるなど技術力を認められている。ソウル大学人工知能研究室出身のソルハンウル研究所長を含め、4人のソウル大学研究陣でAI R&Dチームを構成し、ソウル大学AI研究院長であり、コンピュータ工学科教授のチャン・ビョンタク教授と人工知能・ディープラーニング分野の世界的権威であるヨシュア・ベンジオ教授が諮問委員として参加している。

AI映画・広告市場開拓

スタジオプリウィルジョンはAI技術を活用して多様な成果を出している。今年2月に開催された第1回ドバイ国際AI映画祭でAI短編映画「One More Pumpkin」（200年以上長寿した韓国の老夫婦を手掛けたスリラー）で大賞と観客賞を受賞した。 500を超える出品作の中で成し遂げられた成果であり、AIフィルムという新しいジャンルを開拓したという評価を受けている。この受賞をきっかけに国内映画祭でもAI映画部門ができるなどスタジオフリーウィルジョンの歩み大きな影響を及ぼした。スタジオフリーウィルジョンは大韓民国国際映画祭開幕制と富川映画祭のAI部分のトレーラー製作および諮問も引き受けた。

商業広告市場にも意味のある進出をした。今年6月に製作した現代自動車CF(永遠に走る自動車)はAIだけで作った最初の広告だ。クォン代表は「現代自動車トラックの場合、商用車の学習データが不足して困難があったが、トラックデータを活用して成功裏に実現した」と述べた。これは、単なる技術的可能性を超えて商業領域で実証したことに大きな意味がある」と商業広告市場進出の意味について説明した。

この他にも「2024 大韓民国政府博覧会公式AIアニメーション」をはじめとする政府広告と現代製鉄、韓国馬士会、ネネチキンなど様々な企業のAIトレーラーおよびショート広告を制作して力量を立証している。特にショートフォーム、超短編コンテンツ、企画物、マーケティング用映像、プリビーズ(Pre-Visual)コンセプトティーザーなど多様な映像制作で高い活用性を見せている。

AI映画の全てを収めたプラットフォーム構築

スタジオプリウィルジョンはAI技術開発と活用を超えてプラットフォーム事業にも領域を拡張している。世界中の様々なAIツールを統合提供する「AI-Kive」プラットフォームを開発し、AI企業にはコンテンツ創作者とのつながりを、創作者には創作者に必要なサービスをマッチングしている。 AI-Kiveは、コンテンツ創作者の実際のユースケースとノウハウを共有するコミュニティとしての機能も持っている。

クォン代表は「世界に約8千のAIサービスがあるが、ほとんどの人は10個も知らない。このようなさまざまなAIサービスを簡単に見つけて活用できるようにアーカイブした」とAI-Kiveプラットフォームについて説明した。

去る10月ベータサービスを開始したAI-Kiveは今後SaaS購読モデルに転換される予定であり、AI映画専用OTTサービスへの拡張も計画している。

旧副代表は「これを通じて韓国がAIメディア技術の新しいハブになることを目指している。私たちは国内AIコンテンツ市場のパイオニアとして今後もこの市場を先導したい。このためには創作だけでなく、技術開発、プラットフォームまで備えなければならない。それで情報も集まって人も集まる」とAI-Kiveプラットフォーム構築の意味について強調した。

スタジオプリウィルジョンは現在シリーズA投資誘致を準備し、グローバル市場進出のための足場を設けている。特に米国、中東市場で高い関心を集めており、複数のグローバルメディア企業と協力を議論中だ。

クォン代表は「AI技術は今始まりです。今後2-3年がこの市場の主導権を握る非常に重要な時期になります。私たちは韓国の優れたメディア制作能力とAI技術を組み合わせてこの市場をリードしていきたいと思います。最終的にはAI技術を通じて、誰もが自分の話を簡単かつ美しく表現できる世界を作りたいと思います」と抱負を明らかにした。