Ми живемо в епоху ностальгії й ніхто не користується нею так, як компанія Disney. Достатньо поглянути на десяток найприбутковіших фільмів в історії кіно, й ви побачите серед них діснеєвське повернення «Людини-павука» Тобі Магвайра після двадцятирічної перерви, римейк «Короля Лева» за 23 роки після оригіналу, продовження історії «Зоряних війн» із моменту, на якому вона закінчилася 32 роки тому.

Доволі поетично, що подібні повернення до старих історій можливі, зокрема, за рахунок нових технологій. Один із найбільш разючих прикладів глядачі могли побачити в «Мандалорці» 2020 року — флагманському серіалі сервісу Disney Plus. Його події розгортаються між шостою та сьомою частинами «Зоряних війн» й у фіналі сезону до героїв навідується сам молодий Люк Скайвокер. Оригінальний актор Марк Гемілл на момент зйомок був уже на 45 років старший, ніж мав би бути його персонаж. Тож компанія створила цифрового джедая. Зовнішністю займалася, зокрема, американська Lola Visual Effects, а голос синтезувала українська компанія Respeecher. «Детектор медіа» поспілкувався з генеральним директором Respeecher Олександром Сердюком, щоб дізнатися про технологію більше.

Офіційно Respeecher була заснована трьома колегами у 2018 році, але насправді хлопці почали працювати з ідеєю щонайменше двома роками раніше. Під час хакатону з машинного навчання, поки конкуренти працювали з генерацією зображень, ця команда вирішила спробувати аналогічний підхід до звуку. Та виграла змагання, «ожививши» голос Кузьми Скрябіна. Друзі продовжували працювати над ініціативою у вільний від основної роботи час і, врешті, залучивши стартові інвестиції, організували навколо технології власну компанію. Зараз у ній працює трохи більше тридцяти людей. «Наша ціль завжди була зробити якість, яка пройде через голлівудського звукорежисера [...] Ми хотіли бути першими у світі, хто синтезовану мову покладе у великий фільм», — розповідає Олександр.

Тут необхідно зробити відступ для тих, хто пропустив останні тенденції у світі цифрових акторів. Хоч як це парадоксально, але саме звичайна людська зовнішність і в першу чергу обличчя — це найскладніший візуальний ефект.  Ще в 1993 році Стівен Спілберг приніс на екрани правдоподібних комп’ютерних динозаврів, але навіть сьогодні, у 2022 році, жодна компанія не змогла створити ідеальну цифрову людину. Це пов’язано з тим, що людей, на відміну від динозаврів, кожен із нас бачить щодня. Більше того, мозок має окрему ділянку, яка, судячи з усього, виділена виключно під розпізнавання облич. З таким досвідом та інструментами ми автоматично помічаємо в синтезованих персонажах настільки дрібні нестиковки, що інколи навіть не здатні їх усвідомити: підшкірне розсіювання світла, розтягування пор, зміни руху крові. Власне, можете провести експеримент. Один із учасників цього діалогу «намальований»: здогадайтеся який та поясніть, чому так думаєте. До 2022 року це був, мабуть, найкращий цифровий персонаж, на якого здатен Голлівуд.

І все ж складність процесу не зупиняла режисерів. Наприклад, якщо ви боїтеся «повернення» мертвих зірок, то запізнилися з цим щонайменше на 60 років. Ще у стрічці «План 9 з відкритого космосу» режисер Ед Вуд-молодший використовував дублерів й архівні записи, аби замінити актора Белу Луґоші, який помер під час зйомок. У «Небесному Капітані та світі майбутнього» 2004 року роль головного злодія «виконував» Лоуренс Олів’є, який помер за 15 років до прем’єри. Марлон Брандо за два роки після смерті «грав» у «Поверненні Супермена». В останніх двох стрічках використання мертвих акторів стало можливим тому, що їхні персонажі були далеко не головними, а умови появи маскували зовнішність. Наприклад, у «Небесному капітані» обличчя злодія формували блискавки. А от у «Грі смерті» 1978 року, що вийшла за п’ять років після загибелі Брюса Лі, зірка бойовиків був у центрі подій. Тож в одному з кадрів дублер носив буквально картонну маску актора.

З цієї точки зору сучасний Голлівуд змінює лише способи, а не підходи. Замість картонної маски актор у «Мандалорці» носить «діпфейк»: зображення, яке нейронна мережа генерує на основі тисяч кадрів молодого Марка Гемілла. Respeecher працює аналогічно, проте використовує зразки голосу актора з того часу: записи фільмів, аудіокниг та навіть радіоп’єс за «Зоряними війнами». Олександр зізнається, що за умовами контракту ще майже пів року після появи Скайвокера на екрані компанія не могла розповідати про свою залученість. Проте в цього була й світла сторона: «Ніхто не мав ніяких претензій до голосу. Голос там звучав дуже добре. І люди тільки через пів року дізналися, що він був повністю синтезований». Варто відзначити, що поява джедая в «Мандалорці» тривала зовсім недовго: він встиг сказати близько п’ятдесяти слів, серед яких легендарне «May the force be with you».

Проте вже у 2022 році у шостій серії нового серіалу «Книга Боби Фетта» Скайвокер повернувся ще раз. І цього разу Disney відверто грала м’язами: молодий Марк Гемілл не лише провів на екрані майже половину сорокахвилинного епізоду, він бігав, стрибав та лазив по деревах. І все це не в темряві, яка маскувала неідальності часів «Мандалорця», а посеред білого дня. Голос для джедая знову синтезував Respeecher, і про цей досвід компанія знову поки що не може розповідати детальніше. Натомість сам факт використання технології вже критикували. Найчастіше на адресу Disney можна почути звинувачення, що компанія замінила живих акторів на бездушне машинне озвучування. Проте Олександр переконує, що це не так. За лаштунками Respeecher досі стоять люди.

«Наша технологія працює за принципом speech to speech (мовлення-мовлення). Це значить, що завжди має бути актор, який записує новий матеріал. Технологія, яка використовується після того, як актор записав новий контент, абсолютно точно переносить усі його емоції, змінюючи тільки тембр голосу, щоб він звучав, наче цільовий голос», — пояснює Олександр. Та додає: «З нашої точки зору, без акторів це не буде працювати. Бо інакше емоційність неможливо контролювати так, як її треба контролювати в якісному контенті».

Частково така ж ситуація і з візуальними ефектами. Ще двадцять років тому, коли Енді Серкіс допомагав створювати Голума для «Володаря перснів», колеги-актори зізнавалися йому: бояться, що в майбутньому їх замінять цифрові персонажі. Та насправді навіть найбільш фантастичних істот досі грають люди в спеціальних костюмах для зчитування рухів. Можете подивитися, як Бенедикт Камбербетч, лежачи на животі, грає дракона для «Хоббіта». Чи як одразу двоє зв’язаних людей грають монстра для The Last of Us 2. Аніматори, звісно, пізніше доповнюють ці образи, але в їхній основі досі є робота акторів.

Respeecher вистачає близько 40 хвилин якісного запису людини, аби синтезувати її голос. Експерименти показують, що якість звуку не дуже страждає навіть тоді, коли для цього використовують п’ять хвилин матеріалу. Головне, аби на них спікер робив те саме, що вимагається від голосу в синтезованому варіанті, наприклад, кричав чи співав. При цьому Олександр переконує, що звук синтезувати навіть важче, ніж зображення: «Коли ми дивимося на якусь картину й вона не ідеальна, наша уява дуже часто працює без нашої участі. Тобто неідеальну картину ми собі можемо домалювати й вона стане ідеальною. Це не працює зі звуком. Якщо ми щось чуємо й там є якісь артефакти, які кажуть нам, що цей звук не натуральний, ми їх відловлюємо. І це найважча частина в роботі з синтезованим звуком».

Хоча для створення молодого Скайвокера Disney обрала «діпфейк», тобто нове синтезоване комп’ютером зображення, в документальному фільмі про створення «Мандалорця» автори зізнавалися, що розглядали ще один варіант — цифрове омолодження. Це процес, коли після зйомок зовнішність актора змінюють, прибираючи зморшки, покращуючи стан шкіри чи, наприклад, зменшуючи товщину шиї. У цьому, знову ж, немає нічого кардинального нового, просто раніше вік змінювали за допомогою макіяжу. А зараз Disney має величезний досвід у галузі цифрового омолодження, зокрема, на прикладі фільмів Marvel: там знімали роки з Роберта Дауні-молодшого, Майкла Дугласа, Курта Рассела та на цілий фільм — Семюеля Л. Джексона. Інші компанії не відстають й інколи технологія навіть лягає в основу сюжету картин. Ви, мабуть, бачили «Загадкову історію Бенджаміна Баттона». А у фільмі «Двійник» Вілл Сміт протистоїть своїй молодій копії. Особливо цікаву паралель можна провести між стрічками «Юнацтво» та «Ірландець». У першій, щоб розповісти історію дорослішання хлопчика, режисер Річард Лінклейтер знімав одну й ту ж дитину одинадцять років. У другій Мартін Скорсезе розповів історію тривалістю пів сторіччя, змінюючи вік акторів на комп’ютері.

Disney у результаті так і не вдалася до цієї опції. Проте Олександр розповідає, що розширення вікового діапазону акторів — це ще один приклад використання технології Respeecher: «Людина, голос якої вже дуже сильно змінився, може говорити голосом, який у неї був якийсь час тому: десять або тридцять років. І не бути прив’язаною до голосу, який вона має в цей момент часу». Компанія навіть має небанальний приклад омолодження: «Ми зараз робимо одну велику гру, де один із персонажів — хлопчик. У нього зламався голос, але студії все одно потрібно використовувати того самого актора. І технологія якраз дозволяє людині, в якої тільки-но зламався голос і яка не може працювати тим голосом, який був декілька років тому, все одно працювати». На всяк випадок нагадаємо, що для продовження стрічки «Воно» дітей-акторів омолоджували візуально, адже вони встигли суттєво змінитися за два роки між зйомками.

Проте на віці можливості технологій не вичерпуються. Олександр наводить приклади, як за допомогою їхньої розробки сорокарічна жінка може звучати наче вісімдесятирічний чоловік. Людина — відтворювати звуки тварин. Автор відеогри, перемикаючи налаштування, — самостійно озвучити десятки персонажів, не наймаючи для цього різних акторів. Самі актори — не обмежуватися вродженим тембром, а конкурувати між собою саме володінням голосом. Навіть дубльовані зірки кіно могли б зазвучати оригінальними голосами, проте рідною для глядачів мовою. Це буцімто можливо тому, що система «мовлення-мовлення», на відміну від «текст-мовлення», не обмежена словниками, а отже, власне, мовами. Можете поекспериментувати самі. Крім співпраці з великими компаніями, Respeecher якраз «демократизує» технологію для маленьких виробників під брендом Voice Marketplace. І там є безкоштовна пробна версія.

Якщо повернутися до «Мандалорця», то ще одним варіантом, як ввести в сюжет молодого Скайвокера, міг би бути найбільш традиційний — інший актор. Disney навіть мала подібний досвід у «Зоряних війнах», коли у 2018 році роль Хана Соло у фільмі про походження персонажа зіграв 28-річний Олден Еренрайк. А не оригінальний актор — на той момент уже 76-річний Гаррісон Форд. Проте у відповідь на дотичне питання Олександр добре пояснив можливу мотивацію компанії. Дорослі люди плакали на останній серії «Мандалорця» тому, що на екранах раптово з’явився та зазвучав саме той герой із їхнього дитинства.

Наскільки це важливо, можна помітити на прикладі робіт режисера Роберта Земекіса. Коли головний герой «Форреста Гампа» зустрічається із президентом Джоном Кеннеді, це справляє враження, адже це той самий Джон Кеннеді, який був убитий за 31 рік до виходу стрічки. У 1997-му Земекіс частково повторив трюк у «Контакті», де зманіпулював кадрами чинного президента Білла Клінтона, аби він говорив про прибульців. Respeecher має історію з іншим лідером США — Річардом Ніксоном. Разом із Массачусетським технологічним інститутом українська команда створила діпфейк, у якому тридцять сьомий президент Сполучених Штатів зачитує справді написану для нього, але ніколи не озвучену промову на випадок катастрофи місячної місії «Аполлон». За цей проєкт Respeecher здобув одну зі своїх нагород «Еммі».

На жаль, українська команда поки що не має досвіду з українськими фільмами, хоча два роки тому працювала над голосом київського метро. Оригінальний диктор Микола Петренко помер, тож, аби тим же голосом перейменувати станцію «Петрівка» на «Почайну», громадська організація звернулася до Respeecher. Ця ініціатива так і не отримала продовження: київська влада переозвучила всі станції з новим диктором.

Безвідносно до цієї історії, використання голосу та зображення мертвих людей — одне з найбільш суперечливих питань сьогоднішньої індустрії розваг. Серед десятків прикладів є й, наскільки це можливо, усіма схвалені. Зокрема, у «Форсажі 7», коли актор Пол Уокер загинув у період зйомок, а його останню роль допомогли закінчити рідні брати та комп'ютерні технології. Так і, здається, всіма розкритиковані. Брюс Лі не вживав алкоголю, але за сорок років після смерті його рекламує.

Дотичне питання — це права на голос та зовнішність мертвих зірок. У Сполучених Штатах немає федерального законодавства з цього приводу, але в межах штату Каліфорнія відповідна регуляція діє з 1985 року. Згідно з нею, права акторів захищені ще 70 років після смерті, а рішення щодо використання їхньої зовнішності переходять до спеціальної організації, якою зазвичай керують рідні. Вони ж отримують прибутки: лише станом на 2015 рік мертві зірки «заробили» понад мільярд доларів. Двоє синів Одрі Гепберн якось пояснювали, що дозволили використати її зовнішність для реклами шоколаду, адже «вона часто говорила про те, як любить шоколад та як він піднімає її дух».

Олександр запевняє, що Respeecher завжди вимагає від клієнтів дозвіл на використання голосу. Та інколи навіть додатково перевіряє цю інформацію, звертаючись до власників «оригіналу». Але як ці права захищені в Україні — серйозне питання. Насправді інколи навіть із живими акторами в Голлівуді виникають неоднозначні ситуації. Цифрову модель актора Роберта Патріка створили для «Термінатора 2», але далі без його відома використали у «Парку Юрського періода». Авторам потрібно було тіло, яке з’їсть цифровий тиранозавр, і замість того, аби витрачатися на нову модель, вони пошукали на «складі».

Безпека — головне питання у всіх розмовах про діпфейки. А Україна особливо іронічне місце для появи компанії, яка займається синтезом звуку. Після всіх наших плівок — від Кучми до Медведчука — українцям особливо важливо знати, на яких записах звучать реальні люди. Олександр розповідає, що у світі вже чимало колективів, які працюють над виявленням підробок, а одну з ініціатив запускає сам Reaspeecher.

Але на проблему потрібно дивитися глибше: «Технології стають легкодоступними. Технологія “текст-мовлення” — це вже легкодоступна. “Мовлення-мовлення” буде такою через рік-два. Це значить, що будь-хто, хто має трошки знань, може розгорнути модель, яка продукуватиме досить якісний звук і може ввести в оману. І питання не до того звуку, який згенерують люди, які використовують технологію для поганих цілей. Бо зараз вони просто можуть найняти актора, який буде імперсонувати конкретну людину. Питання до того, як ми сприймаємо інформацію».

У Respeecher вважають, що «широкі маси необхідно навчати факту, що аудіо- та відеоінформація може бути зманіпульованою. Навчати перевіряти інформацію». Крім того, Олександр нагадує, що подібна історія повторюється вже не вперше. З появою Photoshop усі теж боялися, що його будуть використовувати виключно для порнозображень та маніпуляцій.

Урешті, як і всі інші технології, цифрові актори нікуди не подінуться. Тож нам лишається тільки впроваджувати для них ефективне регулювання. І чекати на неминучий особистий серіал молодого Люка Скайвокера.