Нейромережу навчили передбачати жести на основі голосу людини

Нейромережу навчили передбачати жести на основі голосу людини

16:56,
21 Червня 2019
2049

Нейромережу навчили передбачати жести на основі голосу людини

16:56,
21 Червня 2019
2049
Нейромережу навчили передбачати жести на основі голосу людини
Нейромережу навчили передбачати жести на основі голосу людини
Автори:
Водночас нейромережа speech2gesture поки вміє передбачати менше половини жестів.

Дослідники з Каліфорнійського університету в Берклі створили нейромережу speech2gesture, яка здатна передбачати жести, ґрунтуючись тільки на голосі людини. Вона видає реалістичний результат, який виявляється точним майже у половині випадків.

Нейромережу навчили на 144 годинах відеозаписів з десятьма різними людьми, яким доводиться багато жестикулювати. Серед цих людей —телеведучі, викладачі та проповідники. В результаті алгоритм навчився передавати реалістичну жестикуляцію, яку синхронізували з оригіналом.

Поки система працює з низькою точністю і тільки в 44% випадків отримані результати збігаються з оригіналом. У деяких випадках нейромережа плутає положення рук, але в будь-якому випадку генерує цілком правдоподібний результат, заявляють розробники.

Щоб підтримати майбутні дослідження, команда опублікувала у відкритому доступі набір даних з характерними жестами і вихідний код.

Нагадаємо, раніше ми писали, що штучний інтелект навчили вираховувати успішність голлівудських фільмів на їх створення.

ГО «Детектор медіа» понад 20 років бореться за кращу українську журналістику. Ми стежимо за дотриманням стандартів у медіа. Захищаємо права аудиторії на якісну інформацію. І допомагаємо читачам відрізняти правду від брехні.
До 22-річчя з дня народження видання ми відновлюємо нашу Спільноту! Це коло активних людей, які хочуть та можуть фінансово підтримати наше видання, долучитися до генерування ідей та створення якісних матеріалів, просувати свідоме медіаспоживання і разом протистояти російській дезінформації.
* Знайшовши помилку, виділіть її та натисніть Ctrl+Enter.
Коментарі
оновити
Код:
Ім'я:
Текст:
2019 — 2024 Dev.
Andrey U. Chulkov
Develop
Використовуючи наш сайт ви даєте нам згоду на використання файлів cookie на вашому пристрої.
Даю згоду