Нейромережу навчили передбачати жести на основі голосу людини

Нейромережу навчили передбачати жести на основі голосу людини

16:56,
21 Червня 2019
1724

Нейромережу навчили передбачати жести на основі голосу людини

16:56,
21 Червня 2019
1724
Нейромережу навчили передбачати жести на основі голосу людини
Нейромережу навчили передбачати жести на основі голосу людини
Автори:
Водночас нейромережа speech2gesture поки вміє передбачати менше половини жестів.

Дослідники з Каліфорнійського університету в Берклі створили нейромережу speech2gesture, яка здатна передбачати жести, ґрунтуючись тільки на голосі людини. Вона видає реалістичний результат, який виявляється точним майже у половині випадків.

Нейромережу навчили на 144 годинах відеозаписів з десятьма різними людьми, яким доводиться багато жестикулювати. Серед цих людей —телеведучі, викладачі та проповідники. В результаті алгоритм навчився передавати реалістичну жестикуляцію, яку синхронізували з оригіналом.

Поки система працює з низькою точністю і тільки в 44% випадків отримані результати збігаються з оригіналом. У деяких випадках нейромережа плутає положення рук, але в будь-якому випадку генерує цілком правдоподібний результат, заявляють розробники.

Щоб підтримати майбутні дослідження, команда опублікувала у відкритому доступі набір даних з характерними жестами і вихідний код.

Нагадаємо, раніше ми писали, що штучний інтелект навчили вираховувати успішність голлівудських фільмів на їх створення.

* Знайшовши помилку, виділіть її та натисніть Ctrl+Enter.
Коментарі
оновити
Код:
Ім'я:
Текст:
2019 — 2022 Dev.
Andrey U. Chulkov
Develop
Використовуючи наш сайт ви даєте нам згоду на використання файлів cookie на вашому пристрої.
Даю згоду