
Нейромережу навчили передбачати жести на основі голосу людини
Нейромережу навчили передбачати жести на основі голосу людини


Дослідники з Каліфорнійського університету в Берклі створили нейромережу speech2gesture, яка здатна передбачати жести, ґрунтуючись тільки на голосі людини. Вона видає реалістичний результат, який виявляється точним майже у половині випадків.
Нейромережу навчили на 144 годинах відеозаписів з десятьма різними людьми, яким доводиться багато жестикулювати. Серед цих людей —телеведучі, викладачі та проповідники. В результаті алгоритм навчився передавати реалістичну жестикуляцію, яку синхронізували з оригіналом.
Поки система працює з низькою точністю і тільки в 44% випадків отримані результати збігаються з оригіналом. У деяких випадках нейромережа плутає положення рук, але в будь-якому випадку генерує цілком правдоподібний результат, заявляють розробники.
Щоб підтримати майбутні дослідження, команда опублікувала у відкритому доступі набір даних з характерними жестами і вихідний код.
Нагадаємо, раніше ми писали, що штучний інтелект навчили вираховувати успішність голлівудських фільмів на їх створення.