Дослідники з Каліфорнійського університету в Берклі створили нейромережу speech2gesture, яка здатна передбачати жести, ґрунтуючись тільки на голосі людини. Вона видає реалістичний результат, який виявляється точним майже у половині випадків.

Нейромережу навчили на 144 годинах відеозаписів з десятьма різними людьми, яким доводиться багато жестикулювати. Серед цих людей —телеведучі, викладачі та проповідники. В результаті алгоритм навчився передавати реалістичну жестикуляцію, яку синхронізували з оригіналом.

Поки система працює з низькою точністю і тільки в 44% випадків отримані результати збігаються з оригіналом. У деяких випадках нейромережа плутає положення рук, але в будь-якому випадку генерує цілком правдоподібний результат, заявляють розробники.

Щоб підтримати майбутні дослідження, команда опублікувала у відкритому доступі набір даних з характерними жестами і вихідний код.

Нагадаємо, раніше ми писали, що штучний інтелект навчили вираховувати успішність голлівудських фільмів на їх створення.