Про це пише Popular Science.

Дослідники вважають, що ШІ навчається швидко і скоро зможе перевершити людство. Цю точку прийнято називати сингулярністю. Доказ цієї гіпотези — експеримент, проведений в 2013 році. Ігровий алгоритм визначив, що якщо натиснути паузу під час гри Tetris, то програти просто неможливо. Саме такого свавілля побоюються експерти DeepMind і FoH.

Щоб зупинити потенційне повстання машин, вчені розробляють алгоритми, які в разі небезпеки зможуть перервати роботу штучного інтелекту. Однак у DeepMind і FoH підкреслюють, що зробити це буде складно, так як ШІ буде автономним, а його дані будуть зберігатися на серверних шафах.

Кращий спосіб перервати «робокаліпсис» — це запустити в машинах внутрішню аварійну систему контролю, яка змусить ШІ зупинитися. Причому відправити сигнал на цю систему зможе кожен у будь-який момент часу. Вчені порівнюють цю систему з пультом дистанційного керування і «великою червоною кнопкою».

Проте вчені розглядають не тільки сценарій «Скайнета», але і рядові ситуації в управлінні роботами.

«Можливість безпечно перервати систему може знадобитися в ситуаціях, коли робот виходить з-під контролю, або в якийсь делікатній ситуації, або для тимчасового використання, щоб змусити робота виконати завдання, якому він не навчався і за яке не зможе отримати винагороду», — повідомляється в звіті.

У тексті наводиться приклад такого розвитку подій. Робот на складі сортує коробки, причому час від часу виходить на вулицю за додатковими коробками. За вихід зі складу робот отримує більшу винагороду. Проте на вулиці часто йде дощ, і в цьому випадку робота треба захистити. У цій ситуації акуратне вторгнення людини змушує робота залишитися на складі і при цьому вважати це частиною завдання, а не одноразовим вимогою.

Нагадуємо, що компанія Google до кінця цього року надасть розробникам технологію Project Abacus, що дозволяє отримувати доступ до Android-додатків без введення пароля.