Google назвала пять ключевых проблем безопасности роботов

Google переживает за искусственный интеллект. Не за то, что он станет враждебным и захватит мир, а за то, что полезный домашний робот, например, может случайно полоснуть своего хозяина ножом. Одна из последних работ исследователей ИИ в Google посвящена «Конкретным проблемам безопасности ИИ».
Проблемы заключаются в следующих пунктах:
1. Как избежать негативных побочных эффектов: как не дать роботу опрокинуть книжный шкаф в яростном стремлении пропылесосить пол?
2. Как избежать взлома ради награды: если робот запрограммирован получать удовольствие от уборки комнаты, как не дать ему пачкать место ради того, чтобы он просто получал удовольствие от многократной его уборки?
3. Масштабируемость надзора: как много свободы в принятии решений дать роботу? Нужно ли ему спрашивать вас всякий раз, когда он двигает объекты в процессе уборки вашей комнаты или только если двигает вашу любимую вазу на прикроватной тумбе?
4. Безопасное любопытство: как научить роботам утихомиривать свое любопытство? Исследователи Google приводят в пример робота, который учится работать шваброй. Как научить его, что мыть шваброй пол прекрасно, но задевать розетку в процессе уборки не стоит?
5. Уважение личного пространства: как убедиться, что робот уважает пространство, в котором находится? Уборщик в вашей спальне будет действовать иначе, чем уборщик на заводе, но откуда он узнает эту разницу?
Некоторые из этих проблем, кажется, решаются весьма просто. В случае с последней, например, можно просто запрограммировать в роботе несколько предустановленных режимов. Когда он оказывается в промышленных условиях (а он узнает об этом, потому что вы ему скажете), он просто переключится на фабричный режим и будет усерднее махать щеткой.
Но другие проблемы настолько сильно зависят от контекста, что кажется практически невозможным запрограммировать робота на каждый сценарий. К примеру, взять проблему «безопасного любопытства». Роботу придется «принимать решения, которые не кажутся идеальными, но которые помогут агенту узнать его окружение».