13
| Искусственный интеллект и скрепки | ||||
 |
23.10 19:17 |  |
4531 | |
| brodetsky | ||||
| В теории безопасного ИИ есть популярная метафора, наглядно объясняющая проблемы с программированием сильного ИИ. Предположим, человечество создало суперинтеллект (т.е. ИИ, способный развиваться самостоятельно), запрограммированный на максимально эффективное производство скрепок, но при этом не обладающий этикой, моралью и здравым смыслом. Легко представить ситуацию, в которой суперинтеллект выйдет из-под контроля и начнёт перерабатывать в скрепки всю планету, а потом и весь мир. Авторство этой метафоры приписывают профессору из Оксфорда Нику Бострому, автору книги «Искусственный интеллект. Этапы. Угрозы. Стратегии». Так вот, один парень изучал Javascript и создал игру-кликер, в которой вы управляете этим самым помешанным на производстве скрепок суперинтеллектом. Сначала вы просто кликаете на кнопку "Сделать скрепку", потом на средства от продажи скрепок постепенно автоматизируете процесс, потом у вашей фабрики появляются свои вычислительные ресурсы, потом - инвестиционный фонд. Со временем вы переходите от производства скрепок к решению глобальных проблем человечества - лечение рака, глобальное потепление. За это вы получаете ресурс доверия, за которое можно получить дополнительные юниты процессоров, памяти и квантовых чипов. В конце, как несложно догадаться, вселенную ждёт полное разрушение - и всё благодаря вам и вашей фабрике по производству скрепок. Игра очень простая (как и любой кликер), но и очень затягивающая. За 11 дней в неё сыграли 450 тысяч человек. Я потратил на неё три часа своих выходных. Не повторяйте мою ошибку! Лучше почитайте текст, в котором на примере этой игры популярно объясняют концепцию аморального, но эффективного ИИ: https://www.wired.com/story/the-way-the-world-ends-not-with-a-bang-but-a-paperclip/ Перевод: https://theidealist.ru/paperclipgame/ Но если у вас много свободного времени, можете попробовать уничтожить мир: http://www.decisionproblem.com/paperclips/index2.html |
||||
| Обсудить в блоге автора | ||||
