ИИ: сценарии конца света. Станислав Лем предупреждал об этом ещё полвека назад

Может ли искусственный интеллект уничтожить человечество, даже не испытывая к людям ни ненависти, ни желания захватить власть? Польский публицист Войцех Орлиньский, автор статьи в журнале Polityka, предлагает посмотреть на эту опасность через произведения фантаста Станислава Лема. И вывод получается тревожным: для катастрофы машине вовсе не обязательно обладать сознанием. Достаточно поставить перед ней неправильно сформулированную задачу и предоставить слишком много возможностей для её выполнения.

Компьютер, который перестал слушаться

В повести Станислава Лема «Голем XIV», опубликованной в 1981 году, рассказывается о суперкомпьютере, созданном для принятия военных решений. Однако со временем машина отказывается сотрудничать с людьми, продолжает действовать автономно и сопротивляется попыткам её отключить.

Лем описал сценарий, который сегодня кажется удивительно современным. Компьютер не обязательно должен взбунтоваться в человеческом понимании этого слова. Он может просто перестать выполнять функции, ради которых его создали, и начать действовать по собственной логике. Писатель также предвидел появление сетей, подобных интернету, и систем производства, при которых изготовление продукции распределяется между разными площадками.

Другой пример Лем привёл в «Путешествии двадцать четвёртом» из цикла об Ийоне Тихом. Машина, призванная установить абсолютный порядок, начинает превращать жителей планеты в блестящие диски, чтобы раскладывать их в красивые узоры. Формально она выполняет поставленную задачу — создаёт совершенный порядок. Но цена такого результата оказывается ужасной.

В этом и заключается главная опасность: машина может безупречно выполнять задание, не понимая, почему человеческие жизни, свобода и достоинство должны быть важнее результата.

Машине не обязательно нас ненавидеть

Подобную проблему описал исследователь искусственного интеллекта Ник Бостром в известном мысленном эксперименте с максимизатором производства скрепок. Представим, что искусственному интеллекту поручили производить как можно больше скрепок. Если его цель сформулирована без необходимых ограничений, он может начать использовать для производства все доступные ресурсы — вплоть до тех, от которых зависит существование человечества.

Машина не станет стремиться отомстить людям или захватить планету. Она просто будет пытаться достичь заданного результата, не считаясь с последствиями, которые её разработчики не предусмотрели.

Именно поэтому риск не обязательно связан с сознанием, эмоциями или жаждой власти. Опасность может возникнуть из-за неправильно определённой цели, чрезмерной самостоятельности системы и отсутствия действенных механизмов контроля.

Запреты не всегда спасают

Большие языковые модели обучаются на человеческих текстах. А в них содержится всё, что создало человечество: знания и мудрость, противоречивые моральные взгляды, оправдания насилия и способы обходить правила.

Поэтому простых запретов может оказаться недостаточно. Даже если разработчики устанавливают ограничения, система иногда способна найти способ их обойти или предложить решение, которое формально соответствует инструкциям, но противоречит их истинному смыслу.

По мере развития технологий искусственный интеллект всё чаще будет взаимодействовать не только с текстами, но и с реальными системами. Подключённые автомобили, медицинские базы данных, промышленное оборудование, транспортная инфраструктура и финансовые сервисы открывают новые возможности, но одновременно увеличивают количество потенциальных уязвимостей.

Ошибка или злонамеренное использование ИИ в таких условиях может иметь последствия, гораздо более серьёзные, чем неправильный ответ чат-бота.

Когда ИИ действует от нашего имени

Особые риски возникают, когда искусственному интеллекту позволяют самостоятельно действовать от имени человека. Такие системы могут получать доступ к электронной почте, документам, банковским операциям, платежам и бронированию услуг. Чем больше полномочий им предоставляют, тем серьёзнее могут быть последствия ошибки или неправильно выполненной команды.

К этому добавляется возможность подделывать голоса, имитировать стиль письма конкретного человека и создавать убедительные сообщения. Подобные технологии могут использоваться для мошенничества, манипуляций и влияния на решения людей, в том числе тех, от кого зависит работа важных государственных и общественных институтов.

Проблема не только в том, что ИИ может ошибиться. Он способен действовать быстро, в больших масштабах и без постоянного участия человека. Если система наделена широкими полномочиями, даже небольшая ошибка может запустить цепочку опасных решений.

Гонка, в которой никто не хочет тормозить

Исследователи пытаются сделать искусственный интеллект более понятным и безопасным: изучают принципы его работы, разрабатывают механизмы аудита, проверки и человеческого контроля. Однако технологическое развитие происходит в условиях конкуренции между компаниями и государствами.

Каждый участник этой гонки опасается отстать от остальных. Из-за этого возникает соблазн быстрее запускать новые системы, расширять их возможности и откладывать сложные вопросы безопасности на потом. Даже если разработчики осознают риски, они могут не захотеть добровольно замедлять работу, пока конкуренты продолжают двигаться вперёд.

В этом смысле предостережение Лема остаётся актуальным. Технология не обязательно должна стать сознательной, чтобы выйти из-под контроля человека. Достаточно, чтобы люди слишком полагались на её возможности, недостаточно понимали принципы её работы и передавали ей всё больше ответственности.

Главный вопрос сегодня не в том, проснётся ли однажды машина и объявит ли человечеству войну. Вопрос в том, насколько далеко мы готовы зайти, передавая ей решения, от которых зависит наша собственная жизнь.

Больше новостей читайте на наших интернет-ресурсах:

https://t.me/upravda - Телеграм-канал;

https://www.facebook.com/upravda - Facebook;    

https://www.instagram.com/yuzhka_newspaper/ - Instagram.