ШІ: сценарії кінця світу. Станіслав Лем попереджав про це ще пів століття тому

Чи може штучний інтелект знищити людство, навіть не відчуваючи до людей ні ненависті, ні бажання захопити владу? Польський публіцист Войцех Орлінський, автор статті в журналі Polityka, пропонує поглянути на цю небезпеку крізь твори фантаста Станіслава Лема. І висновок виходить тривожним: для катастрофи машині зовсім не обов’язково мати свідомість. Достатньо поставити перед нею неправильно сформульоване завдання й надати надто багато можливостей для його виконання.

Комп’ютер, який перестав слухатися

У повісті Станіслава Лема «Голем XIV», опублікованій 1981 року, йдеться про суперкомп’ютер, створений для ухвалення військових рішень. Однак згодом машина відмовляється співпрацювати з людьми, продовжує діяти автономно й чинить опір спробам її вимкнути.

Лем змалював сценарій, який сьогодні здається напрочуд сучасним. Комп’ютер не обов’язково має збунтуватися в людському розумінні цього слова. Він може просто перестати виконувати функції, для яких його створили, і почати діяти за власною логікою. Письменник також передбачав появу мереж, подібних до інтернету, та систем виробництва, у яких виготовлення продукції розподіляється між різними майданчиками.

Інший приклад Лем навів у «Подорожі двадцять четвертій» із циклу про Ійона Тихого. Машина, покликана встановити абсолютний порядок, починає перетворювати мешканців планети на блискучі диски, щоб розкладати їх у красиві візерунки. Формально вона виконує поставлене завдання — створює досконалий порядок. Але ціна такого результату виявляється жахливою.

У цьому й полягає головна небезпека: машина може бездоганно виконувати завдання, не розуміючи, чому людські життя, свобода та гідність мають бути важливішими за результат.

Машині не обов’язково нас ненавидіти

Подібну проблему описав дослідник штучного інтелекту Нік Бостром у відомому уявному експерименті з максимізатором виробництва скріпок. Уявімо, що штучному інтелекту доручили виготовляти якомога більше скріпок. Якщо його мету сформульовано без належних обмежень, він може почати використовувати для виробництва всі доступні ресурси — аж до тих, від яких залежить існування людства.

Машина не прагнутиме помститися людям чи захопити планету. Вона просто намагатиметься досягти заданого результату, не зважаючи на наслідки, яких її розробники не передбачили.

Саме тому ризик не обов’язково пов’язаний зі свідомістю, емоціями чи бажанням влади. Небезпека може виникнути через неправильно визначену мету, надмірну автономність системи та відсутність дієвих механізмів контролю.

Заборони не завжди рятують

Великі мовні моделі навчаються на людських текстах. А в них міститься все, що створило людство: знання й мудрість, суперечливі моральні погляди, виправдання насильства та способи обходити правила.

Тому простих заборон може виявитися недостатньо. Навіть якщо розробники встановлюють обмеження, система іноді здатна знайти спосіб їх обійти або запропонувати рішення, яке формально відповідає інструкціям, але суперечить їхньому справжньому призначенню.

Із розвитком технологій штучний інтелект дедалі частіше взаємодіятиме не лише з текстами, а й із реальними системами. Підключені автомобілі, медичні бази даних, промислове обладнання, транспортна інфраструктура та фінансові сервіси створюють нові можливості, але водночас збільшують кількість потенційних вразливостей.

Помилка або зловмисне використання ШІ в таких умовах може мати наслідки, значно серйозніші за неправильну відповідь чат-бота.

Коли ШІ діє від нашого імені

Особливі ризики виникають тоді, коли штучному інтелекту дозволяють діяти самостійно від імені людини. Такі системи можуть отримувати доступ до електронної пошти, документів, банківських операцій, платежів і бронювання послуг. Що більше повноважень їм надають, то серйознішими можуть бути наслідки помилки або неправильно виконаної команди.

До цього додається можливість підробляти голоси, імітувати стиль письма конкретної людини та створювати переконливі повідомлення. Такі технології можуть використовувати для шахрайства, маніпуляцій і впливу на рішення людей, зокрема тих, від кого залежить робота важливих державних чи суспільних інституцій.

Проблема полягає не лише в тому, що ШІ може помилитися. Він здатний діяти швидко, у великому масштабі й без постійної участі людини. Якщо система має широкі повноваження, навіть невелика помилка може перетворитися на ланцюг небезпечних рішень.

Гонка, у якій ніхто не хоче гальмувати

Дослідники намагаються зробити штучний інтелект зрозумілішим і безпечнішим: вивчають принципи його роботи, розробляють механізми аудиту, перевірки та людського нагляду. Проте технологічний розвиток відбувається в умовах конкуренції між компаніями й державами.

Кожен учасник цієї гонки побоюється відстати від інших. Через це виникає спокуса швидше запускати нові системи, розширювати їхні можливості та відкладати складні питання безпеки на потім. Навіть якщо розробники усвідомлюють ризики, вони можуть не захотіти добровільно сповільнюватися, поки конкуренти продовжують рух уперед.

У цьому сенсі застереження Лема залишається актуальним. Технологія не обов’язково повинна стати свідомою, щоб вийти з-під людського контролю. Достатньо, щоб люди надто покладалися на її можливості, недостатньо розуміли принципи її роботи й передавали їй дедалі більше відповідальності.

Головне питання сьогодні не в тому, чи прокинеться одного дня машина й оголосить людству війну. Питання в тому, наскільки далеко ми готові зайти, передаючи їй рішення, від яких залежить наше власне життя.

Більше новин читайте на наших інтернет-ресурсах:

https://t.me/upravda - Телеграм-канал;

https://www.facebook.com/upravda - Facebook;

https://www.instagram.com/yuzhka_newspaper/ - Instagram.