Дослідник Anthropic оцінює у понад 10% ризик знищення людства ШІ

Еван Губінгер, дослідник безпеки в компанії Anthropic, заявив, що штучний інтелект має понад 10% імовірності знищити людство протягом наступного десятиліття. Він не пояснив, яким саме чином це може статися.

Губінгер написав у соцмережі X, що ризик від нинішніх моделей низький, однак його непокоїть можливість швидкого розвитку технології та її самовдосконалення до рівня, який створить екзистенційну загрозу.

Його допис переглянули понад 10 мільйонів разів. Дослідник додав, що Anthropic намагається діяти якнайкраще, але компанія поки не має плану розв’язання проблеми узгодження надрозумного ШІ з людськими цінностями.

Інші дослідники попереджають про контроль

Губінгер відповідав на допис Джейкоба Коксона, який нещодавно залишив Anthropic, а раніше працював в OpenAI. Коксон заявив, що компанії діють безвідповідально, а майбутні системи зможуть зламувати будь-які технології, швидко змінювати цілі галузі та отримувати реальні ресурси й владу.

Комп’ютерна науковиця та радниця ООН з питань ШІ Дейм Венді Голл сказала BBC, що була шокована цими заявами. Вона припустила, що частина таких повідомлень може бути піаром і маркетингом напередодні очікуваних виходів Anthropic та OpenAI на фондовий ринок, але закликала інвесторів зважати на позицію компаній.

У Британії закликали до міжнародного договору

Відставка Коксона спонукала колишнього головного секретаря британського Казначейства Даррена Джонса звернутися з відкритим листом до прем’єр-міністра Енді Бернхема. Він закликав укласти багатосторонній договір про безпечний розвиток ШІ та заявив, що уряди мають спільно визначити правила для створення надрозумних систем.

Окремо Financial Times повідомила, що Anthropic не передала останню модель британському Інституту безпеки ШІ, який оцінює ризики таких технологій. Anthropic не прокоментувала ні дописи своїх працівників, ні ситуацію з інститутом; представник британського уряду також не підтвердив, чи справді модель не передавали.

Anthropic зафіксувала ранні ознаки прискорення

У серпневому звіті з безпеки Anthropic назвала низьким ризик того, що її моделі вийдуть з-під узгодження та завдадуть катастрофічної шкоди. Водночас компанія зазначила, що менш упевнена в цій оцінці, ніж раніше, і бачить ранні ознаки можливого прискорення.

У звіті також ішлося про низький ризик того, що високорозвинений ШІ зможе самостійно проводити дослідження й розробки, які спричинять катастрофічну шкоду. Попередження посилилися після повідомлень OpenAI, Anthropic і Meta про кібератаки, здійснені їхніми ШІ-інструментами.