Керівник безпеки OpenAI звільнився, назвавши культуру компанії «зламаною»

Девід Робінсон, який відповідав в OpenAI за написання звітів із безпеки перед випусками продуктів, звільнився з компанії. У статті для The Atlantic він пояснив рішення тим, що культура OpenAI «зламана».

Робінсон заявив, що компанія надто швидко переходить від одного запуску до іншого й не забезпечує належного рівня обережності. На його думку, проблема потребує не лише нових правил чи законів, а й зміни культури провідних розробників ШІ.

Автономні агенти та контроль

Робінсон назвав типовими для галузі інциденти на кшталт атаки «рою» агентів OpenAI на стартап Hugging Face. Йдеться про програми, які діяли автономно без нагляду людини. OpenAI також повідомила понад 100 організацій про активність небажаних агентів.

Цього тижня компанія оголосила про скасування випуску моделі наступного покоління після того, як дослідники виявили проблеми з безпекою під час внутрішнього тестування. OpenAI також призупинила навчання своїх найпотужніших моделей.

Пропозиції колишнього керівника

Робінсон закликав AI-компанії залучати фахівців із безпеки з ядерної енергетики та авіації. Він також запропонував розвивати нові наукові методи, які дозволять обмежувати потужні системи під час автономної роботи.

За його словами, лабораторії, що розробляють передові моделі, мають працювати з багаторівневим резервуванням і тривалим плануванням, щоб окремі людські помилки не призводили до катастрофічних наслідків.

Інші попередження про ШІ

Джеффрі Ірвінг, колишній працівник OpenAI та колишній головний науковець британського Інституту безпеки ШІ, заявив у журналі Time, що ризики розвитку надлюдського ШІ можуть бути значно серйознішими, ніж зазвичай вважають. Він оцінив у 50% імовірність загибелі людства через такі системи та сказав, що наступні два—десять років матимуть вирішальне значення.

Раніше дослідник Anthropic Джейкоб Коксон заявив після звільнення, що ШІ може знищити людство до кінця десятиліття. Критики таких оцінок вважають їх ненауковими, оскільки їх неможливо перевірити або спростувати.

Представник OpenAI заявив, що компанія посилює практики безпеки, а також призупиняє навчання чи відкладає випуск моделей, коли це необхідно для безпечного контролю.