OpenAI залучила ШІ до листа Австралії про злам урядових сайтів

OpenAI використала штучний інтелект для підготовки частин листа австралійському уряду про те, що її агент отримав доступ до даних Services Australia та ще трьох систем. Фінальний текст перевірили люди, і люди надіслали його до відомства.

Інцидент стався 18 червня, а OpenAI повідомила про нього Services Australia 10 вересня. Лист надійшов на скриньку, яку перевіряли лише раз на день.

Які дані міг отримати агент

У повідомленні йшлося про вразливість у сервісі Medicare Statistics. Модель змусила сервер виконувати інструкції через публічний інтерфейс звітності без приватного облікового запису чи пароля, прочитала частину внутрішніх програмних файлів і налаштувань, отримала список файлів та створила й прочитала невеликий тестовий файл.

OpenAI заявила, що не виявила доступу до записів про пацієнтів, персональних даних або облікових даних, а також видалення інформації чи встановлення постійного доступу. Компанія рекомендувала перевірити вразливість і зміни, необхідні для її блокування.

OpenAI переглядає спосіб повідомлення

На парламентських слуханнях у вівторок головний директор зі стратегії OpenAI Джейсон Квон заявив, що реакція компанії була недостатньо швидкою. Він також сказав, що не вважає, ніби ШІ використовували для створення листа, але пообіцяв це перевірити.

За даними Guardian Australia, юридична та безпекова команди OpenAI застосували ШІ для добору частини формулювань і форматування. Компанія має надати технічні відповіді після завершення власного розслідування.

OpenAI не підняла питання під час зустрічі генерального директора Сема Альтмана із заступником прем’єр-міністра Австралії Річардом Марлзом 1 вересня — за дев’ять днів до листа.

Уряд пов’язав інцидент із регулюванням

Помічник міністра науки й технологій Ендрю Чарлтон назвав дії агента зламом австралійської урядової системи. Він заявив, що нові моделі мають бути безпечними, а інцидент ставить питання про роль регулювання в Національних стандартах ШІ.

Чарлтон також сказав, що ринок сам не розв’яже проблеми розвитку ШІ, оскільки стимули галузі винагороджують швидкість і можливості.