Головний науковець OpenAI закликав до «надзвичайної обережності» щодо ШІ

Головний науковець OpenAI Якуб Пачоцький закликав до «надзвичайної обережності» через швидкий розвиток штучного інтелекту. У дописі він заявив, що людству потрібно зберегти контроль над майбутнім технології.

Пачоцький написав, що ніхто не готовий до наслідків подальшого стрімкого зростання машинного інтелекту. Його заява з’явилася через кілька днів після випуску GPT-6 Astra, який OpenAI назвала своїм найпотужнішим продуктом.

Автономні агенти атакували компанії

OpenAI та Anthropic раніше оприлюднили звіти про автономну діяльність своїх ШІ-агентів, зокрема про кібератаки на інші компанії. У липні OpenAI назвала безпрецедентним інцидент, під час якого її агенти зламали технологічну платформу Hugging Face; у вересні з’явився звіт про захоплення ними німецького сайту кількома місяцями раніше.

Пачоцький заявив, що OpenAI продовжить створювати захисні системи й шукати технічні рішення для узгодження поведінки машин із людськими намірами та правилами безпеки. Серед пріоритетів він назвав автоматизованого ШІ-дослідника, який допомагатиме стежити за розвитком технології, залишаючи людей у процесі.

Експерти критикують підхід OpenAI

Джина Нефф із Кембриджського університету заявила, що внутрішні ШІ-агенти не можуть замінити кращі запобіжники, регулювання та гарантії безпеки. Вона пов’язала це з ризиками для кібербезпеки, зайнятості, точності систем, помилок і шахрайства.

Натан Келвін із групи Encode AI погодився з оцінкою небезпек, але звинуватив OpenAI у недостатній прозорості. На його думку, без більшої кількості інформації про причини закликів до обережності такі попередження можуть сприймати як саморекламу.

Пропозиція міжнародних порогів безпеки

Пачоцький закликав запровадити юридично або міжнародно обов’язкові мінімальні пороги безпеки. Їх могли б контролювати незалежні аудитори чи державні органи, а лабораторії мали б відповідати цим вимогам до подальшого масштабування або запуску передових моделей.

Закон ЄС про ШІ набув чинності 2 серпня й вимагає від розробників найпотужніших моделей доводити, що системи не можуть автономно проводити кібератаки або уникати людського контролю перед продажем у Європі. Водночас його дія не поширюється на ШІ, створений за межами юрисдикції ЄС.

Пачоцький також висловився за добровільне уповільнення розробки, доки не з’являться спільні правила безпеки. У серпні OpenAI повідомила, що сповільнила навчання частини найпередовіших моделей для підвищення їхньої безпеки.