OpenAI запустила GPT-6 Astra Ultrafast на GPU NVIDIA Blackwell

OpenAI запустила GPT-6 Astra Ultrafast — режим моделі, що працює на GPU NVIDIA Blackwell. Він уже доступний через API, а також для відповідних користувачів ChatGPT Work і Codex.

За даними OpenAI, Ultrafast забезпечує до 8 разів вищу швидкість генерації токенів, ніж режим Astra Standard. Це має скорочувати цикли редагування, тестування й налагодження коду, а також паузи між викликами інструментів.

Оптимізація для робочих циклів

Перевага швидкості особливо помітна в сценаріях, де агент послідовно пише код, використовує інструмент, перевіряє результат і визначає наступну дію. OpenAI заявляє, що Astra Ultrafast переносить можливості Astra у такі чутливі до затримок процеси.

Компанія також використовує власні моделі для вдосконалення програмного забезпечення інференсу на GPU NVIDIA. За словами OpenAI, програмованість платформи дає змогу тестувати й упроваджувати такі зміни, підвищуючи продуктивність розгорнутої інфраструктури з часом.

Коментарі OpenAI про Blackwell

Керівник інференсу OpenAI Філіпп Тілле заявив, що інвестиції NVIDIA в інструменти й документацію допомогли компанії оптимізувати моделі для GPU Blackwell і Rubin. Технічний директор OpenAI з обчислювальних систем Удай Руддарраджу додав, що внутрішні моделі OpenAI використовувалися для оптимізації інференсу на GPU NVIDIA.

Програмована платформа NVIDIA, за описом OpenAI, дає змогу повторно використовувати інфраструктуру для навчання, інференсу та навчання з підкріпленням у міру розвитку моделей. Доступ, ціни й технічні деталі компанія пропонує переглянути в посібнику Ultrafast.