OpenAI масштабує Habitat для понад 1 млрд користувачів ChatGPT
OpenAI описала, як платформа зберігання Habitat масштабує Azure Cosmos DB для понад 1 млрд користувачів у 40 регіонах. Система обробляє понад 500 петабайтів даних і перейшла від спільного контейнера до ізольованих, а згодом — назад до мультиорендної моделі.
OpenAI розповіла про масштабування платформи онлайн-зберігання Habitat, яка забезпечує швидкий доступ до даних її продуктів для понад 1 млрд користувачів у 40 географічних регіонах.
Habitat обробляє понад 500 петабайтів даних і має відповідати за мілісекунди. У другій частині технічного огляду компанія описала оптимізацію Azure Cosmos DB — основного компонента сховища.
Від спільного контейнера до ізоляції
Спочатку всі клієнтські навантаження надходили до одного контейнера Azure Cosmos DB у кожному акаунті. Спільне використання спричиняло конфлікти між однаковими ключами розділення, зокрема user_id і workspace_id, а також дозволяло надмірному навантаженню одного орендаря впливати на інші сценарії.
Фактичні обмеження визначаються фізичними, а не лише логічними розділами. Коли дані зростають і фізичні розділи поділяються, загальна пропускна здатність контейнера не змінюється, тому доступна потужність на розділ зменшується. Це могло погіршувати роботу активних навантажень навіть без зростання частоти запитів.
Для критичних нових сценаріїв OpenAI почала створювати окремі контейнери. Такий підхід зменшував радіус інцидентів: проблеми обмежувалися окремим сервісом або функцією, а не всією системою.
Запуски вимагали попереднього масштабування
Ізольовані контейнери вимагали індивідуального планування потужності. Навантаження під час тестування могло становити 1 тис. RU/s, а під час запуску — 1 млн RU/s, через що командам доводилося заздалегідь масштабувати ресурси. Якщо цього не робили, інженери збільшували потужність уже в день релізу.
OpenAI зазначає, що в попередньому спільному контейнері різкий стрибок навантаження окремого сценарію менше впливав на загальне використання. Окремі контейнери краще ізолювали навантаження, але позбавляли цієї переваги мультиорендної архітектури.
Зрештою Habitat повернулася до мультиорендного контейнера за замовчуванням, використовуючи вбудовані механізми Azure Cosmos DB. Компанія називає цей напрям ще раннім етапом і зазначає, що платформа вже підтримує широкий набір сценаріїв.
Що ми знаємо
- Habitat обслуговує понад 1 млрд користувачів у 40 регіонах.
- Платформа зберігає понад 500 петабайтів даних.
- Навантаження зростало з 1 тис. до 1 млн RU/s під час запуску.
- OpenAI повернулася до мультиорендного контейнера за замовчуванням.
Довіра: Первинне джерело
- У матеріалі є посилання на первинне повідомлення. Це підтверджує позицію його автора, але не гарантує правдивість усіх заяв.
- Джерела: OpenAI.
СПІЛЬНОТА
Обговорення
Увійдіть, щоб долучитися до обговорення.
Завантажуємо коментарі…