От изоляции обратно к общим контейнерам

OpenAI сначала разделяла крупные нагрузки, чтобы избежать конфликтов между клиентами, но с ростом числа аккаунтов такая схема усложнила эксплуатацию. Команда вернулась к общим контейнерам, добавив ограничение «горячих» ключей, классы качества обслуживания и более быстрое деление серверных партиций. По данным компании, после этих изменений несколько месяцев не было инцидентов, связанных с выделением ёмкости или влиянием одного клиента на другого. Критические данные реплицируются между регионами, а кэши обновляются через поток изменений.

Скорость чтения и следующий слой

Около 90% запросов к Habitat приходится на чтение. OpenAI сообщает, что глобальная медиана задержки чтения снизилась примерно со 120 до 10 миллисекунд — в двенадцать раз; это показатель самой компании, а не независимый тест. Сервис уже обслуживает более миллиарда пользователей и свыше 500 петабайт данных. Параллельно OpenAI разрабатывает собственный слой хранения экзабайтного масштаба на основе RocksDB Cloud и Raft, но опубликованный отчёт описывает прежде всего работающую сегодня связку Habitat и Azure Cosmos DB.

Источники