Открытый код YTsaurus Flow

Яндекс опубликовал исходный код YTsaurus Flow под лицензией Apache 2.0. Система обрабатывает события по мере поступления. В рекламной инфраструктуре компании через неё проходит более 100 ГБ данных в секунду, по данным Яндекса.

Задержка между событием и решением

Потоковая обработка сокращает ожидание между появлением события и его использованием в приложении. Вместо периодической обработки накопленного массива система работает с поступающими записями. Открытый код позволяет изучить этот механизм и интегрировать его в собственную инфраструктуру.

Источники