Как Netflix считает миллиарды действий пользователей - и не сходит с ума?
Когда вы запускаете сериал на Netflix, кто-то считает это событие. И ещё 75k других событий - каждую секунду.
Чтобы справиться с таким объёмом, Netflix построил распределённый счётчик. Вот как он устроен:
- API: пользователи отправляют команды типа +1, -1, get и clear. Это всё проходит через Data Gateway.
- Логирование событий: каждое действие попадает в TimeSeries и получает уникальный ID (чтобы не посчитать дважды). Всё хранится в Cassandra.
- Агрегация: события собираются в батчи, агрегируются по времени (например, по минутам) и пишутся в другую базу.
- Быстрое чтение: счётчики кешируются в EVCache. Всё работает почти мгновенно - если кеш устарел, его тихо обновят в фоне.
Благодаря этой архитектуре, Netflix держит 75k RPS со скоростью отклика в несколько миллисекунд. Красота? Да. Простота? Не совсем. Но работает чётко.
Когда вы запускаете сериал на Netflix, кто-то считает это событие. И ещё 75k других событий - каждую секунду.
Чтобы справиться с таким объёмом, Netflix построил распределённый счётчик. Вот как он устроен:
- API: пользователи отправляют команды типа +1, -1, get и clear. Это всё проходит через Data Gateway.
- Логирование событий: каждое действие попадает в TimeSeries и получает уникальный ID (чтобы не посчитать дважды). Всё хранится в Cassandra.
- Агрегация: события собираются в батчи, агрегируются по времени (например, по минутам) и пишутся в другую базу.
- Быстрое чтение: счётчики кешируются в EVCache. Всё работает почти мгновенно - если кеш устарел, его тихо обновят в фоне.
Благодаря этой архитектуре, Netflix держит 75k RPS со скоростью отклика в несколько миллисекунд. Красота? Да. Простота? Не совсем. Но работает чётко.
Скрытое содержимое могут видеть только пользователи групп(ы): Premium, Местный, Свои
