Мессенджер на 1 млрд пользователей - system design

Пересказ

Тезисы

• Для обеспечения асинхронной рассылки сообщений и избежания высоких задержек для отправителя, сообщения сначала записываются в Kafka, а затем консюмер сохраняет их в базу данных и осуществляет рассылку. 3:45
• Message ID генерируется из офсета сообщения в Kafka, что гарантирует строго возрастающий порядок внутри чата и эффективное чтение. 10:31
• Kafka и консюмеры масштабируются путем шардирования топиков по chat ID и использования динамического создания топиков для групп чатов, что обеспечивает гибкость и сохраняет порядок сообщений. 15:02
• Connection серверы масштабируются с помощью балансировщика нагрузки и кластера Redis (или кастомного решения с Consistent Hashing) для хранения маппинга user ID к адресу Connection сервера. 19:07
• Для снижения связанности между регионами вводится промежуточный "хаб" регион, который агрегирует и реплицирует сообщения между всеми остальными регионами. 29:12
• Хаб не является узким местом, так как большинство чатов являются локальными, и только сообщения из межрегиональных чатов проходят через него. 30:45
• База данных масштабируется путем шардирования по chat ID с использованием безлидерной репликации (например, Cassandra) для высокой доступности и пропускной способности. 32:14
• Для поддержки мультирегиональности, сообщения для пользователей из других регионов записываются в специальные "outgoing" Kafka топики. 36:50
• Альтернативой рассылке по веб-сокетам является система с пользовательскими сообщениями, сохраняемыми в базу данных, шардированную по user ID, что позволяет эффективно реализовать полинг и статусы прочтения. 38:38