Вот как эти технологии могут работать вместе:

Архитектура конвейера данных:

• MySQL: Основной источник структурированных данных.
• TiDB: Распределенная база данных SQL, совместимая с MySQL, используемая для масштабируемости и высокой доступности.
• Kafka: Система обмена сообщениями для потоковой передачи данных в реальном времени.
• Logstash: Инструмент конвейера обработки данных, который принимает данные из различных источников и отправляет их в различные места назначения.
• Redis: Уровень кэширования для быстрого доступа к часто используемым данным.
• Elasticsearch: Поисковая и аналитическая система для запроса больших объемов данных.
• CloudCanal: Инструмент интеграции данных, используемый для синхронизации данных из различных источников, таких как MySQL, с TiDB, Kafka, Redis и Elasticsearch.

Подробности рабочего процесса:

1. Прием данных:

• Приложения сохраняют данные в MySQL.
• CloudCanal используется для синхронизации данных из MySQL с TiDB и Kafka.

2. Потоковая передача и обработка данных:

Кафка:

• Kafka получает данные из MySQL через CloudCanal и транслирует их различным темам.
• Темы содержат потоки событий данных, которые могут обрабатываться различными потребителями.

Журнал:

• Logstash действует как потребитель Kafka, обрабатывает данные из Kafka и отправляет их на различные выходы, такие как Elasticsearch и Redis.

3. Хранение и извлечение данных:

TiDB:

• TiDB представляет собой масштабируемое и высокодоступное решение для баз данных, способное обрабатывать большие объемы данных.
• TiDB совместим с MySQL, что упрощает интеграцию и миграцию с MySQL.

Redis:

• Redis используется в качестве уровня кэширования для часто используемых данных из MySQL или обрабатываемых событий из Kafka.
• Приложения могут сначала запрашивать Redis, а затем MySQL, чтобы ускорить получение данных.

Elasticsearch:

• Logstash может получать данные из Kafka и отправлять их в Elasticsearch.
• Elasticsearch индексирует данные для быстрого поиска и аналитики.
• Приложения могут запрашивать Elasticsearch для получения расширенных возможностей поиска и аналитики в реальном времени.

Пример потока данных:

Ввод данных в MySQL:

• Пользователь вставляет новую запись в базу данных MySQL.
• CloudCanal отслеживает изменения в MySQL и отправляет события в темы TiDB и Kafka.

Обработка в реальном времени:

• Кафка транслирует событие по теме.
• Logstash действует как потребитель Kafka, обрабатывает событие и отправляет проанализированные данные в Elasticsearch для индексации.
• Одновременно Redis обновляется для кэширования новых данных.

Доступ к данным:

• Приложение проверяет кэш Redis на наличие данных.
• Если данных нет в кеше, они запрашивают MySQL или TiDB.
• Для сложных запросов и аналитики приложение запрашивает Elasticsearch.

Это просто для моих заметок. CTTO