Veja como essas tecnologias podem funcionar juntas:

Arquitetura de pipeline de dados:

• MySQL: Fonte primária de dados estruturados.
• TiDB: Banco de dados SQL distribuído compatível com MySQL, usado para escalabilidade e alta disponibilidade.
• Kafka: Sistema de mensagens para streaming de dados em tempo real.
• Logstash: ferramenta de pipeline de processamento de dados que ingere dados de várias fontes e os envia para vários destinos.
• Redis: Camada de cache para acesso rápido a dados acessados ​​com frequência.
• Elasticsearch: Mecanismo de pesquisa e análise para consultar grandes volumes de dados.
• CloudCanal: ferramenta de integração de dados usada para sincronizar dados de várias fontes, como MySQL para TiDB, Kafka, Redis e Elasticsearch.

Detalhes do fluxo de trabalho:

1. Ingestão de dados:

• Aplicativos salvam dados no MySQL.
• CloudCanal é usado para sincronizar dados do MySQL para TiDB e Kafka.

2. Streaming e processamento de dados:

Kafka:

• Kafka ingere dados do MySQL via CloudCanal e os transmite para vários tópicos.
• Os tópicos contêm fluxos de eventos de dados que podem ser processados ​​por vários consumidores.

Logstash:

• O Logstash atua como um consumidor Kafka, processa dados do Kafka e os envia para várias saídas, como Elasticsearch e Redis.

3. Armazenamento e recuperação de dados:

TiDB:

• TiDB serve como uma solução de banco de dados escalável e altamente disponível que pode lidar com grandes volumes de dados.
• TiDB é compatível com MySQL, tornando a integração e migração do MySQL simples.

Redis:

• Redis é usado como uma camada de cache para dados acessados ​​frequentemente do MySQL ou eventos processados ​​do Kafka.
• Os aplicativos podem consultar o Redis primeiro antes de consultar o MySQL para acelerar a recuperação de dados.

Elasticsearch:

• O Logstash pode ingerir dados do Kafka e enviá-los para o Elasticsearch.
• O Elasticsearch indexa os dados para pesquisas e análises rápidas.
• Os aplicativos podem consultar o Elasticsearch para obter recursos avançados de pesquisa e análises em tempo real.

Exemplo de fluxo de dados:

Entrada de dados no MySQL:

• Um usuário insere um novo registro no banco de dados MySQL.
• CloudCanal monitora alterações no MySQL e envia eventos para tópicos TiDB e Kafka.

Processamento em tempo real:

• Kafka transmite o evento para um tópico.
• O Logstash atua como um consumidor Kafka, processa o evento e envia os dados analisados ​​ao Elasticsearch para indexação.
• Simultaneamente, o Redis é atualizado para armazenar em cache os novos dados.

Acesso de dados:

• O aplicativo verifica os dados no cache do Redis.
• Se os dados não estiverem no cache, ele consulta MySQL ou TiDB.
• Para consultas e análises complexas, o aplicativo consulta o Elasticsearch.

Isso é apenas para minhas anotações. CTTO