以下是這些技術如何協同工作：

資料管道架構：

• MySQL： 結構化資料的主要來源。
• TiDB：相容於MySQL的分散式SQL資料庫，用於擴展性和高可用性。
• Kafka： 用於即時資料流的訊息系統。
• Logstash： 資料處理管道工具，從各種來源獲取資料並將其發送到各個目的地。
• Redis： 快取層，用於快速存取經常存取的資料。
• Elasticsearch： 用於查詢大量資料的搜尋和分析引擎。
• CloudCanal： 資料整合工具，用於將 MySQL 等各種來源的資料同步到 TiDB、Kafka、Redis、Elasticsearch。

工作流程詳細資料：

1。資料攝取：

• 應用程式將資料保存在MySQL中。
• CloudCanal 用於將資料從 MySQL 同步到 TiDB 和 Kafka。

2.資料流與處理：

卡夫卡：

• Kafka透過CloudCanal從MySQL獲取資料並將其廣播到各個主題。
• 主題包含可由各種消費者處理的資料事件流。

Logstash:

• Logstash 充當 Kafka 消費者，處理來自 Kafka 的數據，並將其發送到各種輸出，例如 Elasticsearch 和 Redis。

3.資料儲存與檢索：

TiDB:

• TiDB 是一個可擴展且高度可用的資料庫解決方案，可以處理大量資料。
• TiDB 與 MySQL 相容，使得從 MySQL 的整合和遷移變得簡單。

Redis:

• Redis 用作 MySQL 中頻繁存取的資料或 Kafka 中處理的事件的快取層。
• 應用程式可以先查詢Redis，再查詢MySQL，以加快資料檢索速度。

Elasticsearch:

• Logstash 可以從 Kafka 取得資料並將其傳送至 Elasticsearch。
• Elasticsearch 對資料建立索引以進行快速搜尋和分析。
• 應用程式可以查詢 Elasticsearch 以獲得高級搜尋功能和即時分析。

資料流範例：

MySQL中的資料輸入：

• 使用者在 MySQL 資料庫中插入一筆新記錄。
• CloudCanal 監控 MySQL 中的變化並將事件傳送到 TiDB 和 Kafka 主題。

即時處理：

• Kafka 將事件廣播到某個主題。
• Logstash充當Kafka消費者，處理事件，並將解析後的資料傳送到Elasticsearch進行索引。
• 同時，Redis 會更新以快取新資料。

資料存取：

• 應用程式檢查 Redis 快取中的資料。
• 如果快取中沒有數據，則查詢 MySQL 或 TiDB。
• 對於複雜的查詢和分析，應用程式會查詢 Elasticsearch。

這只是我的筆記。 CTTO