これらのテクノロジーがどのように連携できるかは次のとおりです:

データ パイプライン アーキテクチャ:

• MySQL: 構造化データの主要なソース。
• TiDB: MySQL と互換性のある分散 SQL データベース。スケーラビリティと高可用性のために使用されます。
• Kafka: リアルタイム データ ストリーミング用のメッセージング システム。
• Logstash: さまざまなソースからデータを取り込み、さまざまな宛先に送信するデータ処理パイプライン ツール。
• Redis: 頻繁にアクセスされるデータに高速アクセスするためのキャッシュ層。
• Elasticsearch: 大量のデータをクエリするための検索および分析エンジン。
• CloudCanal: MySQL などのさまざまなソースから TiDB、Kafka、Redis、Elasticsearch にデータを同期するために使用されるデータ統合ツール。

ワークフローの詳細:

1.データの取り込み:

• アプリケーションはデータを MySQL に保存します。
• CloudCanal は、MySQL から TiDB および Kafka にデータを同期するために使用されます。

2.データのストリーミングと処理:

カフカ:

• Kafka は CloudCanal 経由で MySQL からデータを取り込み、それをさまざまなトピックにブロードキャストします。
• トピックには、さまざまなコンシューマが処理できるデータ イベントのストリームが含まれています。

ログスタッシュ:

• Logstash は Kafka コンシューマーとして機能し、Kafka からのデータを処理し、Elasticsearch や Redis などのさまざまな出力に送信します。

3.データの保存と取得:

TiDB:

• TiDB は、大量のデータを処理できるスケーラブルで可用性の高いデータベース ソリューションとして機能します。
• TiDB は MySQL と互換性があるため、MySQL からの統合と移行が簡単になります。

レディス:

• Redis は、MySQL から頻繁にアクセスされるデータや Kafka から処理されたイベントのキャッシュ レイヤーとして使用されます。
• アプリケーションは、MySQL にクエリを実行する前に、まず Redis にクエリを実行して、データの取得を高速化できます。

エラスティックサーチ:

• Logstash は Kafka からデータを取り込んで Elasticsearch に送信できます。
• Elasticsearch は高速な検索と分析のためにデータにインデックスを付けます。
• アプリケーションは、高度な検索機能とリアルタイム分析のために Elasticsearch にクエリを実行できます。

データ フローの例:

MySQL のデータ入力:

• ユーザーが MySQL データベースに新しいレコードを挿入します。
• CloudCanal は MySQL の変更を監視し、イベントを TiDB および Kafka トピックに送信します。

リアルタイム処理:

• カフカはイベントをトピックにブロードキャストします。
• Logstash は Kafka コンシューマーとして機能し、イベントを処理し、解析されたデータをインデックス作成のために Elasticsearch に送信します。
• 同時に、新しいデータをキャッシュするために Redis が更新されます。

データアクセス：

• アプリケーションは Redis キャッシュでデータをチェックします。
• データがキャッシュにない場合は、MySQL または TiDB にクエリを実行します。
• 複雑なクエリと分析の場合、アプリケーションは Elasticsearch にクエリを実行します。

これは私のメモ用です。 CTTO