この投稿では、2 つの強力な Python ライブラリ、Beavers と Perspective を活用してリアルタイムでデータを分析し、ダッシュボードに表示する方法を示します。

アーキテクチャの概要

Coinbase の WebSocket API に接続して、仮想通貨市場の最新情報をリアルタイムで受信します。

このデータを他のサービスと共有し、プロデューサーとコンシューマーを切り離すために、このデータを Kafka 経由で json として公開します。

次に、Kafka からデータを読み取り、強化して、パースペクティブ ダッシュボードに公開する Beavers を作成します。

初期設定

あなたは必要になるでしょう：

• ギット
• Python (少なくとも 3.10)
• Kafka クラスターを実行するための Docker
• Kafka CLI ツール

このチュートリアルのコードは github で入手できます

リポジトリのクローンを作成する

git clone https://github.com/0x26res/beavers-examples
cd beavers-example/coinbase_analytics/

仮想環境をセットアップする

python3 -m venv --clear .venv
source ./.venv/bin/activate
pip install -r requirements.txt

カフカをセットアップする

kafka-kraft Docker イメージを使用して、非常に単純な Kafka クラスターを実行します。