Cet article montre comment vous pouvez exploiter deux puissantes bibliothèques Python, Beavers et Perspective, pour analyser les données en temps réel et les afficher dans un tableau de bord.

Présentation de l'architecture

Nous nous connecterons à l'API websocket de Coinbase pour recevoir les mises à jour du marché de la cryptographie en temps réel.

Afin de partager ces données avec d'autres services et de dissocier les producteurs du consommateur, nous publierons ces données sur Kafka, au format json.

Nous écrirons ensuite un Beavers qui lira les données de Kafka, les enrichira et les publiera dans un tableau de bord en perspective.

La configuration initiale

Tu auras besoin:

• Git
• Python (au moins 3.10)
• Docker pour exécuter un cluster Kafka
• Outils CLI Kafka

Le code de ce tutoriel est disponible sur github

Cloner le dépôt

git clone https://github.com/0x26res/beavers-examples
cd beavers-example/coinbase_analytics/

Configurer l'environnement virtuel

python3 -m venv --clear .venv
source ./.venv/bin/activate
pip install -r requirements.txt

Configurer Kafka

Nous utilisons l'image docker kafka-kraft pour exécuter un cluster kafka super simple.