Esta publicación muestra cómo puedes aprovechar dos potentes bibliotecas de Python, Beavers y Perspective, para analizar datos en tiempo real y mostrarlos en un panel.

Descripción general de la arquitectura

Nos conectaremos a la API websocket de Coinbase para recibir actualizaciones del mercado criptográfico en tiempo real.

Para compartir estos datos con otros servicios y desacoplar a los productores del consumidor, publicaremos estos datos en Kafka, como json.

Luego escribiremos un Beavers que leerá los datos de Kafka, los enriquecerá y los publicará en un panel de perspectiva.

Configuración inicial

Necesitarás:

• Git
• Python (al menos 3.10)
• Docker para ejecutar un clúster Kafka
• Herramientas CLI de Kafka

El código de este tutorial está disponible en github

Clonar el repositorio

git clone https://github.com/0x26res/beavers-examples
cd beavers-example/coinbase_analytics/

Configurar el entorno virtual

python3 -m venv --clear .venv
source ./.venv/bin/activate
pip install -r requirements.txt

Configurar Kafka

Usamos la imagen acoplable kafka-kraft para ejecutar un clúster kafka súper simple.