Esta postagem mostra como você pode aproveitar duas poderosas bibliotecas python, Beavers e Perspective, para analisar dados em tempo real e exibi-los em um painel.

Visão geral da arquitetura

Nós nos conectaremos à API websocket da Coinbase para receber atualizações do mercado de criptografia em tempo real.

Para compartilhar esses dados com outros serviços e separar produtores de consumidores, publicaremos esses dados no Kafka, como json.

Em seguida, escreveremos um Beavers que lerá os dados do Kafka, enriquecerá-os e publicará em um painel de perspectiva.

Configuração inicial

Você precisará:

• Git
• Python (pelo menos 3.10)
• Docker para executar um cluster Kafka
• Ferramentas CLI Kafka

O código deste tutorial está disponível no github

Clonar o repositório

git clone https://github.com/0x26res/beavers-examples
cd beavers-example/coinbase_analytics/

Configurar o ambiente virtual

python3 -m venv --clear .venv
source ./.venv/bin/activate
pip install -r requirements.txt

Configurar Kafka

Usamos a imagem docker kafka-kraft para executar um cluster kafka super simples.