В этом посте показано, как можно использовать две мощные библиотеки Python, Beavers и Perspective, для анализа данных в реальном времени и отображения их на информационной панели.

Обзор архитектуры

Мы подключимся к API веб-сокетов Coinbase, чтобы получать обновления рынка криптовалют в режиме реального времени.

Чтобы поделиться этими данными с другими сервисами и отделить производителей от потребителей, мы опубликуем эти данные через Kafka в формате json.

Затем мы напишем Beavers, который будет считывать данные из Kafka, обогащать их и публиковать на перспективной информационной панели.

Начальная настройка

Вам понадобиться:

• Гит
• Python (не ниже 3.10)
• Docker для запуска кластера Kafka
• Инструменты интерфейса командной строки Kafka

Код этого руководства доступен на github

Клонировать репозиторий

git clone https://github.com/0x26res/beavers-examples
cd beavers-example/coinbase_analytics/

Настройте виртуальную среду

python3 -m venv --clear .venv
source ./.venv/bin/activate
pip install -r requirements.txt

Настроить Кафку

Мы используем образ докера kafka-kraft для запуска очень простого кластера Kafka.