这篇文章展示了如何利用两个强大的 Python 库 Beavers 和 Perspective 来实时分析数据并将其显示在仪表板中。

架构概述

我们将连接到 Coinbase 的 websocket API 以实时接收加密货币市场更新。

为了与其他服务共享这些数据并将生产者与消费者分离，我们将通过 Kafka 将此数据发布为 json。

然后我们将编写一个 Beavers，它将从 Kafka 读取数据，丰富数据，并将其发布在透视仪表板中。

初始设置

你需要：

• Git
• Python（至少 3.10）
• Docker 运行 Kafka 集群
• Kafka CLI 工具

本教程的代码可在 github 上获取

克隆存储库

git clone https://github.com/0x26res/beavers-examples
cd beavers-example/coinbase_analytics/

设置虚拟环境

python3 -m venv --clear .venv
source ./.venv/bin/activate
pip install -r requirements.txt

设置卡夫卡

我们使用 kafka-kraft docker 镜像来运行一个超级简单的 kafka 集群。