Я опубликовал на Medium.com серию из семи бесплатных общедоступных статей «Как построить современную платформу данных на бесплатном уровне Google Cloud Platform». Основная статья доступна по адресу: https://medium.com/@markwkiehl/building-a-data-platform-on-gcp-0427500f62e8

В первой части «Создание платформы данных на GCP» определены функциональные требования и подробно описано, как установить необходимое программное обеспечение.

Во второй части «Инфраструктура и аутентификация GCP» объясняется, как использовать учетные данные приложения Google по умолчанию (ADC) для аутентификации сервисного аккаунта, управляемого пользователем.

В третьей части «Сообщения Google Cloud Pub/Sub» показано, как использовать скрипт Python для создания службы сообщений Google Pub/Sub и подписки на нее.

В четвертой части «Контейнеризация с использованием Docker» рассказывалось, как создать локальный образ Docker для сценария Python, запустить его локально, а затем отправить в реестр артефактов Google (репозиторий).

В пятой части «Задания и планировщик Google Cloud Run» показано, как настроить задания Google Cloud Run и задания облачного планировщика с помощью интерфейса командной строки Google для выполнения скрипта Python, хранящегося в реестре Google Artifact, с заданным интервалом из любого региона Google.

В шестой части «Облачная база данных Google BigQuery» был настроен набор данных и таблица Google BigQuery с использованием интерфейса командной строки Google, а затем использовался скрипт Python для записи и запроса данных с помощью SQL.

В седьмой части «Google Cloud Analytics» рассказывалось, как извлекать данные из таблицы Google BigQuery, загружать их в DataFrame Pandas и легко выполнять анализ и визуализацию — и все это из скрипта Python.