J'ai publié une série de sept articles publics gratuits sur Medium.com « Comment créer une plate-forme de données moderne sur le niveau gratuit de Google Cloud Platform ». L'article principal est disponible sur : https://medium.com/@markwkiehl/building-a-data-platform-on-gcp-0427500f62e8

La première partie « Créer une plate-forme de données sur GCP » a défini les exigences fonctionnelles et détaillé comment installer le logiciel requis.

La deuxième partie « Infrastructure et authentification GCP » explique comment utiliser les informations d'identification par défaut de l'application Google (ADC) pour authentifier un compte de service géré par l'utilisateur.

La troisième partie « Google Cloud Pub/Sub Messaging » a montré comment utiliser un script Python pour générer et s'abonner au service Google Pub/Sub Messaging.

La quatrième partie « Conteneurisation à l'aide de Docker » a expliqué comment créer une image Docker locale pour un script Python, l'exécuter localement, puis la transférer vers Google Artifact Registry (référentiel).

La cinquième partie « Google Cloud Run Jobs & Scheduler » a montré comment configurer les tâches Google Cloud Run et Cloud Scheduler à l'aide de Google CLI pour exécuter un script Python stocké dans Google Artifact Registry à un intervalle spécifié à partir de n'importe quelle région de Google.

La sixième partie « Google BigQuery Cloud Database » a configuré un ensemble de données et une table Google BigQuery à l'aide de Google CLI, puis un script Python a été utilisé pour écrire et interroger des données avec SQL.

La septième partie « Google Cloud Analytics » a expliqué comment extraire des données d'une table Google BigQuery, les charger dans un Pandas DataFrame et effectuer sans effort des analyses et des visualisations, le tout à partir d'un script Python.