如何在 Google Cloud Platform 免费层上构建现代数据平台
浏览：323
我在 Medium.com 上发布了一系列七篇免费公开文章“如何在 Google Cloud Platform 免费层上构建现代数据平台”。 主要文章位于：https://medium.com/@markwkiehl/building-a-data-platform-on-gcp-0427500f62e8
第一部分“在GCP上构建数据平台”定义了功能要求，并详细说明了如何安装所需的软件。
第二部分“GCP 基础设施和身份验证”解释了如何使用 Google 应用程序默认凭据 (ADC) 来对用户管理的服务帐户进行身份验证。
第三部分“Google Cloud Pub/Sub 消息传递”展示了如何使用 Python 脚本生成和订阅 Google Pub/Sub 消息传递服务。
第四部分“使用 Docker 进行容器化”介绍了如何为 Python 脚本构建本地 Docker 镜像，在本地运行它，然后将其推送到 Google ArtifactRegistry（存储库）。
第五部分“Google Cloud Run 作业和调度程序”演示了如何使用 Google CLI 配置 Google Cloud Run 作业和 Cloud Scheduler 作业，以从任何 Google 区域以指定的时间间隔执行存储在 Google Artifact Registry 中的 Python 脚本。
第六部分“Google BigQuery 云数据库”使用 Google CLI 设置 Google BigQuery 数据集和表，然后使用 Python 脚本通过 SQL 编写和查询数据。
第七部分“Google Cloud Analytics”探索了如何从 Google BigQuery 表中提取数据，将其加载到 Pandas DataFrame 中，并轻松地执行分析和可视化 - 所有这些都来自 Python 脚本。
-
弃用 `ereg_replace` 后，如何将多个空格替换为单个空格？用单个空格替换多个空格：弃用 ereg_replace虽然使用 ereg_replace 用单个空格替换多个空格可能看起来很简单，但它已被弃用。因此，您在尝试使用它时可能会遇到错误。本文提出了一种替代解决方案。迁移到 preg_replace()要替换 ereg_replace，请切换到 preg_...编程 发布于2024-11-06 -
如何将 8 个字符作为打包单精度浮点数加载到 __m256 变量中？将 8 个字符从内存加载到 __m256 变量中作为打包单精度浮点数为了优化高斯模糊算法，您寻求用 __m256 内在变量替换浮点缓冲区的使用。本问题旨在确定此任务的最佳指令。AVX2 架构说明：利用 PMOVZX 将字符零扩展为 32 位256b 寄存器中的整数。使用 VCVTDQ2PS 就地转换...编程 发布于2024-11-06
-
如何在Python中查找字符串中子字符串的第n次出现？查找字符串中某个子字符串第 n 次出现识别某个子字符串第 n 次出现对应的索引为各种编程场景中经常出现的任务。在Python中，没有专门为此目的而设计的内置函数。但是，可以采用多种方法来实现此结果。一种简单的方法是使用循环来迭代字符串并计算子字符串的出现次数。起始索引被初始化为第一次出现的结果，循环...编程 发布于2024-11-06
-
Go Context — TODO() 与 Background() 不再令人困惑！在 Go 中，上下文包有助于管理请求范围的值、取消信号和截止日期。 启动上下文的两种常见方法是 context.TODO() 和 context.Background()。 尽管它们的行为相似，但它们的目的不同。 上下文.背景() 当您不需要任何特殊处理（例如取消或截止日期）...编程 发布于2024-11-06
-
如何检测 CMake 中的 C++11 编译器支持？CMake 中 C 11 编译器支持的检测概述在本指南中，我们探索自动检测编译器是否支持 C 11 的方法CMake，提供对最新和以前 CMake 版本的全面分析。CMake 3.1.0 及更高版本CMake 3.1.0 版本引入了一个强大的功能：检测编译器。这是通过 cmake_minimum_r...编程 发布于2024-11-06
-
基于属性的测试：深入探讨现代测试方法基于属性的测试是一种强大的测试方法，它侧重于软件的属性或特征，而不是特定的输入输出情况。与手动定义特定测试用例的传统测试不同，基于属性的测试会自动生成各种输入来验证某些属性是否始终成立。这种方法可以更广泛地探索潜在场景，使其成为发现隐藏错误并确保稳健的软件行为的有效方法。 测试方法的演变 从传统的...编程 发布于2024-11-06
-
为开发人员和安全团队提供主动的 AppSec 持续漏洞管理现代软件开发环境中哪些日益增长的网络安全风险让 CISO 忙碌？ 开发人员和安全团队面临着越来越多的威胁，从复杂的开源和供应商控制的供应链攻击到 AI 生成的代码引入的漏洞，例如提示注入和 GitHub Copilot 的代码安全性差。现代应用程序通常严重依赖开源组件（例如在 npm、PyPI 或 ...编程 发布于2024-11-06
-
如何使用 React 对 MeteorJS 中的 Bootstrap Spacing 实用程序类进行故障排除？在 Bootstrap 中使用间距实用程序类在 Bootstrap 中，间距实用程序类允许您轻松控制元素周围的间距。但是，如果您在使用它们时遇到问题，这里有一个指南可以帮助您解决。更新的间距语法（Bootstrap 4 和 5）Bootstrap 4 引入了间距实用程序类的简化语法：边距：m{sid...编程 发布于2024-11-06
-
如何在Python中设置子进程的工作目录？如何在Python中设置子进程的工作目录在Python中，subprocess.Popen()函数允许您在Python中执行命令子进程。一个常见的要求是指定子进程的工作目录。问题：如何使用 subprocess.Popen() 设置子进程的工作目录？ 答案：要指定工作目录，请使用 subproc...编程 发布于2024-11-06
-
Pandas 什么时候创建视图而不是副本？Pandas 视图与副本生成规则Pandas 在决定 DataFrame 上的切片操作是否产生视图或结果时采用特定规则复制。通过了解这些规则，您可以优化数据操作并避免意外行为。从始终生成副本的操作开始：所有操作，除了那些专门设计用于修改的操作就地 DataFrame，创建副本。只有某些操作支持 in...编程 发布于2024-11-06
-
使用代理服务器解锁地理限制网站利用代理服务器绕过区域封锁是一种常用且有效的方法。代理服务器作为中介，可以隐藏用户的真实IP地址，使用户的请求看起来像是来自代理服务器的地理位置，从而绕过区域封锁。 使用代理服务器绕过区域封锁的关键步骤： 选择合适的代理服务器：根据目标区域的网络环境和遮挡情况，选择覆盖该区域的...编程 发布于2024-11-06
-
如何为三角形中的线性渐变锯齿线创建平滑边缘？为线性渐变锯齿线创建平滑边缘为了设计具有由两个三角形形成的尖底的响应式图像，开发人员在三角形线上遇到了意外的锯齿状边缘。为了解决这个问题，我们探索了产生更平滑渐变过渡的策略。虽然硬停止线性渐变图像中的颜色通常会导致锯齿状边缘，但调整停止点和起始点可以缓解此问题。不要突然从一种颜色变为另一种颜色，而是...编程 发布于2024-11-06
-
Java 中“static”的魔力：一为所有，一切为一！老实说，当我们第一次遇到 static 关键字时，我们都会想：“这是什么魔法？” ？但别担心，我会用一种简单、深入、甚至有点有趣的方式来分解它！ 想象一下你正在参加一个聚会？你和你所有的朋友都戴着帽子。但每个人都必须分享一顶帽子。这基本上就是 Java 中 static 关键字的作用！您不必为每个朋...编程 发布于2024-11-06
学习中文
- 1 走路用中文怎么说？走路中文发音，走路中文学习
- 2 坐飞机用中文怎么说？坐飞机中文发音，坐飞机中文学习
- 3 坐火车用中文怎么说？坐火车中文发音，坐火车中文学习
- 4 坐车用中文怎么说？坐车中文发音，坐车中文学习
- 5 开车用中文怎么说？开车中文发音，开车中文学习
- 6 游泳用中文怎么说？游泳中文发音，游泳中文学习
- 7 骑自行车用中文怎么说？骑自行车中文发音，骑自行车中文学习
- 8 你好用中文怎么说？你好中文发音，你好中文学习
- 9 谢谢用中文怎么说？谢谢中文发音，谢谢中文学习
- 10 How to say goodbye in Chinese? 再见Chinese pronunciation, 再见Chinese learning
