”工欲善其事,必先利其器。“—孔子《论语.录灵公》
首页 > 编程 > Amazon Aurora Serverless 的数据 API 与 AWS SDK for Java - 部分 Aurora Serverless vata API 是否满足 DevOps Guru?

Amazon Aurora Serverless 的数据 API 与 AWS SDK for Java - 部分 Aurora Serverless vata API 是否满足 DevOps Guru?

发布于2024-11-11
浏览:483

介绍

在我的文章《适用于无服务器应用程序的 Amazon DevOps Guru - 第 10 部分 Aurora Serverless v2 上的异常检测》中,我们了解到,在使用 Java 21 托管的 Lambda 函数的情况下,DevOps Guru 能够成功检测 Aurora (Serverless v2) PostgreSQL 数据库的异常情况运行时通过 JDBC 连接到它。我们仅将数据库从 0.5 ACU 扩展到 1 ACU,并通过调用 Lambda 函数在数分钟内同时按 id 数百次检索产品,在数据库上创建了非常高的负载。我们看到 DevOps Guru 正确指出了数据库连接总数的增加和数据库 (CPU) 负载持续较高的情况。 在本文中,我想弄清楚 DevOps Guru 是否会通过执行相同的实验来检测异常,但使用 Aurora Serverless v2 的数据 API 和 AWS SDK for Java 而不是 JDBC。

使用数据 API 对 Aurora Serverless v2 进行异常检测

让我们看看我们的示例应用程序并使用 SAM 模板来创建基础架构并部署下图所示的应用程序:

Data API for Amazon Aurora Serverless vith AWS SDK for Java - Part Aurora Serverless vata API meets DevOps Guru or not?

该应用程序创建存储在 Aurora Serverless v2 PostgreSQL 数据库中的产品,并使用数据 API 按 ID 检索它们。我们将用来按 id 检索产品的相关 Lambda 函数是 GetProductByIdViaAuroraServerlessV2DataApi,其处理程序实现是 GetProductByIdViaAuroraServerlessV2DataApiHandler。

和上一篇文章一样,我们使用hey工具来进行这样的压力测试

hey -z 15m -c 300 -H "X-API-Key: XXXa6XXXX" https://XXX.execute-api.eu-central-1.amazonaws.com/prod/productsWithDataApi/1   

在此示例中,我们使用 300 个并发容器调用 API 网关端点 15 分钟。在 prod/productsWithoutDataApi 端点后面,将调用 Lambda 函数 GetProductByIdViaAuroraServerlessV2WithoutDataApi,它将通过 id 1 从 Aurora Serverless v2 PostgreSQL 数据库检索产品。

我们在 [SAM 模板]((https://github.com/Vadym79/AWSLambdaJavaAuroraServerlessV2DataApi/blob/master/template.yaml) Aurora 数据库集群中进行配置,从最小容量 0.5 扩展到最大容量 1 ACU(即非常小的数据库大小),以防增加负载以节省成本。

  AuroraServerlessV2Cluster:
    Type: 'AWS::RDS::DBCluster'
...
      ServerlessV2ScalingConfiguration:
        MinCapacity: 0.5
        MaxCapacity: 1

Aurora(无服务器 v2)数据库管理可用数据库连接的最大数量,与数据库大小(在我们的例子中是 ACU 设置)成比例,还使用 ​​Aurora Serverless v2 的数据 API(这与 v1 存在巨大差异,v1 将成为到 2024 年底将不再支持,硬配额为每秒 1000 个数据库连接)。有关更多信息,请阅读有关 Aurora Serverless v2 的最大连接数的文档。因此,随着调用次数的增加,我们预计很快就会达到最大可用数据库连接数和高数据库 (CPU) 负载,这样数据库将无法响应新的 Lambda 函数请求来检索产品id(Lambda 也会遇到)。 这样我们就会引发异常,并想知道 DevOps Guru 是否能够检测到它。它能够,有点......产生了以下见解:

Data API for Amazon Aurora Serverless vith AWS SDK for Java - Part Aurora Serverless vata API meets DevOps Guru or not?

并且已识别出以下聚合异常指标:

Data API for Amazon Aurora Serverless vith AWS SDK for Java - Part Aurora Serverless vata API meets DevOps Guru or not?

与我的文章 Amazon DevOps Guru for the Serverless applications - 第 10 部分 Aurora Serverless v2 上的异常检测中描述的使用 JDBC 而不是 Data API 时识别的聚合异常指标相比,我们完全搞乱了 Aurora 数据库异常指标:数据库连接总和和数据库 (CPU) 负载,但正确地看到 Lambda 中的错误,该错误运行到 15 秒定义的时间,因为数据库无法 回应。

Data API for Amazon Aurora Serverless vith AWS SDK for Java - Part Aurora Serverless vata API meets DevOps Guru or not?.

那么,有什么区别呢? 让我们探讨一下我们使用 JDBC(非数据 API)和数据 API 在 Aurora Serverless v2 PostgreSQL 集群上重现的两个事件:

就 ACU 利用率/扩展而言,它们看起来相同:

Data API for Amazon Aurora Serverless vith AWS SDK for Java - Part Aurora Serverless vata API meets DevOps Guru or not?

就其他数据库指标而言,例如:CPU 利用率、DatabaseConnection DBLoad(CPU),存在巨大差异:

Data API for Amazon Aurora Serverless vith AWS SDK for Java - Part Aurora Serverless vata API meets DevOps Guru or not?

  • 对于 JDBC(非数据 API)和数据 API 情况,CPU 利用率看起来相同。但 DevOps Guru 似乎没有考虑这个指标,因为我们甚至没有在 JDBC 实验中看到它
  • DBLoad(CPU) 对于数据 API 使用率来说非常低。似乎对于 Dat API,Aurora Serverless v2 数据库前面有一些负载均衡器,用于监视连接使用情况并保护数据库免于过载。
  • 对于数据 API 使用情况,DatabaseConnection 指标未显示(或显示为 0)。原因是我们不管理 Data API 的数据库连接,它是在另一端为我们完成的。当然,它们仍然发挥着我们在 Aurora Serverless v2 的最大连接数中了解到的重要作用,但该指标似乎在 CloudWatch 指标中暴露于外部,甚至 DevOps Guru 也无法访问真实数字。

由于这一点以及非常低的 DBLoad(CPU),与 JDBC 用例相比,没有生成针对具有数据 API 使用情况的 Aurora Serverless v2 集群的 DevOps Guru 见解。

我做了第二个实验,直接连接到 Aurora Serverless v2 集群,并编写脚本来创建负载测试,方法是使用标准方式(非数据 API)编写通过 id 多次获取产品的脚本。与我们对 hey 工具所做的类似,但直接访问数据库而不是调用 Api Gateway。在将数据库置于负载之下后,我使用如上所述的 hey 工具开始了相同的实验,并想看看会发生什么。产生了相同的见解,但这次具有以下异常指标:

Data API for Amazon Aurora Serverless vith AWS SDK for Java - Part Aurora Serverless vata API meets DevOps Guru or not?

现在我们至少看到了额外的 Aurora Serverless v2 数据库连接总和异常指标,但 DBLoad(CPU) 指标仍然缺失。

异常图形如下所示:

Data API for Amazon Aurora Serverless vith AWS SDK for Java - Part Aurora Serverless vata API meets DevOps Guru or not?

当然,这个实验并不干净,因为我相继进行了两次负载测试,并且部分是并行的:第一个测试直接连接到数据库而不使用 API Gateway,第二个测试使用 Data API。这证实了我最初的假设,即数据库连接总和指标是为 Aurora Serverless v2(以及一般的 RDS)生成 DevOps Guru 见解的非常重要的标准,并且在使用数据 API 的情况下通常不会公开。
我已经联系了 Devops Guru 团队并与他们分享了我的见解,希望他们能够改进服务。或者首先将修复将数据库连接公开为 CloudWatch 指标,以便将 Aurora Serverless v2 与数据 API 结合使用。

结论

在本文中了解到,如果 Lambda 函数通过数据 API 连接到 Java 21 托管运行时,DevOps Guru 可以成功检测 Aurora (Serverless v2) PostgreSQL 数据库的异常,但只能显示与 Lambda 函数相关的异常指标由于数据库没有响应而超时。其主要原因似乎是,在将 Aurora Serverless v2 与数据 API 结合使用时,作为 CloudWatch 指标的数据库连接不会公开(或始终显示为 0)。 Aurora Serverless v2 数据库指标(数据库连接总数)仅在第二次人工实验期间显示。

版本声明 本文转载于:https://dev.to/aws-builders/data-api-for-amazon-aurora-serverless-v2-with-aws-sdk-for-java-part-10-aurora-serverless-v2-data-api-meets-devops-guru-or-not-1c60?1如有侵犯,请联系[email protected]删除
最新教程 更多>
  • 揭开谜底:如何解码 java.lang.reflect.InvocatTargetException 之谜?
    揭开谜底:如何解码 java.lang.reflect.InvocatTargetException 之谜?
    揭开 java.lang.reflect.InitationTargetException 之谜在错综复杂的 Java 编程世界中,人们可能会遇到以下令人困惑的问题: java.lang.reflect.InitationTargetException。这种异常在利用反射时经常遇到,可能会让开发人员...
    编程 发布于2024-11-18
  • 如何修复 macOS 上 Django 中的“配置不正确:加载 MySQLdb 模块时出错”?
    如何修复 macOS 上 Django 中的“配置不正确:加载 MySQLdb 模块时出错”?
    MySQL配置不正确:相对路径的问题在Django中运行python manage.py runserver时,可能会遇到以下错误:ImproperlyConfigured: Error loading MySQLdb module: dlopen(/Library/Python/2.7/site-...
    编程 发布于2024-11-18
  • 什么是互斥锁以及它在多线程环境中如何工作?
    什么是互斥锁以及它在多线程环境中如何工作?
    互斥体示例和说明互斥体或互斥对象提供了一种在多线程环境中控制对共享资源的访问的机制。理解它们的操作可能具有挑战性,因为它们的语法乍一看可能违反直觉。互斥体语法pthread_mutex_lock(&mutex1) 的语法表明互斥体本身正在被锁定。然而,被锁定的不是互斥锁,而是受其保护的代码区...
    编程 发布于2024-11-18
  • Go 中如何在没有根文件夹的情况下压缩文件夹内容?
    Go 中如何在没有根文件夹的情况下压缩文件夹内容?
    在没有根文件夹的情况下压缩文件夹中的内容要求是创建一个包含目录中文件的 ZIP 文件,不包括目录本身作为提取时的根文件夹。提供的代码片段尝试通过使用以下内容设置标头名称来实现此目的line:header.Name = filepath.Join(baseDir, strings.TrimPrefix...
    编程 发布于2024-11-18
  • Bootstrap 4 Beta 中的列偏移发生了什么?
    Bootstrap 4 Beta 中的列偏移发生了什么?
    Bootstrap 4 Beta:列偏移的删除和恢复Bootstrap 4 在其 Beta 1 版本中引入了重大更改柱子偏移了。然而,随着 Beta 2 的后续发布,这些变化已经逆转。从 offset-md-* 到 ml-auto在 Bootstrap 4 Beta 1 中, offset-md-*...
    编程 发布于2024-11-18
  • Go 中的 os.File.Write() 是线程安全的吗?
    Go 中的 os.File.Write() 是线程安全的吗?
    os.File.Write()的线程安全注意事项os.File.Write()函数是文件的基本部分在 Go 中进行处理,从而能够将数据写入文件。然而,了解这个函数从多个线程并发调用是否安全是至关重要的。Go 文档没有明确提及 os.File.Write() 的线程安全性。一般来说,只有在明确声明或从...
    编程 发布于2024-11-18
  • 如何在 PHP 中组合两个关联数组,同时保留唯一 ID 并处理重复名称?
    如何在 PHP 中组合两个关联数组,同时保留唯一 ID 并处理重复名称?
    在 PHP 中组合关联数组在 PHP 中,将两个关联数组组合成一个数组是一项常见任务。考虑以下请求:问题描述:提供的代码定义了两个关联数组,$array1 和 $array2。目标是创建一个新数组 $array3,它合并两个数组中的所有键值对。 此外,提供的数组具有唯一的 ID,而名称可能重合。要求...
    编程 发布于2024-11-18
  • 如何使用 MySQL 查找今天生日的用户?
    如何使用 MySQL 查找今天生日的用户?
    如何使用 MySQL 识别今天生日的用户使用 MySQL 确定今天是否是用户的生日涉及查找生日匹配的所有行今天的日期。这可以通过一个简单的 MySQL 查询来实现,该查询将存储为 UNIX 时间戳的生日与今天的日期进行比较。以下 SQL 查询将获取今天有生日的所有用户: FROM USERS ...
    编程 发布于2024-11-18
  • 大批
    大批
    方法是可以在对象上调用的 fns 数组是对象,因此它们在 JS 中也有方法。 slice(begin):将数组的一部分提取到新数组中,而不改变原始数组。 let arr = ['a','b','c','d','e']; // Usecase: Extract till index p...
    编程 发布于2024-11-18
  • 尽管代码有效,为什么 POST 请求无法捕获 PHP 中的输入?
    尽管代码有效,为什么 POST 请求无法捕获 PHP 中的输入?
    解决 PHP 中的 POST 请求故障在提供的代码片段中:action=''而不是:action="<?php echo $_SERVER['PHP_SELF'];?>";?>"检查 $_POST数组:表单提交后使用 var_dump 检查 $_POST 数...
    编程 发布于2024-11-18
  • 如何用 JavaScript 就地替换 DOM 元素?
    如何用 JavaScript 就地替换 DOM 元素?
    用 JavaScript 就地替换 DOM 元素替换 DOM 中的元素可能是 Web 开发中的一项有用技术。例如,如果您想将锚点 () 元素替换为跨度 () 元素,则可以使用 JavaScript 来替换。替换 DOM 的最有效方法元素到位是利用replaceChild()方法。实现方法如下:获取对...
    编程 发布于2024-11-18
  • 除了“if”语句之外:还有哪些地方可以在不进行强制转换的情况下使用具有显式“bool”转换的类型?
    除了“if”语句之外:还有哪些地方可以在不进行强制转换的情况下使用具有显式“bool”转换的类型?
    无需强制转换即可上下文转换为 bool您的类定义了对 bool 的显式转换,使您能够在条件语句中直接使用其实例“t”。然而,这种显式转换提出了一个问题:“t”在哪里可以在不进行强制转换的情况下用作 bool?上下文转换场景C 标准指定了四种值可以根据上下文转换为的主要场景bool:语句:if、whi...
    编程 发布于2024-11-18
  • 紫色虚线揭示了网站扩展的哪些内容?
    紫色虚线揭示了网站扩展的哪些内容?
    紫色虚线之谜:揭开可用的扩展空间在网络开发的复杂领域中,出现了一个奇怪的现象:一条淡紫色虚线,似乎装饰着某些元素的外围。这条线有什么神秘的用途?答案在于扩展领域。紫色虚线表示元素可以扩展其范围的可用空间。例如,当应用于文本元素时,它表示文本扩展的潜在边界。随着字符的添加或删除,该虚线区域的长度会动态...
    编程 发布于2024-11-18
  • 为什么我的 MySQLi 查询只返回一行,而我期望返回多行?
    为什么我的 MySQLi 查询只返回一行,而我期望返回多行?
    确定 MySQLi 查询仅检索一行的根本原因当遇到 MySQLi 查询尽管期望多行但仅返回一行的问题时,有必要检查所涉及的代码。在所提供的情况下,查询旨在从 sb_buddies 和 sb_users 表中检索数据。代码从两个表中选择列,并根据 buddy_requester_id 字段将它们连接起...
    编程 发布于2024-11-18
  • 在 Perl 和 Go 中探索密码强度和数字验证
    在 Perl 和 Go 中探索密码强度和数字验证
    在本文中,我将解决 Perl Weekly Challenge #287 中的两个挑战:加强弱密码和验证数字。我将为这两项任务提供解决方案,展示 Perl 和 Go 中的实现。 目录 加强弱密码 验证数字 结论 加强弱密码 第一个任务是确定使密码更安全所需的最少更改次...
    编程 发布于2024-11-18

免责声明: 提供的所有资源部分来自互联网,如果有侵犯您的版权或其他权益,请说明详细缘由并提供版权或权益证明然后发到邮箱:[email protected] 我们会第一时间内为您处理。

Copyright© 2022 湘ICP备2022001581号-3