”工欲善其事,必先利其器。“—孔子《论语.录灵公》
首页 > 编程 > Golang:可观察性和分析如何揭示几乎无法检测到的节流

Golang:可观察性和分析如何揭示几乎无法检测到的节流

发布于2024-11-08
浏览:315

在 Go 的个人项目中,该项目从 Bovespa 获取金融资产信息。
该系统充分利用了 goroutine 的并发性和并行性,每 8 秒更新一次资产信息(以及业务计算)。
最初,没有出现错误或警告,但我注意到一些 goroutine 的执行时间比其他 goroutine 更长。

更具体地说,虽然p99时间为0.03 ms,但在某些时候,它增加到0.9 ms。这促使我进一步调查这个问题。

我发现我使用的是信号量 goroutine 池,它是基于 GOMAXPROCS 变量创建的。
然而,我意识到这种方法有一个问题。

当我们使用 GOMAXPROCS 变量时,它无法正确捕获容器中可用的核心数量。如果容器的可用核心数少于 VM 的总数,则它会考虑 VM 的总数。例如,我的虚拟机有 8 个可用核心,但容器只有 4 个。这导致创建 8 个 goroutine 同时运行,导致限制。

经过一夜的大量研究,我发现 Uber 开发的一个库可以更有效地自动调整 GOMAXPROCS 变量,无论它是否在容器中。事实证明,该解决方案极其稳定且高效:automaxprocs

Golang: Como a observabilidade e profiling revelaram um throttling quase indetectável 优步Go / 自动最大进程

自动设置 GOMAXPROCS 以匹配 Linux 容器 CPU 配额。

automaxprocs Golang: Como a observabilidade e profiling revelaram um throttling quase indetectável Golang: Como a observabilidade e profiling revelaram um throttling quase indetectável Golang: Como a observabilidade e profiling revelaram um throttling quase indetectável

自动设置 GOMAXPROCS 以匹配 Linux 容器 CPU 配额。

安装

go get -u go.uber.org/automaxprocs

快速入门

import _ "go.uber.org/automaxprocs"

func main() {
  // Your application logic here.
}
进入全屏模式 退出全屏模式

表现

数据来自 Uber 的内部负载均衡器。我们以 200% CPU 配额(即 2 个核心)运行负载均衡器:

GOMAXPROCS RPS P50(毫秒) P99.9(毫秒)
1 28,893.18 1.46 19.70
2(等于配额) 44,715.07 0.84 26.38
3 44,212.93 0.66 30.07
4 41,071.15 0.57 42.94
8 33,111.69 0.43 64.32
默认 (24) 22,191.40 0.45 76.19

当 GOMAXPROCS 增加到 CPU 配额以上时,我们看到 P50 略有下降,但看到 P99 显着增加。我们还看到处理的总 RPS 也在下降。

当 GOMAXPROCS 高于分配的 CPU 配额时,我们还看到了明显的限制:

$ cat /sys/fs/cgroup/cpu,cpuacct/system.slice/[...]/cpu.stat
nr_periods 42227334
nr_throttled 131923
throttled_time 88613212216618

一旦 GOMAXPROCS 减少到与 CPU 配额相匹配,我们就没有看到 CPU 限制。

在 GitHub 上查看

使用该库后,问题得到解决,现在p99时间一直保持在0.02ms。这一经验强调了并发系统中可观察性和分析的重要性。

以下是一个非常简单的示例,但展示了性能差异。

使用Go的原生测试和benckmak包,我创建了两个文件:

benchmarking_with_enhancement_test.go

package main

import (
    _ "go.uber.org/automaxprocs"
    "runtime"
    "sync"
    "testing"
)

// BenchmarkWithEnhancement Função com melhoria, para adicionar o indice do loop em um array de inteiro
func BenchmarkWithEnhancement(b *testing.B) {
    // Obtém o número de CPUs disponíveis
    numCPUs := runtime.NumCPU()
    // Define o máximo de CPUs para serem usadas pelo programa
    maxGoroutines := runtime.GOMAXPROCS(numCPUs)
    // Criação do semáforo
    semaphore := make(chan struct{}, maxGoroutines)

    var (
        // Espera para grupo de goroutines finalizar
        wg sync.WaitGroup
        // Propriade
        mu sync.Mutex
        // Lista para armazenar inteiros
        list []int
    )

    // Loop com mihão de indices
    for i := 0; i 



benchmarking_without_enhancement_test.go

package main

import (
    "runtime"
    "sync"
    "testing"
)

// BenchmarkWithoutEnhancement Função sem a melhoria, para adicionar o indice do loop em um array de inteiro
func BenchmarkWithoutEnhancement(b *testing.B) {
    // Obtém o número de CPUs disponíveis
    numCPUs := runtime.NumCPU()
    // Define o máximo de CPUs para serem usadas pelo programa
    maxGoroutines := runtime.GOMAXPROCS(numCPUs)
    // Criação do semáforo
    semaphore := make(chan struct{}, maxGoroutines)

    var (
        // Espera para grupo de goroutines finalizar
        wg sync.WaitGroup
        // Propriade
        mu sync.Mutex
        // Lista para armazenar inteiros
        list []int
    )

    // Loop com mihão de indices
    for i := 0; i 



它们之间的区别是使用Uber库导入。

假设使用 2 个 CPU 运行基准测试时,结果是:

Golang: Como a observabilidade e profiling revelaram um throttling quase indetectável

ns/op:提供执行特定操作所需时间的平均值(以纳秒为单位)。

请注意,我的 CPU 的可用总数为 8 个核心,这就是 runtime.NumCPU() 属性返回的值。然而,在运行基准测试时,我定义只使用两个 CPU,而没有使用 automaxprocs 的文件定义一次执行限制为 8 个 goroutine,而最高效的为 2 个,因为这样使用更少的分配可以使执行更加高效。

因此,我们的应用程序的可观察性和分析的重要性是显而易见的。

版本声明 本文转载于:https://dev.to/mggcmatheus/golang-como-a-observabilidade-e-profiling-revelaram-um-throttling-quase-indetectavel-1h5p?1如有侵犯,请联系[email protected]删除
最新教程 更多>
  • Java是否允许多种返回类型:仔细研究通用方法?
    Java是否允许多种返回类型:仔细研究通用方法?
    在Java中的多个返回类型:一种误解类型:在Java编程中揭示,在Java编程中,Peculiar方法签名可能会出现,可能会出现,使开发人员陷入困境,使开发人员陷入困境。 getResult(string s); ,其中foo是自定义类。该方法声明似乎拥有两种返回类型:列表和E。但这确实是如此吗...
    编程 发布于2025-03-12
  • 大批
    大批
    [2 数组是对象,因此它们在JS中也具有方法。 切片(开始):在新数组中提取部分数组,而无需突变原始数组。 令ARR = ['a','b','c','d','e']; // USECASE:提取直到索引作...
    编程 发布于2025-03-12
  • 如何限制动态大小的父元素中元素的滚动范围?
    如何限制动态大小的父元素中元素的滚动范围?
    在交互式接口中实现垂直滚动元素的CSS高度限制问题:考虑一个布局,其中我们具有与用户垂直滚动一起移动的可滚动地图div,同时与固定的固定sidebar保持一致。但是,地图的滚动无限期扩展,超过了视口的高度,阻止用户访问页面页脚。$("#map").css({ marginT...
    编程 发布于2025-03-12
  • \“(1)vs.(;;):编译器优化是否消除了性能差异?\”
    \“(1)vs.(;;):编译器优化是否消除了性能差异?\”
    答案: 在大多数现代编译器中,while(1)和(1)和(;;)之间没有性能差异。编译器: perl: 1 输入 - > 2 2 NextState(Main 2 -E:1)V-> 3 9 Leaveloop VK/2-> A 3 toterloop(next-> 8 last-> 9 ...
    编程 发布于2025-03-12
  • 为什么PYTZ最初显示出意外的时区偏移?
    为什么PYTZ最初显示出意外的时区偏移?
    与pytz 最初从pytz获得特定的偏移。例如,亚洲/hong_kong最初显示一个七个小时37分钟的偏移: 差异源利用本地化将时区分配给日期,使用了适当的时区名称和偏移量。但是,直接使用DateTime构造器分配时区不允许进行正确的调整。 example pytz.timezone(...
    编程 发布于2025-03-12
  • 为什么使用Firefox后退按钮时JavaScript执行停止?
    为什么使用Firefox后退按钮时JavaScript执行停止?
    导航历史记录问题:JavaScript使用Firefox Back Back 此行为是由浏览器缓存JavaScript资源引起的。要解决此问题并确保在后续页面访问中执行脚本,Firefox用户应设置一个空功能。 警报'); }; alert('inline Alert')...
    编程 发布于2025-03-12
  • HTML格式标签
    HTML格式标签
    HTML 格式化元素 **HTML Formatting is a process of formatting text for better look and feel. HTML provides us ability to format text without us...
    编程 发布于2025-03-12
  • 如何使用不同数量列的联合数据库表?
    如何使用不同数量列的联合数据库表?
    合并列数不同的表 当尝试合并列数不同的数据库表时,可能会遇到挑战。一种直接的方法是在列数较少的表中,为缺失的列追加空值。 例如,考虑两个表,表 A 和表 B,其中表 A 的列数多于表 B。为了合并这些表,同时处理表 B 中缺失的列,请按照以下步骤操作: 确定表 B 中缺失的列,并将它们添加到表的末...
    编程 发布于2025-03-12
  • 如何从Python中的字符串中删除表情符号:固定常见错误的初学者指南?
    如何从Python中的字符串中删除表情符号:固定常见错误的初学者指南?
    从python import codecs import codecs import codecs 导入 text = codecs.decode('这狗\ u0001f602'.encode('utf-8'),'utf-8') 印刷(文字)#带有...
    编程 发布于2025-03-12
  • 如何克服PHP的功能重新定义限制?
    如何克服PHP的功能重新定义限制?
    克服PHP的函数重新定义限制在PHP中,多次定义一个相同名称的函数是一个no-no。尝试这样做,如提供的代码段所示,将导致可怕的“不能重新列出”错误。 但是,PHP工具腰带中有一个隐藏的宝石:runkit扩展。它使您能够灵活地重新定义函数。 runkit_function_renction_re...
    编程 发布于2025-03-12
  • 如何使用PHP将斑点(图像)正确插入MySQL?
    如何使用PHP将斑点(图像)正确插入MySQL?
    essue VALUES('$this->image_id','file_get_contents($tmp_image)')";This code builds a string in PHP, but the function call ...
    编程 发布于2025-03-12
  • 如何修复\“常规错误:2006 MySQL Server在插入数据时已经消失\”?
    如何修复\“常规错误:2006 MySQL Server在插入数据时已经消失\”?
    How to Resolve "General error: 2006 MySQL server has gone away" While Inserting RecordsIntroduction:Inserting data into a MySQL database can...
    编程 发布于2025-03-12
  • 为什么使用固定定位时,为什么具有100%网格板柱的网格超越身体?
    为什么使用固定定位时,为什么具有100%网格板柱的网格超越身体?
    网格超过身体,用100%grid-template-columns 为什么在grid-template-colms中具有100%的显示器,当位置设置为设置的位置时,grid-template-colly修复了?问题: 考虑以下CSS和html: class =“ snippet-code”> g...
    编程 发布于2025-03-12
  • 如何按Java中的第一列对2D双阵列进行排序?
    如何按Java中的第一列对2D双阵列进行排序?
    使用Java的Arrays.Sorts.sort()在不实现自定义排序算法的情况下实现此目的,我们可以利用数组的超载版本#sort#sort(t [A] A,比较器C)。通过提供一个比较器作为第二个参数,我们可以指定我们自己的排序标准。为给定数组: double [] [] myarr = new...
    编程 发布于2025-03-12
  • 如何使用PHP从XML文件中有效地检索属性值?
    如何使用PHP从XML文件中有效地检索属性值?
    从php $xml = simplexml_load_file($file); foreach ($xml->Var[0]->attributes() as $attributeName => $attributeValue) { echo $attributeName,...
    编程 发布于2025-03-12

免责声明: 提供的所有资源部分来自互联网,如果有侵犯您的版权或其他权益,请说明详细缘由并提供版权或权益证明然后发到邮箱:[email protected] 我们会第一时间内为您处理。

Copyright© 2022 湘ICP备2022001581号-3