”工欲善其事,必先利其器。“—孔子《论语.录灵公》
首页 > 编程 > Go 中的扇出-扇南模式

Go 中的扇出-扇南模式

发布于2024-07-31
浏览:449

Fanout-Fanin Pattern in Go

在之前的两篇文章中,我们分别介绍了 Fanout 和 Fanin。通常情况下,我们将它们一起使用,因为我们有一个数据流,我们希望单独对项目进行操作,并且可以使用并发安全地执行此操作。因此,我们扇出到多个工作线程,然后扇回到单个流。

例如,假设您有一个很大的日志文件。您可以将文件分成多个块,允许每个工作人员同时操作文件的不同部分,然后合并结果。

如果您遵循前两篇文章,这种模式是显而易见的。如果您不确定,请参阅上面的链接。

// produce is simulating our single input as a channel
func produce() chan int {
    ch := make(chan int)
    go func() {
        for i := 0; i 



有一个 Produce() 函数可以创建模拟的数字输入流。

有一个工作函数在输入通道上运行,直到没有更多数据为止。它对每个值“处理”输入数据(确定该值是奇数还是偶数),然后将结果结构发送到输出通道。

请注意,当每个工作人员完成后,它会关闭其结果通道。这对于防止死锁是必要的,因为否则 fanin 操作将休眠等待 chan 上的更多数据。

主线程从生产中获取输入流,然后启动许多工作人员,为每个工作人员提供自己的通道,将其结果发送到该通道。

这些结果通道随后被发送到 fanin 操作。为了扇入,我们创建一个通道来接收输出,然后为每个工作通道启动一个 goroutine。每个 goroutine 只是在通道上进行迭代,直到没有更多数据为止,然后终止。 请记住,我们关闭了工作线程中的结果通道,这就是允许 for 循环终止的原因

请注意,我们使用 WaitGroup 进行 fanin 过程。这让我们知道所有结果通道的所有结果何时已组合到输出通道中。当发生这种情况时,我们关闭输出通道,以便任何消耗输出的下游线程都可以终止。

有了输出通道中的所有数据,主线程就可以继续显示结果了。请注意,我们使用布尔通道来防止主线程在一切完成之前终止;否则,它将终止进程。

请注意,还有另一种使用 select 语句进行扇入的方法。这里使用的技术更干净一些,因为我们可以增加或减少工人的数量。

另请注意,我们尚未解决有关 SIGTERM 或 SIGINT 等问题的提前终止的任何问题。这增加了一点复杂性。

您将如何实现这一点? 扇出/扇入模式还有其他实现。请在下面留下您的评论和想法?

谢谢!

这篇文章以及本系列所有文章的代码可以在这里找到

版本声明 本文转载于:https://dev.to/johnscode/fanout-fanin-in-go-3h9o?1如有侵犯,请联系[email protected]删除
最新教程 更多>
  • 如何实时捕获和流媒体以进行聊天机器人命令执行?
    如何实时捕获和流媒体以进行聊天机器人命令执行?
    在开发能够执行命令的chatbots的领域中,实时从命令执行实时捕获Stdout,一个常见的需求是能够检索和显示标准输出(stdout)在cath cath cant cant cant cant cant cant cant cant interfaces in Chate cant inter...
    编程 发布于2025-04-21
  • 哪种在JavaScript中声明多个变量的方法更可维护?
    哪种在JavaScript中声明多个变量的方法更可维护?
    在JavaScript中声明多个变量:探索两个方法在JavaScript中,开发人员经常遇到需要声明多个变量的需要。对此的两种常见方法是:在单独的行上声明每个变量: 当涉及性能时,这两种方法本质上都是等效的。但是,可维护性可能会有所不同。 第一个方法被认为更易于维护。每个声明都是其自己的语句,使其...
    编程 发布于2025-04-21
  • 编译器报错“usr/bin/ld: cannot find -l”解决方法
    编译器报错“usr/bin/ld: cannot find -l”解决方法
    错误:“ usr/bin/ld:找不到-l “ 此错误表明链接器在链接您的可执行文件时无法找到指定的库。为了解决此问题,我们将深入研究如何指定库路径并将链接引导到正确位置的详细信息。添加库搜索路径的一个可能的原因是,此错误是您的makefile中缺少库搜索路径。要解决它,您可以在链接器命令中添加...
    编程 发布于2025-04-21
  • 为WebClient.DownloadFile()设置超时时间的技巧
    为WebClient.DownloadFile()设置超时时间的技巧
    [2 [2 方法有时会导致冗长的下载等待。 为了避免这种情况,实施超时机制至关重要。 这确保下载不会无限期地悬挂。 一个解决方案涉及创建一个自定义类扩展来管理超时属性。 以下是: 使用系统; 使用system.net; 公共类WebDownload:WebClient { /// ...
    编程 发布于2025-04-21
  • 如何使用“ JSON”软件包解析JSON阵列?
    如何使用“ JSON”软件包解析JSON阵列?
    parsing JSON与JSON软件包 QUALDALS:考虑以下go代码:字符串 } func main(){ datajson:=`[“ 1”,“ 2”,“ 3”]`` arr:= jsontype {} 摘要:= = json.unmarshal([] byte(...
    编程 发布于2025-04-21
  • 如何在其容器中为DIV创建平滑的左右CSS动画?
    如何在其容器中为DIV创建平滑的左右CSS动画?
    通用CSS动画,用于左右运动 ,我们将探索创建一个通用的CSS动画,以向左和右移动DIV,从而到达其容器的边缘。该动画可以应用于具有绝对定位的任何div,无论其未知长度如何。问题:使用左直接导致瞬时消失 更加流畅的解决方案:混合转换和左 [并实现平稳的,线性的运动,我们介绍了线性的转换。这...
    编程 发布于2025-04-21
  • 为什么JavaScript构造函数不能用Async/Await?
    为什么JavaScript构造函数不能用Async/Await?
    在构造函数中的asynchronous调用:不可能的eardeavor 因错误消息而失败:类构造函数可能不是async方法,构造函数函数负责初始化和返回对象实例。但是,异步关键字将函数转换为承诺生成器,从而导致函数返回承诺而不是对象本身。这产生了固有的冲突。揭示了不可能 [误解是源于async/...
    编程 发布于2025-04-21
  • 如何使用FormData()处理多个文件上传?
    如何使用FormData()处理多个文件上传?
    )处理多个文件输入时,通常需要处理多个文件上传时,通常是必要的。 The fd.append("fileToUpload[]", files[x]); method can be used for this purpose, allowing you to send multi...
    编程 发布于2025-04-20
  • 如何使用不同数量列的联合数据库表?
    如何使用不同数量列的联合数据库表?
    合并列数不同的表 当尝试合并列数不同的数据库表时,可能会遇到挑战。一种直接的方法是在列数较少的表中,为缺失的列追加空值。 例如,考虑两个表,表 A 和表 B,其中表 A 的列数多于表 B。为了合并这些表,同时处理表 B 中缺失的列,请按照以下步骤操作: 确定表 B 中缺失的列,并将它们添加到表的末...
    编程 发布于2025-04-20
  • Go语言垃圾回收如何处理切片内存?
    Go语言垃圾回收如何处理切片内存?
    在Go Slices中的垃圾收集:详细的分析在GO中,Slice是一个动态数组,引用了基础阵列。使用切片时,了解垃圾收集行为至关重要,以避免潜在的内存泄漏。考虑使用slice使用slice的以下实现:字符串{ R:=(*Q)[0] *q =(*q)[1:len(*q)] 返回...
    编程 发布于2025-04-20
  • 如何干净地删除匿名JavaScript事件处理程序?
    如何干净地删除匿名JavaScript事件处理程序?
    删除匿名事件侦听器将匿名事件侦听器添加到元素中会提供灵活性和简单性,但是当要删除它们时,可以构成挑战,而无需替换元素本身就可以替换一个问题。 element? element.addeventlistener(event,function(){/在这里工作/},false); 要解决此问题,请考虑...
    编程 发布于2025-04-20
  • 如何从PHP中的数组中提取随机元素?
    如何从PHP中的数组中提取随机元素?
    从阵列中的随机选择,可以轻松从数组中获取随机项目。考虑以下数组:; 从此数组中检索一个随机项目,利用array_rand( array_rand()函数从数组返回一个随机键。通过将$项目数组索引使用此键,我们可以从数组中访问一个随机元素。这种方法为选择随机项目提供了一种直接且可靠的方法。
    编程 发布于2025-04-20
  • 在所有浏览器中实现左对齐文本的斜线方法
    在所有浏览器中实现左对齐文本的斜线方法
    ] 在倾斜行上的文本对齐背景在倾斜行上实现左对齐的文本可能会构成挑战,在nectera时尤其是挑战。兼容性(返回IE9)。通过引入一系列平方元素并计算其尺寸,我们可以创建一个有效的解决方案: .loop(@i) when (@i > 0){ .loop((@i - 1...
    编程 发布于2025-04-20
  • 在UTF8 MySQL表中正确将Latin1字符转换为UTF8的方法
    在UTF8 MySQL表中正确将Latin1字符转换为UTF8的方法
    在UTF8表中将latin1字符转换为utf8 ,您遇到了一个问题,其中含义的字符(例如,“jáuòiñe”)在utf8 table tabled tablesset中被extect(例如,“致电。为了解决此问题,您正在尝试使用“ mb_convert_encoding”和“ iconv”转换受...
    编程 发布于2025-04-20
  • 您如何在Laravel Blade模板中定义变量?
    您如何在Laravel Blade模板中定义变量?
    在Laravel Blade模板中使用Elegance 在blade模板中如何分配变量对于存储以后使用的数据至关重要。在使用“ {{}}”分配变量的同时,它可能并不总是最优雅的解决方案。幸运的是,Blade通过@php Directive提供了更优雅的方法: $ old_section =“...
    编程 发布于2025-04-20

免责声明: 提供的所有资源部分来自互联网,如果有侵犯您的版权或其他权益,请说明详细缘由并提供版权或权益证明然后发到邮箱:[email protected] 我们会第一时间内为您处理。

Copyright© 2022 湘ICP备2022001581号-3