”工欲善其事,必先利其器。“—孔子《论语.录灵公》
首页 > 编程 > Go 中的扇出-扇南模式

Go 中的扇出-扇南模式

发布于2024-07-31
浏览:927

Fanout-Fanin Pattern in Go

在之前的两篇文章中,我们分别介绍了 Fanout 和 Fanin。通常情况下,我们将它们一起使用,因为我们有一个数据流,我们希望单独对项目进行操作,并且可以使用并发安全地执行此操作。因此,我们扇出到多个工作线程,然后扇回到单个流。

例如,假设您有一个很大的日志文件。您可以将文件分成多个块,允许每个工作人员同时操作文件的不同部分,然后合并结果。

如果您遵循前两篇文章,这种模式是显而易见的。如果您不确定,请参阅上面的链接。

// produce is simulating our single input as a channel
func produce() chan int {
    ch := make(chan int)
    go func() {
        for i := 0; i 



有一个 Produce() 函数可以创建模拟的数字输入流。

有一个工作函数在输入通道上运行,直到没有更多数据为止。它对每个值“处理”输入数据(确定该值是奇数还是偶数),然后将结果结构发送到输出通道。

请注意,当每个工作人员完成后,它会关闭其结果通道。这对于防止死锁是必要的,因为否则 fanin 操作将休眠等待 chan 上的更多数据。

主线程从生产中获取输入流,然后启动许多工作人员,为每个工作人员提供自己的通道,将其结果发送到该通道。

这些结果通道随后被发送到 fanin 操作。为了扇入,我们创建一个通道来接收输出,然后为每个工作通道启动一个 goroutine。每个 goroutine 只是在通道上进行迭代,直到没有更多数据为止,然后终止。 请记住,我们关闭了工作线程中的结果通道,这就是允许 for 循环终止的原因

请注意,我们使用 WaitGroup 进行 fanin 过程。这让我们知道所有结果通道的所有结果何时已组合到输出通道中。当发生这种情况时,我们关闭输出通道,以便任何消耗输出的下游线程都可以终止。

有了输出通道中的所有数据,主线程就可以继续显示结果了。请注意,我们使用布尔通道来防止主线程在一切完成之前终止;否则,它将终止进程。

请注意,还有另一种使用 select 语句进行扇入的方法。这里使用的技术更干净一些,因为我们可以增加或减少工人的数量。

另请注意,我们尚未解决有关 SIGTERM 或 SIGINT 等问题的提前终止的任何问题。这增加了一点复杂性。

您将如何实现这一点? 扇出/扇入模式还有其他实现。请在下面留下您的评论和想法?

谢谢!

这篇文章以及本系列所有文章的代码可以在这里找到

版本声明 本文转载于:https://dev.to/johnscode/fanout-fanin-in-go-3h9o?1如有侵犯,请联系[email protected]删除
最新教程 更多>
  • 如何在 C++ 中定义静态 const std::string 成员?
    如何在 C++ 中定义静态 const std::string 成员?
    定义 const std::string 类型的静态数据成员在 C 中,定义 std::string 类型的私有静态 const 成员在类内使用类内初始化,如下所示,不符合C标准:class A { private: static const string RECTANGLE = ...
    编程 发布于2024-12-21
  • 使用 Uvicorn 在 FastAPI 中发出并发 HTTP 请求时如何避免“ConnectionClosed”错误?
    使用 Uvicorn 在 FastAPI 中发出并发 HTTP 请求时如何避免“ConnectionClosed”错误?
    在 Uvicorn/FastAPI 中发出 HTTP 请求处理使用 FastAPI 和 Uvicorn 构建的 HTTP 端点时,通常会从外部 API 请求数据。但是,在处理多个并发请求时,可能会出现“can't handle event type ConnectionClosed when...
    编程 发布于2024-12-21
  • 如何修复 macOS 上 Django 中的“配置不正确:加载 MySQLdb 模块时出错”?
    如何修复 macOS 上 Django 中的“配置不正确:加载 MySQLdb 模块时出错”?
    MySQL配置不正确:相对路径的问题在Django中运行python manage.py runserver时,可能会遇到以下错误:ImproperlyConfigured: Error loading MySQLdb module: dlopen(/Library/Python/2.7/site-...
    编程 发布于2024-12-21
  • 如何使用非标准证书文件在Go Web服务器上建立HTTPS?
    如何使用非标准证书文件在Go Web服务器上建立HTTPS?
    如何使用非标准证书文件在 Go Web 服务器上建立 HTTPS提供的文档建议连接三个 .pem 文件。但是,如果您没有这些文件,以下是如何使用您拥有的证书文件设置 HTTPS:组合中间证书:虽然 Go 通常需要一个串联的证书文件,其他平台仅存储根证书。为了确保兼容性,请连接中间证书:cat web...
    编程 发布于2024-12-21
  • 如何可靠地处理带有子元素的绝对定位 div 上的鼠标移出事件?
    如何可靠地处理带有子元素的绝对定位 div 上的鼠标移出事件?
    在没有 jQuery 的情况下处理带有子元素的绝对 Div 中的 Mouseout 事件处理绝对定位的 div 时,处理 mouseout 事件可能具有挑战性。默认情况下,如果鼠标悬停在父 div 内的子元素上,则在鼠标退出外部 div 之前,mouseout 事件会提前触发。要解决此问题,请考虑使...
    编程 发布于2024-12-21
  • PHP 的 `==` 和 `===` 运算符有什么区别?
    PHP 的 `==` 和 `===` 运算符有什么区别?
    PHP Double (==) 和 Triple (===) 相等比较有何不同?在 PHP 中比较值时,两个可以使用不同的运算符:松散相等 (==) 运算符和严格相同 (===) 运算符。了解它们的细微差别对于确保可靠的比较至关重要。松散相等 (==) 比较松散相等运算符在比较值之前执行类型杂乱操作...
    编程 发布于2024-12-21
  • 如何在 JavaScript 中对字符串执行数学运算?
    如何在 JavaScript 中对字符串执行数学运算?
    将字符串转换为数字进行数学运算尽管包含数字字符,但字符串不能直接作为数字进行操作。要执行算术运算,必须首先将它们转换为数字形式。考虑给出的示例:var num1 = '20', num2 = '30.5';直接添加这些字符串会导致串联:num1 num2; // '2030.5'要强制将...
    编程 发布于2024-12-21
  • 尽管代码有效,为什么 POST 请求无法捕获 PHP 中的输入?
    尽管代码有效,为什么 POST 请求无法捕获 PHP 中的输入?
    解决 PHP 中的 POST 请求故障在提供的代码片段中:action=''而不是:action="<?php echo $_SERVER['PHP_SELF'];?>";?>"检查 $_POST数组:表单提交后使用 var_dump 检查 $_POST 数...
    编程 发布于2024-12-21
  • 为什么我的 Div 重叠?了解并解决保证金崩溃问题
    为什么我的 Div 重叠?了解并解决保证金崩溃问题
    边距折叠:理解和解决 Div 布局中的重叠设计具有多个 div 元素的布局时,理解边距的概念至关重要折叠以避免不必要的重叠边距。边距折叠是一种 CSS 行为,当相邻元素的边距合并在一起时会发生,有效地增加了它们之间的总边距空间。边距折叠的原因在您的具体情况,重叠边距可能是由于以下 CSS 规则的组合...
    编程 发布于2024-12-21
  • 第一个 PHP 8.3 候选版本现已可供测试
    第一个 PHP 8.3 候选版本现已可供测试
    即将推出的 PHP 版本的第一个候选版本 PHP 8.3 现已可供测试。 第一个普遍可用的 PHP 版本计划于今年 11 月 23 日发布,PHP 8.3 的第一个候选版本是一个重要的预发布里程碑,因为它表明了 PHP 8.3 的所有更改现在已经实现,只剩下完善和错误修复了。 在 11 月 2...
    编程 发布于2024-12-21
  • 插入数据时如何修复“常规错误:2006 MySQL 服务器已消失”?
    插入数据时如何修复“常规错误:2006 MySQL 服务器已消失”?
    插入记录时如何解决“一般错误:2006 MySQL 服务器已消失”介绍:将数据插入 MySQL 数据库有时会导致错误“一般错误:2006 MySQL 服务器已消失”。当与服务器的连接丢失时会出现此错误,通常是由于 MySQL 配置中的两个变量之一所致。解决方案:解决此错误的关键是调整wait_tim...
    编程 发布于2024-12-21
  • 如何正确处理 JSON 数据中的换行符?
    如何正确处理 JSON 数据中的换行符?
    处理 JSON 中的换行符处理 JSON 数据时,必须正确处理换行符以避免意外错误。下面是该问题及其解决方案的详细说明。问题使用 eval 或 JSON.parse 解析包含换行符的 JSON 数据时,可能会遇到这样的错误作为“未终止的字符串文字”。这是因为 JSON 中的双引号字符串中无法识别换行...
    编程 发布于2024-12-21
  • Bootstrap 4 Beta 中的列偏移发生了什么?
    Bootstrap 4 Beta 中的列偏移发生了什么?
    Bootstrap 4 Beta:列偏移的删除和恢复Bootstrap 4 在其 Beta 1 版本中引入了重大更改柱子偏移了。然而,随着 Beta 2 的后续发布,这些变化已经逆转。从 offset-md-* 到 ml-auto在 Bootstrap 4 Beta 1 中, offset-md-*...
    编程 发布于2024-12-21
  • 您是否应该使用持久 PDO 连接:权衡性能收益与潜在风险?
    您是否应该使用持久 PDO 连接:权衡性能收益与潜在风险?
    使用持久 PDO 连接的缺点:意外后果虽然 PDO 中的持久连接旨在通过缓存和重用连接来增强性能,但它们可以还会引入可能影响性能的意外后果。事务和连接状态问题:持久连接的一个显着缺点是意外的脚本终止会留下打开的连接,这可能会导致各种问题:锁定表: 如果死脚本锁定了表,它们将保持锁定状态,直到持久连接...
    编程 发布于2024-12-21
  • 大批
    大批
    方法是可以在对象上调用的 fns 数组是对象,因此它们在 JS 中也有方法。 slice(begin):将数组的一部分提取到新数组中,而不改变原始数组。 let arr = ['a','b','c','d','e']; // Usecase: Extract till index p...
    编程 发布于2024-12-21

免责声明: 提供的所有资源部分来自互联网,如果有侵犯您的版权或其他权益,请说明详细缘由并提供版权或权益证明然后发到邮箱:[email protected] 我们会第一时间内为您处理。

Copyright© 2022 湘ICP备2022001581号-3