”工欲善其事,必先利其器。“—孔子《论语.录灵公》
首页 > 编程 > Go 中的扇出-扇南模式

Go 中的扇出-扇南模式

发布于2024-07-31
浏览:814

Fanout-Fanin Pattern in Go

在之前的两篇文章中,我们分别介绍了 Fanout 和 Fanin。通常情况下,我们将它们一起使用,因为我们有一个数据流,我们希望单独对项目进行操作,并且可以使用并发安全地执行此操作。因此,我们扇出到多个工作线程,然后扇回到单个流。

例如,假设您有一个很大的日志文件。您可以将文件分成多个块,允许每个工作人员同时操作文件的不同部分,然后合并结果。

如果您遵循前两篇文章,这种模式是显而易见的。如果您不确定,请参阅上面的链接。

// produce is simulating our single input as a channel
func produce() chan int {
    ch := make(chan int)
    go func() {
        for i := 0; i 



有一个 Produce() 函数可以创建模拟的数字输入流。

有一个工作函数在输入通道上运行,直到没有更多数据为止。它对每个值“处理”输入数据(确定该值是奇数还是偶数),然后将结果结构发送到输出通道。

请注意,当每个工作人员完成后,它会关闭其结果通道。这对于防止死锁是必要的,因为否则 fanin 操作将休眠等待 chan 上的更多数据。

主线程从生产中获取输入流,然后启动许多工作人员,为每个工作人员提供自己的通道,将其结果发送到该通道。

这些结果通道随后被发送到 fanin 操作。为了扇入,我们创建一个通道来接收输出,然后为每个工作通道启动一个 goroutine。每个 goroutine 只是在通道上进行迭代,直到没有更多数据为止,然后终止。 请记住,我们关闭了工作线程中的结果通道,这就是允许 for 循环终止的原因

请注意,我们使用 WaitGroup 进行 fanin 过程。这让我们知道所有结果通道的所有结果何时已组合到输出通道中。当发生这种情况时,我们关闭输出通道,以便任何消耗输出的下游线程都可以终止。

有了输出通道中的所有数据,主线程就可以继续显示结果了。请注意,我们使用布尔通道来防止主线程在一切完成之前终止;否则,它将终止进程。

请注意,还有另一种使用 select 语句进行扇入的方法。这里使用的技术更干净一些,因为我们可以增加或减少工人的数量。

另请注意,我们尚未解决有关 SIGTERM 或 SIGINT 等问题的提前终止的任何问题。这增加了一点复杂性。

您将如何实现这一点? 扇出/扇入模式还有其他实现。请在下面留下您的评论和想法?

谢谢!

这篇文章以及本系列所有文章的代码可以在这里找到

版本声明 本文转载于:https://dev.to/johnscode/fanout-fanin-in-go-3h9o?1如有侵犯,请联系[email protected]删除
最新教程 更多>

免责声明: 提供的所有资源部分来自互联网,如果有侵犯您的版权或其他权益,请说明详细缘由并提供版权或权益证明然后发到邮箱:[email protected] 我们会第一时间内为您处理。

Copyright© 2022 湘ICP备2022001581号-3