”工欲善其事,必先利其器。“—孔子《论语.录灵公》
首页 > 编程 > 性能陷阱:通用库和辅助对象

性能陷阱:通用库和辅助对象

发布于2024-11-02
浏览:257

便利性和性能通常成反比。如果代码很容易使用,那么它的优化程度就较低。如果优化的话就不太方便了。高效的代码需要更接近实际运行的内容、运行方式的细节。

我在我们正在进行的为癌症研究运行和优化 DeepCell 细胞分割的工作中遇到了一个例子。 DeepCell AI 模型可以预测哪些像素最有可能位于细胞中。从那里,我们从最可能的像素“洪水填充”,直到到达单元格边界(低于某个阈值)。

这个过程的一部分涉及平滑预测细胞内的小间隙,这可能由于多种原因而发生,但在生物学上是不可能的。 (想想甜甜圈孔,而不是细胞的多孔膜。)

补洞算法是这样的:

  • 识别对象(具有相同数字 id 的给定单元格标签的连续像素)。
  • 计算这些单元的“欧拉数”,即形状表面的度量。
  • 如果欧拉数小于 1(即表面有间隙),请平滑孔洞。

这是维基百科文章中欧拉数的示例;圆(仅直线部分)的欧拉特征为零,而圆盘(“填充”圆)的值为 1。

Performance trap: general libraries & helper objects

不过,我们不是在这里讨论定义或计算欧拉数。我们将讨论该库计算欧拉数的简单路径为何效率很低。

首先要做的事情。我们通过使用 Speedscope 查看此配置文件注意到了这个问题:

Performance trap: general libraries & helper objects

它显示在 Regionprops 上花费了约 32 毫秒(约 15%)。这个视图是左重的,如果我们进入时间轴视图并放大,我们会得到这个:

Performance trap: general libraries & helper objects

(请注意,我们执行了两次,因此此处约为 16 毫秒,其他地方约为 16 毫秒,未显示。)

这立即令人怀疑:使用 find_objects 查找对象的“有趣”部分是第一个条子,0.5 毫秒。它返回一个元组列表,而不是生成器,所以当它完成时就完成了。那么其他的东西又怎么样呢?我们正在构造 RegionProperties 对象。让我们放大其中之一。

Performance trap: general libraries & helper objects

这些小条子(我们不会放大)是自定义 __setattr__ 调用:RegionProperties 对象支持别名,例如,如果您设置属性 ConvexArea,它会重定向到标准属性 area_convex。即使我们没有使用它,我们仍然会使用属性转换器。

此外:我们甚至没有使用区域属性中计算的大部分属性。我们只关心欧拉数:

props = regionprops(np.squeeze(label_img.astype('int')), cache=False)
for prop in props:
    if prop.euler_number 



反过来,它仅使用区域属性的最基本方面:find_objects 检测到的图像区域(原始图像的切片)。

因此,我们将代码更改为 fill_holes 代码,以简单地绕过regionprops通用函数。相反,我们调用 find_objects 并将生成的图像子区域传递给 euler_number 函数(而不是 RegionProperties 对象上的方法)。

这是拉取请求:deepcell-imaging#358 跳过 Regionprops 构建

通过跳过中间对象,我们的 fill_holes 操作得到了不错的性能提升:

图像尺寸 加速
26万像素 48ms 40ms 8 毫秒 (17%)
1.4亿像素 15.6s 11.7秒 3.9秒(25%)

对于较大的图像,4s 约占整体运行时间的 3%——不是大部分,但也不算太差。

版本声明 本文转载于:https://dev.to/dchaley/performance-trap-general-libraries-helper-objects-h2k?1如有侵犯,请联系[email protected]删除
最新教程 更多>
  • Item 避免使用其他类型更合适的字符串
    Item 避免使用其他类型更合适的字符串
    1。避免使用字符串替代其他数据类型: 字符串旨在表示文本,但经常被误用来表示数字、枚举或聚合结构。 如果数据本质上是数字,请使用 int、float 或 BigInteger 等类型,而不是 String。 String age = "30"; // incorreto int age = 30;...
    编程 发布于2024-11-02
  • 如何使用sync.WaitGroup防止Go并发死锁?
    如何使用sync.WaitGroup防止Go并发死锁?
    解决 Goroutines 死锁在这种情况下,您在 Go 并发代码中遇到了死锁错误。让我们深入研究这个问题并提供一个有效的解决方案。该错误是由于生产者和消费者的行为不匹配而发生的。在生产者函数中实现的生产者在有限的时间内在通道 ch 上发送值。然而,存在于主函数中的消费者无限期地运行,无休止地尝试从...
    编程 发布于2024-11-02
  • 如何处理文本文件中的 Unicode 文本:无错误编写的完整指南
    如何处理文本文件中的 Unicode 文本:无错误编写的完整指南
    文本文件中的 Unicode 文本:无错写作综合指南从 Google 文档中提取的编码数据可能具有挑战性,尤其是当遇到需要转换为 HTML 使用的非 ASCII 符号时。本指南提供了处理 Unicode 文本并防止编码错误的解决方案。最初,在数据检索期间将所有内容转换为 Unicode 并将其写入文...
    编程 发布于2024-11-02
  • EchoAPI 与 Insomnia:结合实例进行综合比较
    EchoAPI 与 Insomnia:结合实例进行综合比较
    作为一名全栈开发人员,我知道拥有一流的工具来调试、测试和记录 API 是多么重要。 EchoAPI 和 Insomnia 是两个出色的选项,每个选项都有自己独特的特性和功能。让我带您了解这些工具,比较它们的功能和优点,给您一些实际示例,并帮助您决定何时使用 EchoAPI 或 Insomnia。 ...
    编程 发布于2024-11-02
  • 出发时间和持续时间|编程教程
    出发时间和持续时间|编程教程
    介绍 本实验旨在测试您对 Go 的时间和持续时间支持的理解。 时间 下面的代码包含如何在 Go 中使用时间和持续时间的示例。但是,代码的某些部分丢失了。您的任务是完成代码,使其按预期工作。 Go编程语言基础知识。 熟悉 Go 的时间和持续时间支持。 $ go run...
    编程 发布于2024-11-02
  • 起重面试问答
    起重面试问答
    1. JavaScript 中什么是提升? 答案: 提升是执行上下文创建阶段为变量和函数分配内存的过程。在此过程中,为变量分配了内存,并为变量分配了值 undefined。对于函数,整个函数定义存储在内存中的特定地址,并且对其的引用放置在该特定执行上下文中的堆栈上。 ...
    编程 发布于2024-11-02
  • 了解 JavaScript 中的文档对象模型 (DOM)
    了解 JavaScript 中的文档对象模型 (DOM)
    你好,神奇的 JavaScript 开发者? 浏览器提供了一个称为文档对象模型 (DOM) 的编程接口,它允许脚本(特别是 JavaScript)与网页布局进行交互。网页的文档对象模型 (DOM) 是一种分层树状结构,它将页面的组件排列成对象,由浏览器在加载时创建。借助此范例,文档...
    编程 发布于2024-11-02
  • 开始使用 SPRING BATCH 进行编程
    开始使用 SPRING BATCH 进行编程
    Introduction Dans vos projets personnels ou professionnels, Il vous arrive de faire des traitements sur de gros volumes de données. Le traite...
    编程 发布于2024-11-02
  • 使用 CSS 让您的 Github 个人资料脱颖而出
    使用 CSS 让您的 Github 个人资料脱颖而出
    以前,自定义 Github 个人资料的唯一方法是更新图片或更改名称。这意味着每个 Github 配置文件看起来都一样,自定义它或脱颖而出的选项很少。 从那时起,您可以选择使用 Markdown 创建自定义部分。您可以包括您的简历、您的兴趣和爱好,让您的个人资料反映您的身份。这是任何人在访问您的个人资...
    编程 发布于2024-11-02
  • TypeScript 实用程序类型:增强代码可重用性
    TypeScript 实用程序类型:增强代码可重用性
    TypeScript 提供内置实用程序类型,允许开发人员有效地转换和重用类型,使您的代码更加灵活和 DRY。在本文中,我们将探讨关键实用程序类型,例如 Partial、Pick、Omit 和 Record,以帮助您将 TypeScript 技能提升到新的水平。 Partial:使所有属性可选 部分实...
    编程 发布于2024-11-02
  • 电报 window.open(url, &#_blank&#);在ios上工作很奇怪
    电报 window.open(url, &#_blank&#);在ios上工作很奇怪
    我正在制作一个电报机器人,我想添加将一些信息从小型应用程序转发到聊天的选项。我决定使用 window.open(url, '_blank');在我在 iPhone 上尝试之前它一直运行良好。我没有转发,而是分享(这是一件大事,我正好需要转发一条消息)。我有一些如何处理它的想法,但它们...
    编程 发布于2024-11-02
  • 谁是前端开发人员?
    谁是前端开发人员?
    当今互联网上每个网站或平台的用户界面部分都是前端开发人员工作的结果。他们参与创建用户友好的界面,确保网站的外观和功能。但到底谁是前端开发人员呢?我简单解释一下。 用户看到的部分是前端 打开网站时首先看到的是网页界面:颜色、按钮、文字、动画。这都是由前端开发人员创建的。前端是网站或应用...
    编程 发布于2024-11-02
  • 如何使用保留的 CSS 样式将 HTML 内容另存为 PDF?
    如何使用保留的 CSS 样式将 HTML 内容另存为 PDF?
    使用 CSS 将 HTML 内容保存为 PDF在 Web 开发中,即使将内容导出为不同格式,保持视觉美观也至关重要。当尝试将 HTML 元素另存为 PDF 时,这可能会带来挑战,因为 CSS 样式可能会在转换过程中丢失。对于必须在保存的 PDF 中保留 CSS 的情况,请考虑使用以下方法:创建新窗口...
    编程 发布于2024-11-02
  • 为什么使用 Print_r() 时要向 DateTime 对象添加幻像属性?
    为什么使用 Print_r() 时要向 DateTime 对象添加幻像属性?
    Print_r() 更改 DateTime 对象Print_r() 向 DateTime 对象添加属性,从而在调试期间启用自省。此行为是 PHP 5.3 中引入的内部功能的副作用,它将幻像公共属性分配给转储到文本的实例。要避免这些属性引起的错误,请改用反射。然而,不建议寻找这些属性,因为它们没有在类...
    编程 发布于2024-11-02
  • C 语言的数据结构和算法:适合初学者的方法
    C 语言的数据结构和算法:适合初学者的方法
    在 C 语言中,数据结构和算法用于组织、存储和操作数据。数据结构:数组:有序集合,使用索引访问元素链表:通过指针链接元素,支持动态长度栈:先进后出 (FILO) 原则队列:先进先出 (FIFO) 原则树:分级组织数据算法:排序:按特定顺序排序元素搜索:在集合中查找元素图形:处理节点和边之间的关系实战...
    编程 发布于2024-11-02

免责声明: 提供的所有资源部分来自互联网,如果有侵犯您的版权或其他权益,请说明详细缘由并提供版权或权益证明然后发到邮箱:[email protected] 我们会第一时间内为您处理。

Copyright© 2022 湘ICP备2022001581号-3