”工欲善其事,必先利其器。“—孔子《论语.录灵公》
首页 > 编程 > 性能陷阱:通用库和辅助对象

性能陷阱:通用库和辅助对象

发布于2024-11-02
浏览:560

便利性和性能通常成反比。如果代码很容易使用,那么它的优化程度就较低。如果优化的话就不太方便了。高效的代码需要更接近实际运行的内容、运行方式的细节。

我在我们正在进行的为癌症研究运行和优化 DeepCell 细胞分割的工作中遇到了一个例子。 DeepCell AI 模型可以预测哪些像素最有可能位于细胞中。从那里,我们从最可能的像素“洪水填充”,直到到达单元格边界(低于某个阈值)。

这个过程的一部分涉及平滑预测细胞内的小间隙,这可能由于多种原因而发生,但在生物学上是不可能的。 (想想甜甜圈孔,而不是细胞的多孔膜。)

补洞算法是这样的:

  • 识别对象(具有相同数字 id 的给定单元格标签的连续像素)。
  • 计算这些单元的“欧拉数”,即形状表面的度量。
  • 如果欧拉数小于 1(即表面有间隙),请平滑孔洞。

这是维基百科文章中欧拉数的示例;圆(仅直线部分)的欧拉特征为零,而圆盘(“填充”圆)的值为 1。

Performance trap: general libraries & helper objects

不过,我们不是在这里讨论定义或计算欧拉数。我们将讨论该库计算欧拉数的简单路径为何效率很低。

首先要做的事情。我们通过使用 Speedscope 查看此配置文件注意到了这个问题:

Performance trap: general libraries & helper objects

它显示在 Regionprops 上花费了约 32 毫秒(约 15%)。这个视图是左重的,如果我们进入时间轴视图并放大,我们会得到这个:

Performance trap: general libraries & helper objects

(请注意,我们执行了两次,因此此处约为 16 毫秒,其他地方约为 16 毫秒,未显示。)

这立即令人怀疑:使用 find_objects 查找对象的“有趣”部分是第一个条子,0.5 毫秒。它返回一个元组列表,而不是生成器,所以当它完成时就完成了。那么其他的东西又怎么样呢?我们正在构造 RegionProperties 对象。让我们放大其中之一。

Performance trap: general libraries & helper objects

这些小条子(我们不会放大)是自定义 __setattr__ 调用:RegionProperties 对象支持别名,例如,如果您设置属性 ConvexArea,它会重定向到标准属性 area_convex。即使我们没有使用它,我们仍然会使用属性转换器。

此外:我们甚至没有使用区域属性中计算的大部分属性。我们只关心欧拉数:

props = regionprops(np.squeeze(label_img.astype('int')), cache=False)
for prop in props:
    if prop.euler_number 



反过来,它仅使用区域属性的最基本方面:find_objects 检测到的图像区域(原始图像的切片)。

因此,我们将代码更改为 fill_holes 代码,以简单地绕过regionprops通用函数。相反,我们调用 find_objects 并将生成的图像子区域传递给 euler_number 函数(而不是 RegionProperties 对象上的方法)。

这是拉取请求:deepcell-imaging#358 跳过 Regionprops 构建

通过跳过中间对象,我们的 fill_holes 操作得到了不错的性能提升:

图像尺寸 加速
26万像素 48ms 40ms 8 毫秒 (17%)
1.4亿像素 15.6s 11.7秒 3.9秒(25%)

对于较大的图像,4s 约占整体运行时间的 3%——不是大部分,但也不算太差。

版本声明 本文转载于:https://dev.to/dchaley/performance-trap-general-libraries-helper-objects-h2k?1如有侵犯,请联系[email protected]删除
最新教程 更多>
  • 在PHP中如何高效检测空数组?
    在PHP中如何高效检测空数组?
    在PHP 中检查一个空数组可以通过各种方法在PHP中确定一个空数组。如果需要验证任何数组元素的存在,则PHP的松散键入允许对数组本身进行直接评估:一种更严格的方法涉及使用count()函数: if(count(count($ playerList)=== 0){ //列表为空。 } 对...
    编程 发布于2025-07-15
  • 如何使用替换指令在GO MOD中解析模块路径差异?
    如何使用替换指令在GO MOD中解析模块路径差异?
    在使用GO MOD时,在GO MOD 中克服模块路径差异时,可能会遇到冲突,其中可能会遇到一个冲突,其中3派对软件包将另一个带有导入套件的path package the Imptioned package the Imptioned package the Imported tocted pac...
    编程 发布于2025-07-15
  • 如何检查对象是否具有Python中的特定属性?
    如何检查对象是否具有Python中的特定属性?
    方法来确定对象属性存在寻求一种方法来验证对象中特定属性的存在。考虑以下示例,其中尝试访问不确定属性会引起错误: >>> a = someClass() >>> A.property Trackback(最近的最新电话): 文件“ ”,第1行, attributeError:SomeClass实...
    编程 发布于2025-07-15
  • Go语言垃圾回收如何处理切片内存?
    Go语言垃圾回收如何处理切片内存?
    Garbage Collection in Go Slices: A Detailed AnalysisIn Go, a slice is a dynamic array that references an underlying array.使用切片时,了解垃圾收集行为至关重要,以避免潜在的内存泄...
    编程 发布于2025-07-15
  • Python中何时用"try"而非"if"检测变量值?
    Python中何时用"try"而非"if"检测变量值?
    使用“ try“ vs.” if”来测试python 在python中的变量值,在某些情况下,您可能需要在处理之前检查变量是否具有值。在使用“如果”或“ try”构建体之间决定。“ if” constructs result = function() 如果结果: 对于结果: ...
    编程 发布于2025-07-15
  • 如何在无序集合中为元组实现通用哈希功能?
    如何在无序集合中为元组实现通用哈希功能?
    在未订购的集合中的元素要纠正此问题,一种方法是手动为特定元组类型定义哈希函数,例如: template template template 。 struct std :: hash { size_t operator()(std :: tuple const&tuple)const {...
    编程 发布于2025-07-15
  • 如何在Java的全屏独家模式下处理用户输入?
    如何在Java的全屏独家模式下处理用户输入?
    Handling User Input in Full Screen Exclusive Mode in JavaIntroductionWhen running a Java application in full screen exclusive mode, the usual event ha...
    编程 发布于2025-07-15
  • 如何在Java中正确显示“ DD/MM/YYYY HH:MM:SS.SS”格式的当前日期和时间?
    如何在Java中正确显示“ DD/MM/YYYY HH:MM:SS.SS”格式的当前日期和时间?
    如何在“ dd/mm/yyyy hh:mm:mm:ss.ss”格式“ gormat 解决方案: args)抛出异常{ 日历cal = calendar.getInstance(); SimpleDateFormat SDF =新的SimpleDateFormat(“...
    编程 发布于2025-07-15
  • 将图片浮动到底部右侧并环绕文字的技巧
    将图片浮动到底部右侧并环绕文字的技巧
    在Web设计中围绕在Web设计中,有时可以将图像浮动到页面右下角,从而使文本围绕它缠绕。这可以在有效地展示图像的同时创建一个吸引人的视觉效果。 css位置在右下角,使用css float and clear properties: img { 浮点:对; ...
    编程 发布于2025-07-15
  • 如何使用不同数量列的联合数据库表?
    如何使用不同数量列的联合数据库表?
    合并列数不同的表 当尝试合并列数不同的数据库表时,可能会遇到挑战。一种直接的方法是在列数较少的表中,为缺失的列追加空值。 例如,考虑两个表,表 A 和表 B,其中表 A 的列数多于表 B。为了合并这些表,同时处理表 B 中缺失的列,请按照以下步骤操作: 确定表 B 中缺失的列,并将它们添加到表的末...
    编程 发布于2025-07-15
  • 人脸检测失败原因及解决方案:Error -215
    人脸检测失败原因及解决方案:Error -215
    错误处理:解决“ error:((-215)!empty()in Function Multultiscale中的“ openCV 要解决此问题,必须确保提供给HAAR CASCADE XML文件的路径有效。在提供的代码片段中,级联分类器装有硬编码路径,这可能对您的系统不准确。相反,OPENCV提...
    编程 发布于2025-07-15
  • 在C#中如何高效重复字符串字符用于缩进?
    在C#中如何高效重复字符串字符用于缩进?
    在基于项目的深度下固定字符串时,重复一个字符串以进行凹痕,很方便有效地有一种有效的方法来返回字符串重复指定的次数的字符串。使用指定的次数。 constructor 这将返回字符串“ -----”。 字符串凹痕= new String(' - ',depth); console.Wr...
    编程 发布于2025-07-15
  • Python读取CSV文件UnicodeDecodeError终极解决方法
    Python读取CSV文件UnicodeDecodeError终极解决方法
    在试图使用已内置的CSV模块读取Python中时,CSV文件中的Unicode Decode Decode Decode Decode decode Error读取,您可能会遇到错误的错误:无法解码字节 在位置2-3中:截断\ uxxxxxxxx逃脱当CSV文件包含特殊字符或Unicode的路径逃...
    编程 发布于2025-07-15
  • 为什么不````''{margin:0; }`始终删除CSS中的最高边距?
    为什么不````''{margin:0; }`始终删除CSS中的最高边距?
    在CSS 问题:不正确的代码: 全球范围将所有余量重置为零,如提供的代码所建议的,可能会导致意外的副作用。解决特定的保证金问题是更建议的。 例如,在提供的示例中,将以下代码添加到CSS中,将解决余量问题: body H1 { 保证金顶:-40px; } 此方法更精确,避免了由全局保证金重置引...
    编程 发布于2025-07-15
  • 为什么我会收到MySQL错误#1089:错误的前缀密钥?
    为什么我会收到MySQL错误#1089:错误的前缀密钥?
    mySQL错误#1089:错误的前缀键错误descript [#1089-不正确的前缀键在尝试在表中创建一个prefix键时会出现。前缀键旨在索引字符串列的特定前缀长度长度,可以更快地搜索这些前缀。了解prefix keys `这将在整个Movie_ID列上创建标准主键。主密钥对于唯一识别...
    编程 发布于2025-07-15

免责声明: 提供的所有资源部分来自互联网,如果有侵犯您的版权或其他权益,请说明详细缘由并提供版权或权益证明然后发到邮箱:[email protected] 我们会第一时间内为您处理。

Copyright© 2022 湘ICP备2022001581号-3