增强 CI/CD 管道中的测试可靠性和效率

片状测试是一种有时会通过有时会失败的测试，而无需对正在测试的代码进行任何更改。这些测试可能特别麻烦，因为它们破坏了测试套件的可靠性。

考虑配置您的 CI/CD 管道，以便仅在构建通过后，仅当您的代码通过一组预定义的测试用例时。

在理想情况下，您必须为每个测试用例设置优先级，并假设最新的代码库至少能通过一定比例的用例。

但是由于不稳定的测试用例，它们不断失败，因为它们可能已经过时或者用例发生了更改，您的测试用例失败并且合并拉取请求成为一场噩梦。我们不应该减少通过案例的百分比，而应该考虑修改这些测试案例。

了解 Flaky Test 的原因。

1. 不可预测的测试结果：即使代码没有改变，不稳定的测试有时会通过，有时会失败，从而导致不可预测性。这种随机性会使测试结果变得难以信任。

2. 复杂调试：追踪不稳定测试的根本原因可能具有挑战性，因为问题可能无法一致地重现，从而难以识别和修复。

3. 浪费时间和资源：开发人员可能会花费大量时间重新运行测试、调查误报以及调试实际上与代码功能无关的问题。

4. 对持续集成 (CI) 的影响：不稳定的测试可能会破坏持续集成管道，导致不必要的构建失败并降低自动化测试流程的整体效率。

5. 错误的信心或不信任：不稳定的测试可能会在偶尔通过时产生错误的信心，或者在意外失败时导致对测试套件的不信任，从而使测试结果更加难以依赖。

缓解 Flaky 测试用例的方法。

1. 缓解的最佳实践：为了减少不稳定的测试，开发人员可以模拟外部依赖项，使用确定性数据，确保测试是隔离的，并避免依赖于执行的时间或顺序。

2. 自动检测：实施自动化工具，通过多次运行测试并比较结果来检测不稳定的测试，有助于在开发周期的早期识别和解决不稳定的问题。

3. 测试隔离：确保每个测试完全隔离运行，不依赖共享状态或外部因素，可以显着减少出现不稳定的可能性。

4. 定期维护：定期审查和重构测试套件以删除或修复不稳定的测试有助于保持测试过程的完整性和可靠性。

缓解不稳定测试用例的不同策略和工具

1. Jenkins、CircleCI、Travis CI：此类持续集成/持续部署 (CI/CD) 工具可以配置为重新运行失败的测试，帮助识别不稳定的测试。他们通常有插件或内置支持来处理不稳定的测试。

2. Docker：公司使用 Docker 创建隔离环境来运行测试。这可以确保每次执行测试时都有一致且干净的环境，从而减少因环境差异而导致的不稳定。

3. 虚拟机 (VM)：与 Docker 类似，VM 可用于确保测试在受控且隔离的环境中运行，最大限度地减少其他进程或依赖项的干扰。

4. 使用机器学习进行统计分析：一些高级系统使用机器学习来分析测试结果并识别表明不稳定测试的模式。这有助于主动识别和解决不稳定问题。

5. 代码审查策略和版本控制挂钩：实施严格的代码审查策略，包括检查潜在的不稳定来源，可以防止引入不稳定的测试。
   在合并更改之前使用预提交挂钩或其他版本控制机制以受控方式运行测试可以尽早捕获不稳定的测试。

一些大型组织的策略

1. 谷歌：

• 重新运行失败的测试：Google 有一项政策，要求他们重新运行无法确定失败是否一致的测试。这有助于识别不稳定的测试。他们还拥有内部工具和基础设施来管理和减轻其广泛的测试套件中的不稳定情况。

• 测试隔离：Google强调测试隔离的重要性，以确保测试不会相互干扰，这对于减少不稳定至关重要。

1. 微软：

• 测试分析和报告：Microsoft 使用详细的测试分析和报告工具来跟踪不稳定的测试。通过分析一段时间内的测试结果，他们可以识别模式并查明不稳定的测试。

• 隔离不稳定的测试：微软有时会隔离不稳定的测试，将它们与主测试套件分开，直到它们被修复，以防止它们影响整体测试结果。

3. Facebook：

• Detox：Facebook 开发了一个名为 Detox 的开源库来测试他们的移动应用程序。 Detox 确保测试在一致的状态和环境中运行，减少异步操作和其他计时问题引起的不稳定。

• 持续测试：Facebook 将持续测试集成到其开发过程中，使用工具自动重新运行测试并在开发周期的早期识别不稳定的行为。

4。 Netflix：

• 混沌工程：Netflix 采用混沌工程实践来测试其系统的弹性。通过有意引入故障和中断，他们可以识别不稳定的测试并提高测试和系统的稳健性。

• 自动重试：Netflix 在 CI/CD 管道中使用自动重试机制来重新运行间歇性失败的测试，帮助识别和管理不稳定的测试。

5。领英：

• Flaky 测试管理工具：LinkedIn 专门开发了用于管理 Flaky 测试的工具。这些工具有助于跟踪不稳定的测试，提供对其发生情况的可见性，并确定其解决方案的优先级。

• 测试环境标准化：LinkedIn专注于标准化测试环境，以减少可变性并确保测试在一致的条件下运行，这有助于减少不稳定。

关于作者

Apoorv Tomar 是一名软件开发人员，在 **Mindroast 上发表博客。您可以在社交网络上联系。订阅**新闻通讯以获取最新精选内容。