Leapwork研究显示,测试中的AI仍然依赖于可靠性,而不仅仅是创新

来源: InfoQ - 云计算

原文

Leapwork近期发布的最新研究显示,尽管人们对AI驱动的软件测试信心快速增长,但准确性、稳定性和持续的人工投入,仍是团队愿意在多大程度上信任自动化的决定性因素。 这项研究基于全球300多名软件工程师、QA负责人和IT决策者的反馈,结果表明,企业将AI视为未来测试的核心,但前提是AI能够提供可靠、可维护的结果。

调查显示,88%的受访者表示AI已经成为其组织测试战略的优先事项,近半数将其列为关键或高优先级事项。乐观情绪同样高涨,80%的人相信未来两年AI将对测试产生积极影响。但应用仍不均衡,尽管65%的人表示已在部分测试活动中使用或探索AI,但目前仅有12.6%在关键测试工作流中全面应用AI,反映出谨慎、渐进式的落地态度。

热情与信心之间的差距,主要源于对准确性和测试稳定性的担忧。超过半数(54%)的受访者表示,对质量和可靠性的顾虑阻碍了AI的更广泛应用。团队提到的最大挑战包括,测试用例脆弱、难以跨系统实现端到端的流程自动化,以及维护更新测试所需的时间。事实上,45%的人表示,在关键系统变更后更新测试需要三天或更久,这拖慢了发布周期,并削弱了对自动化的信任。

人工投入同样在持续限制进展。目前平均只有41%的测试实现了自动化。71%的受访者认为测试用例编写是最大的瓶颈,其次是测试维护(56%)。超过半数的受访者(54%)表示时间不足是采用或改进测试自动化的主要障碍,这也解释了为何许多团队在部署AI时仍保持谨慎。

Leapwork首席执行官Kenneth Ziegler表示,“测试团队是否会在工作中运用智能体的能力,这已经不再是问题。问题在于他们能多有信心、多可预测地依赖它。我们的研究表明,团队希望AI帮助他们更快地推进、扩大覆盖范围并减少工作量,但准确性仍是基本要求。真正的机会在于将AI与稳定的自动化结合应用,让团队在不牺牲结果可信度的前提下获得速度与规模。”

研究结果表明,企业将AI与成熟、稳健的自动化底座结合,而非将其视为独立的解决方案,才能实现最大的价值。随着系统日益复杂、变更愈发频繁,在创新与可靠性之间取得平衡的团队,将更有信心规模化落地AI驱动的测试。

Leapwork的调查与行业内多项研究结论一致:

Puppet很具影响力的DevOps调查显示,高绩效团队在测试自动化、稳定性和快速反馈环上投入显著更多,而CI/CD流水线不稳定的团队交付速度更慢、对自动化信心更低。在其2024年DevOps现状的报告中,Puppet指出,拥有成熟自动化测试实践的团队在可靠性、交付周期和部署频率等方面表现更佳,但前提是测试可靠且易于维护。不可靠或不稳定的测试被列为自动化交付流程的首要阻碍之一。

GitLab年度调研收集了数千名开发者与DevOps从业者的反馈,发现超过70%的受访者认为AI将重塑软件开发工作流,包括测试与安全。但与Leapwork的发现类似,目前只有少数人在生产工作流中深度使用AI工具。许多受访者对可信度、可解释性以及与现有工具链的集成表示担忧,尤其是在受监管或企业级场景中。

Tricentis全球质量报告对全球企业开展调研后发现,各类测试(单元、功能、性能等)的自动化覆盖率平均在30%–50%之间,与Leapwork约41%的结果相符。受访者再次将维护成本、测试不稳定、缺乏熟练人才列为进一步提升的主要制约因素。报告还指出一个新兴趋势:AI辅助测试生成工具正受到关注,但由于风险与准确性顾虑,许多团队不愿完全取代人工验证。

DORA研究(通常通过Google Cloud发布)虽然并非只聚焦AI,但其结果强调,拥有成熟的测试自动化、可观测性和故障恢复实践的团队,在部署频率、变更交付周期等关键指标上的表现要优于同行。在近期版本中,DORA调查加入了AI工具相关的问题。反馈显示,在DevOps工具中采用AI功能的团队,同样在可观测性和自动化验证上投入巨大,这表明AI在坚实的自动化基础之上效果最佳。

IDC发布的更广泛企业AI调查显示,尽管60%–70%的公司正在各业务部门试点AI场景,但仅有20%–30%将AI部署为稳定、生产级的应用。被问及原因时,受访者提到了治理风险、人才短缺和运营复杂度,这与Leapwork受访者对测试工具采用持谨慎态度的原因相似。

查看英文原文:Leapwork Research Shows Why AI in Testing Still Depends on Reliability, Not Just Innovation