AI 信任鸿沟对企业 SaaS 的意义

发布: (2026年4月2日 GMT+8 21:00)
10 分钟阅读

看起来您只提供了来源链接,而没有要翻译的正文内容。请提供需要翻译的文本,我会按照要求进行翻译。

概览

在开发者社区中,AI 编码工具正出现一些奇怪的现象。

Stack Overflow 的 2025 调查 显示,AI 工具的采用率仍在上升:84 % 的开发者现在已经在使用或计划使用 AI 工具,高于 2024 年的 76 %(来源)。

与此同时,对这些工具的信任度却急剧下降。只有 29 % 的受访者信任 AI 输出的准确性——相比 2024 年的 40 % 大幅下降。更具揭示性的是,不信任 AI 工具准确性的开发者(46 %)多于信任它们的开发者(33 %),且仅有 3 % 的人报告对 AI 生成的输出有高度信任。

在短短一年内,开发者社区从对 AI 工具的谨慎乐观转变为彻底怀疑,即使采用率在加速增长。这与我们通常看到的新技术趋势相反——人们往往在使用工具越多时对其信任度越高。而在 AI 领域,采用率和信任度正朝着完全相反的方向发展,这一差距对组织在软件上如何以及在哪里投入资金具有真实的影响。让我们深入探讨。

为什么这种脱节并非非理性

乍一看,使用率与信任之间的差距似乎不合情理:人们为什么会继续使用他们不信任的工具呢? 在一次近期的深入探讨中,我们研究了开发者对当前 AI 状况的反应为何完全合乎理性,以及这揭示了开发者的身份和他们在乎的东西。

“开发者既不是本能地抗拒变革,也不是在未先确保其带来价值的情况下就急于将 AI 融入工作流的过度热衷者。他们是试图在一次范式转变中前行的专业人士,这种转变质疑了他们被训练用来思考工作的核心方面。”

AI 工具在某些任务(模板代码、文档、快速查找/直觉检查)上提供的生产力提升是真实且可衡量的。但到目前为止,开发者已经使用这些工具足够长的时间,能够识别出一种独特且危险的失效模式:看似合理却实际上错误的答案

这种失效模式使得 AI 错误比起例如抛出明确错误的损坏函数更具潜伏性。一个根本性错误却自信输出的 AI 结果,需要开发者已经具备足够的知识来发现错误。从这个角度来看,正如我的同事 Ryan Donovan 所指出的,开发者对 AI 的不信任实际上可能是一件好事。对于初级开发者——或任何在不熟悉领域解决问题的人来说,那层人类经验和判断的安全网会消失。

正如你所预料的,这种动态会削弱信心不仅针对具体输出,也针对 AI 本身。一旦被几次看似完美的幻觉所误导,你就会开始用放大镜般的细致审查 AI 的输出。当然,花在这上的时间会抵消 AI 最初承诺的效率提升。

这对 SaaS 采购决策意味着什么

如果你正在评估 SaaS 平台,尤其是那些在核心工作流中嵌入了 AI 功能的产品,信任缺口/悖论绝对应该成为你决策的一个因素。毕竟,让开发者获得他们想要且需要的工具,是推动工具采纳并实现 AI 投资回报的最佳方式。

基于此,以下是我们对当前进行 SaaS 采购决策的人的建议:

  • 询问 AI 正在完成哪些工作——以及出错时会怎样。
    为电子邮件建议主题行的 AI 功能与生成合规报告、发现安全漏洞或填充客户记录的 AI 功能之间差别巨大,风险也大不相同。任何值得评估的供应商都应该能够清晰说明其 AI 输出在哪些环节承担关键负载,以及当这些输出错误时有哪些防护措施。

  • 对供应商的声明保持同开发者对 AI 输出的怀疑态度。
    正如所有从事 AI 市场营销的人都能体会的那样,围绕 AI 的营销语言往往与技术现实相去甚远(比如自动驾驶汽车?)。“AI 驱动”并不能说明准确性、可靠性或可审计性。向供应商追问具体细节:已知的失效模式是什么?如何衡量准确性?是否有人工审查层?当 AI 出错时有什么补救措施?

  • 考虑工具如何处理不确定性。
    最值得信赖的 AI 实现会提供的不仅仅是答案,还会传达置信度、标记边缘案例并支持可观测性。正如我们上面所说,若平台对每个 AI 输出都给出相同的置信度,就应受到严肃的怀疑。能够意识并透明披露自身局限性的工具更难构建,但在真实环境中表现更佳。

  • 将验证成本计入考量。
    当用户对 AI 工具缺乏信任时,会通过反复核对输出来弥补,这实际上抵消了使用 AI 节省时间、提升准确性的初衷。在权衡 SaaS 工具中的 AI 功能时,询问“节省的时间”中有多少会被用于审计输出。

正如我们在更长的 AI 信任缺口讨论中所写的,当工程团队不信任 AI 工具时,几乎不可能实现规模化。面对压力,团队会回归他们熟悉且信任的手动流程。安全和隐私团队对部署陌生工具自然保持警惕——尤其在高度受监管的环境中。因此,弥合信任缺口不仅是锦上添花,而是实现 AI 在软件开发中承诺收益的前提条件。

AI 采用困境

范围狭窄的试点项目可能会成功,但如果不能在整个组织推动采纳,你将很难实现 AI 投资的任何回报。

使我们当前时刻如此复杂的是,组织既不能完全信任 AI 工具,也不能轻易否定它们。生产力提升是真实的(至少对于合适的任务),而技术也在进步。那 84 % 的采纳率并非泡沫;它反映了 AI 工具的真实价值,即使其可靠性尚未完全一致。

正如 Stack Overflow 的开发者调查所明确指出的,开发者打算继续使用 AI 工具,但他们希望能够验证输出并理解/说明失效模式。

企业需要做的事

  • 赢得开发者的信任,通过匹配他们的成熟度。
  • 向供应商提出更严苛的问题,关于能力、限制和数据处理。
  • 与技术团队合作,制定采购标准,反映 AI 工具实际能做的,而不是仅仅它们承诺的。
0 浏览
Back to Blog

相关文章

阅读更多 »

AI 革命进展到哪儿了?

引言 多年来,我们被承诺将迎来革命:“每个人都可以成为程序员”,“万物皆可App”,“再也不需要 SaaS”。据称 AI…