管 AI 却管不住:企业 CIO 陷入问责鸿沟

管 AI 的人,却管不住 AI

一项由 IBM 商业价值研究院发起、覆盖 33 个国家 2000 名技术高管的调查显示:三分之二(67%)的 CIO(首席信息官)与 CTO(首席技术官),要为并不完全受自己控制的 AI 系统承担责任。与此同时,70% 的受访者表示,技术在整个企业内的部署速度,已经快过 IT 部门能够追踪的节奏;77% 的人认为,AI 的采用速度已经超出了自身的治理能力。

更棘手的是顶层压力:80% 的受访者称,其 CEO 已下达加速 AI 转型的强制指令。也就是说,一边是自上而下”加快用”,一边是治理框架远未跟上。

智能体规模暴涨,事故随之而来

调查预计,到 2027 年,企业平均部署的 AI 智能体数量将达到 1661 个,较当前增长 38%。然而只有 11% 的高管表示,已为未来一年预期中的智能体部署规模”完全准备好”。

失控已经显现。受访组织在过去一年里,平均发生了 54 起需要人工干预或纠正的 AI 智能体事故;其中 17% 被归为高危。在那些高危事故中,37% 造成了数据泄露或安全突破,33% 引发了级联式系统故障,17% 触发了合规问题。

“影子 AI”才是真正的缺口

分析师指出,问题的根源在于去中心化的 AI 部署。业务团队——采购、财务、人力、市场——正绕过 IT 治理,独立引入 AI 工具。正如 Forrester 首席分析师查理·戴所概括的:AI 采用由业务主导,嵌入在各类软件服务、云平台与开发工具中,绕开了中心 IT,带来了”影子 AI”。

与传统”影子 IT”只引入未受管理的软件不同,影子 AI 引入的是未受管理的”判断”。其风险不限于安全与合规,还包括失控的成本、监管暴露、提示词注入攻击,以及智能体层本身的漏洞。Greyhound Research 的分析师桑奇特·维尔·戈吉亚的总结颇为中肯:控制权一旦触及多个平台就会分散,但责任并不会随之转移。

治理必须成为”运营能力”

好消息是,治理并非无计可施。数据显示,将治理机制直接嵌入 AI 系统本身的组织,其相关事故比主要依赖人工监督的组织少了约 25%。IDC 亚太区大数据与 AI 研究负责人迪皮卡·吉里提到,目前仅有约 16% 的组织拥有统一的 AI 治理模型。

可行的方向包括:建立集中的可观测性,让技术负责人看得见”正在跑什么、能触达什么、如何叫停”;在预置护栏内实行”受治理的去中心化”,让业务单元保留部署权;以及强化数据治理。NIST 的 AI 风险管理框架、COBIT 等,都是企业级治理可借力的工具。

对于正在加速 AI 落地的企业而言,这套挑战具有普遍性:当决策权分散、而问责仍集中在顶部时,填补”问责鸿沟”的关键,不是把一切收归中央,而是让治理更早、更可见地嵌入技术运行的每一步。