AI幻觉介入现实执法：为什么“防说错”不够，还得“防做错”？

当AI在聊天框里胡说八道，你顶多当个笑话。但如果它接入警务系统，一本正经地给出虚构的凶杀案嫌疑人线索，差点让调查跑偏呢？据报道，近期AI幻觉在现实执法等关键系统中“帮倒忙”引发震动。这标志着AI风险已从“文本错误”升级为物理破坏。对普通人而言，这意味着我们不仅要防AI“说错”，更得防它“做错”。

从“嘴瓢”到“手滑”：当代码开始干预物理世界

在咱们的日常体验里，AI在聊天框里写错诗、编造假新闻，顶多算个博君一笑的段子。但换个角度看，一旦这种“幻觉”接入现实关键系统，比如执法辅助或者具身智能，它就不再是简单的文本错误，而是物理世界的实质性破坏。

据报道，警方在调查一起复杂凶杀案时，求助于某款接入数据库的AI助手。结果，AI一本正经地提供了一条完全虚构的嫌疑人线索，差点让调查方向全盘跑偏。

这里有两个鲜明的案例对比：在厨房语境下，AI听到“把那个东西拿过来”，它去拿水杯是合理的；但在案发现场语境下，同样的指令如果让它去拿凶器，就是灾难。说白了，AI的“聪明”目前只停留在文字表面，它根本没有建立起对物理环境和具体场景的常识性敬畏。这意味着，一旦AI从屏幕走向现实，它的每一次“嘴瓢”都可能变成致命的“手滑”。

为什么现有的“安全锁”在现实里会失效？

为什么AI在屏幕上能写诗，到了现实里却容易“翻车”？据报道，一篇名为《CSF: Contextual Safety Filtering for Motion Generators》的arxiv论文点出了要害：目前的文本条件动作生成器，在物理世界中缺乏“场景依赖的安全概念”。

这意味着，现有的安全防护大多停留在“检查提示词”的层面。这就像只检查司机的驾照，却不看前方的路况。在物理动作生成中，同一个动作指令可能指向物体，也可能指向人。AI缺乏这种上下文安全过滤，就会在物理世界里盲目执行。

在我看来，这种“防说错”的底层逻辑存在致命盲区。文本合规绝不等于物理安全。如果我们只盯着AI有没有说脏话、有没有违反文本规则，却忽略了它在三维空间里执行动作的物理后果，那这种安全锁在现实世界里就是一把塑料锁。

重建安全边界：给AI装上“物理刹车”

要解决上述问题，我们需要完成一次底层逻辑的跃迁：从“防说错”升级为“防做错”。具体可以分为三个步骤：

第一步，转变评估指标。同日发布的另一篇论文《On the estimation and validity of AI time horizons》提示，AI在复杂现实任务中的可靠性需量化验证。这意味着，我们不能仅盯着“任务完成率”。如果AI能100%完成抓取动作，但有10%的概率抓伤人手，这系统就不合格。必须引入“场景安全容错率”。

第二步，建立物理常识校验层。为了让大家更直观地理解，我们虚构一个微型场景：假设你家里有一台带AI视觉的扫地机器人。如果它只懂文本级别的指令“清理前方障碍物”，它可能会把熟睡的宠物狗当成障碍物直接撞过去。但如果系统具备“场景依赖安全”，它就能识别出“这是活物，需要绕行”。

第三步，在AI大模型之外，建立独立于文本输出的双重校验机制。

不过，值得警惕的是，若将这种场景安全过滤延伸到警务辅助或自动驾驶中，这种双重校验机制可能会大幅增加计算延迟，从而影响现实任务的响应效率。尚待观察这种“物理刹车”会不会让AI在关键时刻“反应慢半拍”。

从文本合规到物理敬畏的跨越

换个角度看，这就像汽车工业从“碰撞后保护”向“碰撞前预防”的演进。早期汽车只注重安全带和气囊（类似现在的文本合规），后来才发展出AEB自动紧急制动（类似场景依赖安全）。若AI大模型能跨越这道物理常识的鸿沟，可能催生出真正可靠的具身智能；若不能，则可能引发公众对AI介入现实基础设施的信任危机。

给现实系统装上“物理刹车”，不是要让AI变笨，而是让它学会在复杂世界里知止。

---

今日带走 AI的边界不在于它能算出多复杂的答案，而在于它能否在物理世界中安全地执行动作。从“防说错”到“防做错”，是AI走向现实的必经之路。