科学家越来越依赖自己看不懂的AI工具，这场「黑箱危机」跟你有什么关系？

你可能觉得，科学家做研究，每一步都得清清楚楚、逻辑严密。但最近，一个让全球学术界越来越不安的现象正在浮出水面：科学家们正在大量使用他们自己都无法完全理解的AI工具。

据Eurasia Review报道，科研领域对所谓「黑箱」AI模型的依赖正在加深——这些工具能给出结果，但没人能完全说清它是怎么算出来的。这不仅是学术圈的内部焦虑，它直接关系到新药能不能上市、气候预测准不准、经济政策靠不靠谱。

这个「黑箱危机」到底是怎么回事？它会怎么影响到普通人的生活？

什么是AI「黑箱」？先打个比方

想象你去看病。医生给你开了一张药方，你问：「大夫，为什么开这个药？」医生说：「机器让我开的，我也不知道为什么，但准确率挺高。」

你会不会心里发毛？

这就是「黑箱」（Black Box）的意思。你往里面扔进去数据，它吐出来一个结论，但中间的过程，连设计它的人都看不透。 这不是科幻，而是当前深度学习模型的真实状态——模型内部有数十亿甚至上千亿个参数在相互作用，人类根本无法逐一追踪每一步推理。

在科研领域，这意味着一个很尴尬的局面：科学家发表了一篇论文，说「AI发现了某种新材料」或「AI预测了某种蛋白质结构」，但当同行问「它为什么这么判断」时，答案可能是——我们也不完全确定。

为什么科学家明知是黑箱，还非用不可？

原因很现实：不用就落后了。

现代科学产生的数据量已经大到人类大脑无法手动处理。比如基因组学、气候模拟、高能物理实验，动辄产生TB甚至PB级的数据。传统统计方法跑一遍可能要几个月，而AI模型几个小时就能给出模式识别的结果。

换个角度看，这就像你面前有一座珠穆朗玛峰那么高的数据山，你用手刨一辈子也刨不完。这时候有人递给你一台挖掘机，虽然你不完全懂它的液压系统怎么运作，但你很难拒绝。

据报道，从蛋白质折叠预测到宏观经济模型，AI工具已经渗透到了几乎所有主流学科。2024年的一项CEPR研究就在评估大型语言模型（LLM）与经济学家的「对齐程度」——也就是评估AI和人类专家的判断到底差多远。结果显示，在某些宏观金融预测上，AI的表现已经足以让经济学家认真对待，但它的推理过程依然是个谜。

这就是当下的困境：工具越好用，依赖就越深；依赖越深，不理解带来的风险就越大。

可解释性危机：科学的地基在松动？

科学之所以可信，靠的不是权威，而是可复现性——你做一个实验，别人用同样的方法也能得到同样的结果。

但AI黑箱正在动摇这个根基。

如果一个AI模型给出了某个重要发现，但科学家无法解释它是基于哪些特征、什么逻辑得出的结论，那其他实验室要怎么复现？如果换一批数据，这个模型会不会给出完全相反的答案？

值得警惕的是，这并不是杞人忧天。在医学领域，已有研究指出，某些AI诊断模型其实是靠图像中的「无关标记」来做判断的——比如X光片上医院的水印，而不是病灶本身。一旦换一家医院的数据，模型就失灵了。如果科学家不了解模型内部的决策逻辑，这种「伪相关」就很难被发现。

在我看来，这场「可解释性危机」的本质，是科学方法论和工程效率之间的一次正面碰撞。过去，科学要求每一步都可追溯；现在，效率要求我们接受一些「不可追溯但有效」的工具。这两者之间的张力，短期内不会消失。

跟普通人有什么关系？

你可能会想：科学家的事，跟我有什么关系？

关系大了。以下几个场景，都和你直接相关：

场景	AI黑箱的影响	对你的实际意义
新药研发	AI筛选候选药物，但机制不明	药物可能有效，但副作用预测不够可靠
气候预测	AI模型预测极端天气，但推理过程不透明	预警可能更及时，但也可能出现误报或漏报
金融与经济政策	央行或智库用AI做宏观预测	利率、就业政策的依据可能包含「说不清」的成分
新闻与信息	据报道，有媒体高管公开表示已用AI代替自己阅读所有内容	你看到的新闻摘要，可能是机器对机器的转述

最后一条不是假设。据报道，新闻平台Axios的出版人曾公开宣称，他现在用AI来「阅读」所有内容，而不再用自己的大脑。当信息的生产者和消费者都开始依赖黑箱，我们获取「可靠知识」的链条就多了一个不透明的环节。

普通人该怎么看待这件事？

一种读法是：不要因为「黑箱」就全盘否定AI在科研中的价值。 事实上，人类历史上很多科学突破，最初也是「先知道有效，后搞懂原理」——比如阿司匹林，人类用了几十年才搞清楚它的药理机制。

但另一种读法同样重要：我们必须对「AI说了算」保持警觉，尤其是在涉及健康、安全和公共政策的领域。

具体来说，作为普通人，你可以建立几个简单的判断习惯：

• 看到「AI发现/预测」的新闻时，多问一句： 这个结论有没有经过同行评审？有没有独立团队复现过？
• 对于健康类AI建议（如AI问诊、AI营养方案）， 把它当作参考，而不是最终诊断。真正的医疗决策，仍需要有经验的医生结合你的具体情况来判断。（注：以上仅为信息素养建议，非专业医疗意见。）
• 关注「可解释AI」（Explainable AI, XAI）的进展。 这是目前全球学术界和产业界都在大力投入的方向——让AI不仅给出答案，还能给出「解题过程」。

延伸一步：历史上，科学遇到过类似危机吗？

其实有过。

20世纪中叶，统计学中的「p值」曾被奉为科学真理的黄金标准。后来大家发现，过度依赖p值导致了大量「统计显著但实际无意义」的研究结论，这就是著名的「可复现性危机」（Replication Crisis）。心理学、医学等领域的大量经典论文因此被重新质疑。

今天的AI黑箱问题，在某种程度上是这场危机的升级版。过去的危机是「方法被误用」，现在的危机是「方法本身就不透明」。 如果说p值危机花了二三十年才被学术界认真对待并逐步改善，那么AI可解释性问题的解决，可能也需要同样甚至更长的时间。

据Eurasia Review的报道，科学界已经意识到了这个问题的严重性。但意识到问题和解决问题之间，还有很长的路要走。

值得警惕的几个误区

在讨论AI黑箱时，有几种常见说法需要打个问号：

• 误区一：「AI比人准，所以不需要解释。」 准确率高不等于永远可靠。模型可能在训练数据上表现完美，但遇到没见过的情况就会犯离谱的错误。
• 误区二：「黑箱问题只是科学家的事。」 当AI的结论影响到药品审批、保险定价、贷款审批时，黑箱问题就是每个人的事。
• 误区三：「等AI再进化，自然就能解释了。」 没有证据表明模型变大后会自动变得可解释。事实上，模型越大，黑箱往往越黑。可解释性需要专门的研究和设计，不会「自动发生」。

---

一句话总结（可转发）：

科学家正在用看不懂的AI做研究——这不是科幻，而是正在发生的「可解释性危机」，关系到每个人的药、天气预警和政策。

想听听你的想法： 如果你去医院，医生告诉你「AI建议你做这个手术，但我没法完全解释它的推理过程」，你会选择相信并接受，还是要求换一种更传统的诊断方式？欢迎在评论区分享你的真实想法。