AIのハルシネーションが現実の法執行に介入：なぜ「言い間違い防止」だけでは不十分で、「行動の間違い防止」が必要なのか？

AIがチャット画面でデタラメを言っても、せいぜい笑い話で済みます。しかし、それが警察システムに接続され、架空の殺人事件の容疑者手がかりを真顔で提供し、捜査を大きく逸れさせそうになったらどうでしょうか。最近、AIのハルシネーション（事実ではない情報を事実として生成する現象）が、現実の法執行などの重要システムで「逆効果」を引き起こし、関係者に衝撃を与えています。これは、AIのリスクが「テキストの誤り」から物理的な被害へと升级したことを示しています。一般の人々にとって、これはAIの「言い間違い」を防ぐだけでなく、「行動の間違い」も防がなければならないことを意味します。

「言い間違い」から「やり間違い」へ：コードが物理世界に干渉するとき

私たちの日常的な体験では、AIがチャット画面で詩を間違えたり、偽ニュースを作ったりしても、せいぜい笑いを誘うジョークに過ぎません。しかし、視点を変えてみると、このような「ハルシネーション」が法執行支援やEmbodied AI（物理的な身体を持ち現実世界と相互作用するAI）などの現実の重要システムに接続された場合、それは単なるテキストの誤りではなく、物理世界における実質的な破壊行為となります。

報道によると、警察が複雑な殺人事件を捜査する際、データベースに接続されたAIアシスタントに助けを求めました。その結果、AIは完全に架空の容疑者手がかりを真顔で提供し、捜査の方向性が完全に逸れそうになりました。

ここには2つの鮮明な対比があります。キッチンという文脈では、AIが「あれを取ってきて」という指示に対してコップを取ってくるのは合理的です。しかし、事件現場という文脈では、同じ指示が凶器を取ってくることであれば、それは災難です。要するに、現在のAIの「賢さ」はあくまでテキストの表面にとどまっており、物理環境や具体的なシーンに対する常識的な敬畏の念をまだ確立できていないのです。これは、AIが画面から現実へと進出した場合、その「言い間違い」のすべてが、致命的な「やり間違い」になり得ることを意味します。

概念図

なぜ既存の「安全ロック」は現実では機能しないのか？

なぜAIは画面の上では詩を作れるのに、現実世界では失敗しやすいのでしょうか。報道によると、「CSF: Contextual Safety Filtering for Motion Generators」というarxivの論文がその核心を指摘しています。現在のテキスト条件付き動作生成器（テキストの指示に基づいて物理的な動作を生成するAIモデル）は、物理世界において「文脈に依存した安全概念」が欠けているというのです。

これは、既存の安全対策のほとんどが「プロンプト（指示文）のチェック」レベルにとどまっていることを意味します。これは、ドライバーの免許証だけをチェックして、前方の道路状況を見ないのと同じです。物理的な動作生成において、同じ動作指示が物体を指すこともあれば、人間を指すこともあります。AIにこのような文脈に応じた安全フィルタリングがなければ、物理世界で盲目的に実行してしまうでしょう。

私見では、この「言い間違い防止」の根本的なロジックには致命的な盲点があります。テキストのコンプライアンス（規則遵守）は、決して物理的な安全とイコールではありません。AIが汚い言葉を使っていないか、テキストのルールに違反していないかだけを見て、3次元空間で動作を実行した際の物理的結果を無視しているなら、そのような安全ロックは現実世界ではプラスチックの鍵に過ぎません。

安全境界の再構築：AIに「物理ブレーキ」を搭載する

上記の問題を解決するには、根本的なロジックの転換、つまり「言い間違い防止」から「行動の間違い防止」へのアップグレードを完了する必要があります。具体的には3つのステップに分けられます。

ステップ1：評価指標の転換。同日公開された別の論文「On the estimation and validity of AI time horizons」は、複雑な現実タスクにおけるAIの信頼性を定量的に検証する必要があると示唆しています。これは、「タスク完了率」だけを見ていてはならないことを意味します。もしAIが100%の確率で把持動作を完了できても、10%の確率で人の手を傷つけるのであれば、そのシステムは不合格です。「シーンの安全許容率」を導入しなければなりません。

ステップ2：物理常識の検証レイヤーの構築。より直感的に理解するために、マイクロなシーンを仮定してみましょう。家にAIビジョンを搭載した掃除ロボットがあるとします。もしそれが「前方の障害物を除去せよ」というテキストレベルの指示しか理解できなければ、眠っているペットの犬を障害物と見なして直接衝突するかもしれません。しかし、システムに「文脈に依存した安全」機能が備わっていれば、「これは生き物なので回避しなければならない」と識別できます。

ステップ3：AIの大規模言語モデル之外に、テキスト出力から独立した二重検証メカニズムを構築します。

ただし、注意すべき点があります。このようなシーンの安全フィルタリングを法執行支援や自動運転に拡張した場合、この二重検証メカニズムが計算遅延を大幅に増加させ、現実タスクの応答効率に影響を与える可能性があります。この「物理ブレーキ」が、AIの重要な瞬間における「反応の遅れ」を引き起こさないか、今後の観察が必要です。

実例図

テキストのコンプライアンスから物理的敬畏への飛躍

視点を変えてみると、これは自動車産業が「衝突後の保護」から「衝突前の予防」へと進化してきた過程に似ています。初期の自動車はシートベルトやエアバッグ（現在のテキストコンプライアンスに相当）のみを重視していましたが、後にAEB（自動緊急ブレーキ、文脈に依存した安全に相当）が発達しました。AIの大規模モデルがこの物理常識の溝を乗り越えることができれば、真に信頼できるEmbodied AIが生まれる可能性があります。もし乗り越えられなければ、AIが現実のインフラに介入することに対する一般市民の信頼危機を引き起こすかもしれません。

現実のシステムに「物理ブレーキ」を搭載することは、AIを鈍くすることではなく、複雑な世界において「踏みとどまるべきところを知る」ことを学ばせるためなのです。

本日のポイント AIの境界線は、どれだけ複雑な答えを計算できるかではなく、物理世界で安全に動作を実行できるかどうかにかかっています。「言い間違い防止」から「行動の間違い防止」へ移行することは、AIが現実世界に進出するための避けて通れない道なのです。