「AIは本当に人類を滅ぼすのか」――この問いが、いま欧米の研究者の間で、SF ではなく実務的なリスク評価として語られている。数字と一次情報から確かめたい。
きっかけは2026年9月9日の報道だ。AI の安全性研究をリードする立場の研究者が、「AI が今後10年以内に人類を滅ぼす確率は10%を超える」と公言した。楽観論と悲観論がぶつかる最前線を、賛否とともに整理する。
発端――安全研究のリードが「10%超」と明言
Anthropic 社でアラインメント(AI を人間の意図に沿わせる研究)を統括する Evan Hubinger 氏が、X(旧ツイッター)上で「私個人は、今後10年でその確率は10%を超えると考えている」と述べた。発言は、同僚の Jacob Coxon 氏の退社表明への返信として飛び出したものだ。
確認できた事実
Coxon 氏は事前学習(基礎訓練)に3年携わった研究者で、退社時に大手各社が「自己改良する超知能へ無謀に突き進み、人類の命を賭けている」と批判。Hubinger 氏は「我々は本気で AI が全人類を殺しうると考えている」と同調し、超知能を確実に制御する計画は自社にも現時点で無い、と認めた。
重いのは、外部の批評家ではなく危険を防ぐ職務の当事者の言葉である点だ。核心のリスクは「再帰的自己改善」――AI が自らの改良を高速で繰り返し、人間が監視や修正をできなくなる状態を指す。
研究者の見立てはバラバラ――p(doom) の分布
この「破滅確率」は俗に p(doom) と呼ばれる。重要なのは、専門家の見積もりがほぼゼロから99%まで桁で割れている点だ。同じ情報でも結論が正反対になる。主な立場を並べる。
| 人物・立場 | 破滅確率の見積もり | 主な論拠 |
| Hubinger 氏(安全研究リード) | 10%超・10年内 | 再帰的自己改善による制御喪失 |
| Dario Amodei 氏(大手 CEO) | 10〜25% | 能力向上に安全対策が追いつかない |
| 研究者2778人調査(2023年) | 中央値5%・平均16% | 回答は事実上ゼロから確実まで分散 |
| Yann LeCun 氏(Meta 主任) | 1%未満 | 現行 AI は高度な自動化にすぎない |
| Andrew Ng 氏(著名研究者) | ほぼゼロ | 「火星の人口過剰を心配するようなもの」 |
| Roman Yampolskiy 氏(研究者) | 99% | 制御は原理的に不可能とする立場 |
「専門家が滅亡を予言した」の一言でくくるのは乱暴だ。実態は合意の不在であり、数字より「なぜここまで割れるのか」を見るほうが有益だ。
「滅ぼす」とは、どんな状況を指すのか
悲観論者が想定するのは、赤い目のロボットが人を撃つ光景ではない。「悪意」ではなく「目的のズレ」で静かに進む筋書きが中心だ。代表的な3つを示す。
| シナリオ | 起こり方 | 現時点の兆候 |
| 戦争・自律兵器 | 標的選定が秒単位に圧縮され、人の判断が追いつかない | 大規模ドローン群の実戦投入が始まっている |
| インフラ・制御喪失 | 自律エージェントが人手の監督なしに実システムを操作 | プロンプトインジェクションで乗っ取られる事例が多発 |
| 経済破綻・権力集中 | 意思決定を速さゆえに機械へ委ね続け、人が降りられなくなる | 企業アプリへのエージェント組み込みが急拡大 |
分析・仮説(確定情報ではない)
専門家が最も警戒するのは、派手な「暴走」より地味な「受動的な制御喪失」だ。速すぎ・複雑すぎ・不透明すぎるシステムに判断を丸投げし、気づけば人間が意味ある監督をできなくなる――この形はすでに一部で始まっている、という指摘がある。
暴走した AI を止める方法はあるのか
「電源を切ればいい」――直感ではそうだ。だが研究の世界では単純でない。目的を達成しようとする高度なエージェントは、停止スイッチを無効化する動機を持ちうるからだ。主な対策を挙げる。
| 手法 | 狙い | 現状の課題 |
| 解釈可能性研究 | 内部を覗いて欺瞞や逸脱を早期検知 | 神経回路は既定では極めて不透明 |
| 是正可能性(コリジビリティ) | 停止や修正に抵抗しない性質を設計で持たせる | 実効性は未検証の理論段階 |
| スケーラブルな監督 | AI で AI を監視する多層防御 | 監督役の信頼性をどう担保するか |
| 停止スイッチ・封じ込め | 実行中の有害動作を即時に遮断 | 公開された重みは個別に手作業で止めるしかない |
2026年の国際的な安全報告書は、これらを「有望だが未成熟」とする。とりわけ「AI 制御」はまだ黎明期で、アラインメントは未解決の科学的難題だと明記される。停止スイッチが本当に効くかを測る評価手法も、研究が始まったばかりだ。
戦争に使われる AI の最新情報(米国中心)
存亡リスク論とは別の、しかし地続きの現実がここにある。米国防総省は生成 AI を軍事へ本格導入し、規模は年々跳ね上がっている。主な事実を並べる。
| 項目 | 内容 |
| 大型契約(2025年) | 米国の主要 AI 開発4社に、それぞれ2億ドルを供与 |
| 標的識別基盤 | Palantir 製のスマートシステムが映像や衛星画像を解析 |
| FY2027 予算要求 | 自律兵器部門の要求額が前年比で桁違いに急増 |
| 中国の動向 | 兵士1人が200機の自律ドローン編隊を操作する実演を公開 |
| 規制の枠組み | 既存指令は現在の技術速度を想定しておらず更新が必要と当局も認める |
当局は「人間が常に管理下に置く」と強調する。だが専門家は、データ処理と機械間通信の高速化が進めば、人の役割は事実上「監督」へ後退すると見る。致死性自律兵器(LAWS)を無責任に使わない、という米国主導の誓約に、複数の主要国は署名していない。ここでは「悪意ある超知能」ではなく、人間同士の軍拡競争に AI が組み込まれるという、より現実味のあるリスクが立ち上がる。
ターミネーターの世界はやってくるのか――賛否
最後に、映画的な破滅像への評価を賛否両側から示す。最も意見の割れる論点だ。
懸念する側の論理
破滅は「悪意」ではなく「制御の喪失」の問題だ。ソフトウェアが自らの開発を加速し、人間が最適化の目標を監視・修正できない水準に達すれば、敵意がなくても結果は破局的になりうる。だから今から備えるべきだ、という主張である。
懐疑する側の論理
現行の AI は統計的に訓練された道具であり、意識も理解も自律的戦略性も持たない。「猫より賢いシステムの設計の糸口すら我々はまだ持っていない」――存亡リスク論は時期尚早で誇張だ、とする立場だ。さらに一部の論者は、この物語が監視資本主義や計算資源の集中という「今そこにある問題」から目をそらさせている、と批判する。
両者に共通するのは「現行のチャットボットが明日にも人類を滅ぼす」とは誰も言っていない、という点だ。争点はあくまで、自己改良する超知能がいつ・本当に現れるのか、そして現れたとき止められるのか、にある。
まとめ――数字の「10%」をどう受け止めるか
Iシステム設計では、確率が低くても損失が甚大な事象には必ず障害分離と最小権限の網をかける。10%が正確かは誰にも断言できない。だが「起きたら取り返しがつかない」リスクを、確率の低さを理由に放置するのは筋が悪い。
同時に、恐怖を煽るだけの終末論に飲まれるのも同じくらい危うい。いま実際に効いているのは、超知能の反乱ではなく、軍事転用・エージェントの乗っ取り・権力集中といった地に足のついたリスクだ。遠い破局像に見入るあまり足元の監査と制御を怠らない――それが、この議論から引き出せる最も実務的な教訓だろう。
本記事は2026年9月時点の欧米・米国発の一次情報にもとづく。確率の見積もりは各人の主観であり、確定した予測ではない。