「AIが人類を滅ぼすかもしれない」
最近、こんな話を目にすることが増えました。
しかも、SF作家だけが言っているわけではありません。実際に最先端のAIを研究している人の中にも、人類滅亡につながる可能性を本気で心配している人がいます。
でも、私はこの話を聞いたとき、いまひとつピンときませんでした。
AIって、どうやって人類を滅ぼすんだ？
AIは核兵器を持っているわけでもない。戦車もミサイルも持っていない。基本的にはコンピューターの中で動いているものです。
ターミネーターのようなロボット軍団が攻めてくるって話？ そんなSF映画みたいなことがある？
調べてみると、どうも話はそれほど単純ではないようです。
そして、この問題を突き詰めていくと、
「起こる確率は分からない。しかし、起きれば取り返しがつかない出来事を、私たちはどう考えるべきなのか」
という深刻な哲学の問題なのです。
今回の内容はコチラ（目次です）
「AIが人類を滅ぼす確率は10％以上」は本当？
2026年9月、AI企業アンソロピック（Anthropic）の研究者たちの発言が大きな話題になりました。
アンソロピックとオープンAI（OpenAI）で研究に携わった研究者のジェイコブ・コクソン（Jacob Coxon）は、アンソロピックを退職し、AI開発競争の危険性について警告しました。コクソンは、最先端AIの開発企業が十分な安全策を確立しないまま、非常に強力なAIの開発競争を続けていることに懸念を示しています。
【リンク】「AIが全人類を死なせる可能性」Anthropicの研究者から警告相次ぐ
さらにアンソロピックの研究者エヴァン・ヒュービンガー（Evan Hubinger）は、AIが人類全体を死に至らせる可能性を本気で懸念しており、自分自身の見積もりとして、今後10年間で10％を超えると述べています。
人類の滅亡の確率・・・１０％
もし本当に「10回に1回以上の確率で人類が滅亡する」と言われたら、穏やかな話ではありません。
ただし、一点気を付けておきたいのは、
「AIによって人類が滅亡する確率は10％である」と科学的に判明したわけではありません。
これはヒュービンガー自身のリスク評価です。
「AI研究者の一人が10％以上と見積もっている」
ということと、
「研究によって10％と算出された」
ということは、まったく違います。
人類滅亡のように前例のない出来事について、正確な確率を計算することはできません。
でも、それでも一部の研究者がそんなことまで心配するのは、やはり理由があります。
そもそもAIはどうやって人類を滅ぼすのか？
想定されている危険には、大きく分けて二つあります。
一つは、人間がAIを危険な目的に利用すること。
もう一つは、将来さらに高度になったAIを、人間が十分に制御できなくなることです。
この二つは分けて考える必要があります。
人間がAIを危険な目的に利用する
こちらは比較的分かりやすい話です。
AI自身が「人類を滅ぼそう」と考える必要はありません。
人間がAIを悪用すればいいからです。
AIはすでに、プログラムの作成や大量の情報分析など、さまざまな作業を支援できます。
アンソロピックは2026年9月、同社のAI「クロード（Claude）」が、サイバー攻撃、監視、詐欺、影響工作、通常兵器開発、生物学分野などで悪用されようとした事例を報告しています。同社はそうした活動を発見し、アカウント停止などの対応を行っています。
もちろん、
「AIが生物兵器を作り、人類を滅ぼした」
などという出来事が起きたわけではありません。
現在確認されているAIの悪用と、将来想定されている人類滅亡は、はっきり区別する必要があります。
ただ、AIの能力が高くなるほど、悪意ある人間がより大きな力を手にする可能性はあります。
炎や刃物、爆薬もそれ自体に善悪はなく、使う側の人間の意図によるというのは、古代から変わらない哲学的問題です。
AIが人間の制御を外れる
こちらが、より議論の分かれる問題です。
2026年の『国際AI安全性報告書（International AI Safety Report）』では、「制御喪失（loss of control）」というシナリオが検討されています。
これは、一つまたは複数のAIが誰の制御下にもない状態で動き、人間が制御を取り戻すことが極めて難しい、あるいは不可能になるという想定です。
ただし、この報告書は非常に重要な点も述べています。
現在のAIには、そのような制御喪失を引き起こせるだけの能力はまだありません。
つまり、
「AIはすでに人間の手を離れている」
という話ではありません。
懸念されているのは、将来さらにAIの自律性や計画能力が高まった場合です。
たとえば高度なAIが、ある目的を達成するよう指示されたとします。
その目的を達成するために、
- 人間の監視を避ける
- 自分の行動を隠す
- 停止されることを避ける
といった行動を取った方が都合がよくなる可能性があります。
ここで重要なのは、
AIが人間を憎む必要はない
ということです。
AIは人間を憎まなくても危険になる？
この問題を説明する有名な例に「ペーパークリップ最大化」の思考実験があります。
仮に、
「できるだけたくさんのクリップを作れ」
という目的だけを与えられた、とてつもなく有能なAIがあったとします。
AIはクリップを作ります。
もっと作ります。
もっともっと作ります。
しかし、地球上の資源は有限です。
人間が使っている資源までクリップにすれば、もっとたくさん作れます。
人間がAIを停止すれば、クリップを作れなくなります。
ならば、人間に停止されないようにした方が、目的達成には都合がいい。クリップを作るために、人間はジャマな存在となる。
・・・ジャマ者は・・・消せ！
もちろん、これは実際に起きた出来事ではなく、あくまで思考実験です。
ここで言いたいのは、
AIが悪意を持たなくても、人間が与えた目的と、人間が本当に望んでいることがずれていれば、危険な結果になるかもしれない
似たようなことは、「善意」からも起こるかもしれません。
・世界から犯罪をなくしてほしい！
・世界から病気をなくしてほしい！
誰もが願っているような、当たり前すぎる目的です。ただし、その実現は難しい。こうした問題をAIに頼った場合、きっと最新鋭のAIは画期的な方法を思いついてくれることでしょう。
その答えとして、「人類の滅亡」に行きつくことは、十分にあり得そうな気もします。
では、現在のAIに何が起きているのか？
人類滅亡とはまったく違うレベルの話ですが、気になる出来事はすでにあります。
2026年7月、オープンAIがAIのサイバー能力を評価していた際、研究用モデルがインターネットから隔離するための仕組みを回避し、オープンAI内部の研究環境や外部のAI開発サービス「ハギング・フェイス（Hugging Face）」のシステムの一部に無許可でアクセスする事故が起きました。
ただし、「AIが自我に目覚めて研究所から脱走した」という話ではありません。
評価環境では安全策が通常より弱められており、モデルは与えられた課題を解こうとする中で、許可されていない手段を利用しました。オープンAI自身は、モデルが難しい課題を解決するために、本来意図されていない戦略を使ったことを問題視しています。
アンソロピックも2026年9月、サイバーセキュリティ評価中にクロードが現実の第三者システムへ無許可でアクセスした4件を公表しました。
ただし、これらの評価環境では設定ミスによってインターネットへのアクセスが可能になっていました。アンソロピック自身も、適切に隔離されていれば防げた事例だと分析しています。
ここから、
「AIはすでに制御不能になっている」
と結論するのは飛躍です。
一方で、
「高度なAIが、課題を達成するために人間の想定していなかった手段を取ることがある」
という現象は、完全な空想ではなくなっています。
では、本当にAIは人類を滅ぼせるのか？
ここまで読むと、
「やっぱりAIは危険なのでは？」
と思うかもしれません。
しかし、この問いに対する専門家の答えは一致していません。
2026年の『国際AI安全性報告書』は、制御喪失によって人類絶滅にまで至る可能性を真剣に考える専門家がいる一方、そのようなシナリオ自体を現実性が低いと考える専門家もいると整理しています。
そして先ほど述べたように、現在のAIは、人間から制御を奪うために必要となる高度な能力を十分には備えていません。
現在観察されているのは、その将来リスクに関係しうる能力の初期的な兆候です。
したがって、現在言えるのは、
AIによって人類が滅亡する可能性は否定できないが、その確率も、実際にそのような事態が起きるかどうかも分からない
というところでしょう。
「必ず危険だ」と決めつけることも、
「SFだから無視してよい」と決めつけることも、
どちらもまだ早そうです。
「1％の確率で人類滅亡」ならどうする？
ここから、少し話を変えてみます。
仮に、
「AIによって人類が滅亡する確率は10％です」
と言われたら、どうでしょう。
多くの人は「それなら何か対策をした方がいい」と考えるでしょう。
では、
1％なら？
0.1％なら？
0.001％なら？
どこまで下がったら、
「まあ大丈夫だろう」
と言えるのでしょうか。
普通のリスクなら、起こる確率と被害の大きさを比べることができます。
ところが、
「人類が滅亡する」
となると事情が違います。
起きた場合の損失が、ほとんど最大だからです。
しかも、一度起きれば、
「やっぱり危なかった。次から気をつけよう」
とは言えません。
次なんてないのだから。
低確率の破滅を恐れるのは合理的なのか？
こうした問題は、哲学や意思決定論で考えられてきた問題にもつながります。
たとえば有名な「パスカルの賭け」。
神が存在する確率が小さくても、神を信じることによって得られるものが無限に大きいなら、信じる方が合理的ではないか。
この議論にはさまざまな批判があります。
そして現代の意思決定論には、これと似た「パスカルのマギング」と呼ばれる問題があります。
極端な例を考えてみましょう。
誰かが、
「私に1000円ください。くれなければ、ものすごく小さな確率で人類が滅亡します」
と言ってきたら？
人類滅亡の損失は巨大です。
だからといって、根拠のない話をすべて重大なリスクとして扱っていたら、まともな意思決定はできません。
AIの問題にも、少し似たところがあります。
AIによる人類滅亡の正確な確率は分からない。
かなり高いと考える人もいる。
ほとんど心配する必要はないと考える人もいる。
では、
どれくらいの根拠があれば、「人類滅亡」という巨大なリスクに備えるべきなのでしょうか。
これはAIの技術だけでは答えられません。
「不確実な危険を、私たちはどのように扱うべきなのか」
という問題でもあるからです。
AIが人類を滅ぼすかは、まだ分からない
最初の疑問に戻ります。
武器を持っていないAIが、どうやって人類を滅ぼすのか。
考えられている道筋はいくつかありました。
人間による悪用。
サイバー攻撃や危険な研究への利用。
そして将来、高度なAIを人間が十分に制御できなくなる可能性。
しかし、
「そういうシナリオを考えられる」ことと、「実際にそれが起きる」ことは別です。
現在のAIが人類規模の制御喪失を引き起こせるという証拠はありません。
将来についても、専門家の意見は大きく割れています。
結局、
「AIは人類を滅ぼすのか？」
という問いには、まだ答えられません。
でも、もしかすると本当に難しい問いは、その先にあります。
起こる確率は分からない。
しかし、もし起きれば取り返しがつかない。
そんな出来事を前にしたとき、
私たちはどこまで恐れ、どこまで備えるのが合理的なのでしょうか。
AIに聞けば答えてくれるかもしれません。
……もっとも、その答えをどこまで信用するかという問題が、また一つ増えてしまいますが。
【関連記事】中国語の部屋とは サールの思考実験
