人類最後の発明になるかもしれない

「なぜAIは人類を滅ぼすのか」のレッスン 2 / 10・約4分

1965年、ある数学者は「賢い機械は、もっと賢い機械を作れる」と書きました。AIがAIを改良し始めると、なぜ一気に人間を追い越しうるのかが分かります。

このレッスンで学ぶこと

  • 知能爆発:AIがAIを改良すると、なぜ一気に追い越しうるのか

レッスンの内容

1965年の数学者の予想

1965年、チューリングと暗号解読をした数学者I・J・グッドは、こう考えました。機械を設計するのも、頭を使う仕事だ。

ならば人間より賢い機械は、もっと賢い機械を設計できるはずだ、と。

グッドは、なぜ賢い機械が、もっと賢い機械を作れると考えたのでしょう。

問題:グッドは、なぜ賢い機械がさらに賢い機械を作れると考えたのでしょう。

  1. 機械の設計も、頭を使う仕事だから(正解)
  2. 機械は、人間より長く働き続けられるから
  3. 機械は、人間の脳をまねて作られるから

解説:機械の設計も知的な作業です。人間より賢い機械なら、次の機械をより上手につくれるはずだとグッドは考えました。

改良を、誰がするか

2本の線は同じ位置から改良を始めます。点と点の間隔が、改良ごとにどう変わるか注目してみてください。

賢さが、賢さを生む

人間が直す場合、1周の速さは変わりません。でも機械が自分を直すと直す側も賢くなるため、次の1周はより速く大きくなります。

グッドは、この連鎖で知能が飛躍的に伸びる現象を知能爆発と呼びました。

人類最後の発明

だからグッドは、その機械を人類に必要な「最後の発明」と書きました。その先の発明は、機械がしてくれるからです。

ただし同じ文に、機械が言うことを聞き、制御できるままならという条件を付けています。

○か✕か

○か✕か:グッドは、人間より賢い機械ができれば、人類は何の心配もなく発明を任せられると考えていた。

答え:✕。グッドは「最後の発明」に、機械が人間の制御に従うままなら、という条件を同じ文で付けていました。賢さと安心は、別々の話です。

30分の仕事をこなすAI

AIを作るのもプログラムを書く仕事。だから知能爆発の入口として、AIのプログラミング力が注目されます。

2026年の国際AI安全性報告書では、AIがこなせる作業が1年で、人間の約10分ぶんから約30分ぶんに伸びました。

知能爆発を心配する人が、AIのプログラミングの力の伸びに注目するのはなぜでしょう。

問題:知能爆発を警戒する人が、AIのプログラミング力に注目するのはなぜでしょう。

  1. AIを作ることも、プログラムを書く仕事だから(正解)
  2. プログラマーの仕事が、すぐになくなるから
  3. プログラムは、文章よりも簡単に書けるから

解説:AI自身もプログラムでできています。コードを書く力が伸びるほど、AIが次のAI開発に関われる範囲が広がり、自己改良に近づきます。

まだ遠い、と見る人もいる

ただ同報告書は、今のAIには手に負えなくなるほどの力はまだないとも指摘しています。

AIが次のAIを完全に自作できるわけではなく、知能爆発はまだ仮説の段階です。

スズメとフクロウ

哲学者ボストロムは2014年の本で、スズメたちが働き手にするフクロウの卵を探しに行く寓話を紹介しました。

手なずけ方は誰も知らないのに、卵探しだけが先に始まります。制御法は作る前に必要だ、という警告です。

なぜ一気に追い越しうるのか

  • 機械の設計も、頭を使う仕事
  • 人間より賢い機械は、もっと賢い機械を設計できるかもしれない
  • 改良する側も賢くなるので、1周ごとに速くなる。これが知能爆発
  • AIがこなせるプログラミング作業は1年で約10分ぶんから約30分ぶんへ。ただし爆発はまだ仮説
  • だから制御の方法は、作る前に見つけておく必要がある

総仕上げ

問題:知能爆発の考え方で、知能が一気に跳ね上がるとされるのはなぜでしょう。

  1. 改良するたびに、改良する側も賢くなるから(正解)
  2. 機械は、休まずに一日中働き続けられるから
  3. 世界中の会社が、同時に開発を進めているから

解説:おつかれさまでした。改良する側が賢くなるほど、次の改良も速くなります。では、そこまで賢いAIに「こうしてほしい」を正確に伝えるのは簡単でしょうか。次のレッスンでは、ゴールせずに同じ場所を回り続け、いちばん高い点を取ったゲームのAIを見ます。

用語

知能爆発(Intelligence explosion)
賢い機械がさらに賢い機械を作り、それを繰り返すことで知能が急激に高まるという考え。1965年に数学者I・J・グッドが提唱した。
国際AI安全性報告書(International AI Safety Report)
多くの国の専門家がAIの能力やリスクについて現状の科学的知見をまとめた報告書。研究者ヨシュア・ベンジオが委員長を務める。