AIを作る社長たちが、AIを怖がっている

「AIが人類を滅ぼす」とは？

映画では、ロボットが人間を憎んで反乱を起こします。専門家の心配は、そこではありません。

人間より賢いものを、思いどおりに動かし続けられるか。この制御の問題こそが、「AIが人類を滅ぼす」話の正体です。

警告したのは、作っている本人

2023年5月の1文だけの声明は、AIによる絶滅リスクへの対策を、パンデミックや核戦争並みの優先課題としました。

署名したのはOpenAIやGoogle DeepMindのトップ。AIを作る本人たちです。

研究者は何%と答えた？

2023年、AI研究者2,778人に「AIが人類絶滅ほどの結末を招く確率」を聞きました。ちょうど真ん中にあたる研究者の答えを予想して、つまみで選んでください。

真ん中の答えは5%

答えの中央値は5%で、平均は16%でした。強く心配する一部の人が平均を押し上げています。

聞き方を変えた質問では、4〜5割の研究者が「10%以上」と答えました。

5%は小さい数字？

5%は20回に1回です。20便に1便が落ちる飛行機に、あなたは乗るでしょうか。

賭けているのが人類全体なら、5%はとても大きな数字です。

○か✕か

○か✕か：AIが人類を滅ぼすという心配は、AIがいつか人間を憎むようになる、という話だ。

答え：✕。心配されているのは憎しみではなく、人間より賢いものを思いどおりに動かし続けられるか、という制御の問題です。悪意がなくても危ないかもしれない、という話です。

「デタラメだ」と言う人もいる

全員が同じ意見ではありません。Metaのヤン・ルカンは、この心配を「完全なデタラメ」と呼びました。

2023年にトロントで開かれた公開討論でも、ルカンと研究者ミッチェルは科学的な裏付けが乏しいと反論しています。

なぜ本気で心配されているのか

• 心配の正体は憎しみではなく、人間より賢いものを思いどおりに動かし続けられるか
• 警告したのは、AIを作る会社のトップたち
• 研究者の答えは中央値5%。人類全体を賭けるには大きすぎる数字
• ただし「デタラメだ」と言う大物もいて、意見は割れている

総仕上げ

問題：2023年の調査で、AI研究者の答えの中央値は5%でした。人類全体のリスクとして、この数字はどう受け止められているでしょう。

1. 20回に1回で、賭けには大きすぎる（正解）
2. 20回中19回は平気なので、小さい
3. 平均16%より低いので心配いらない

解説：お疲れさまでした。悪意がなくても、思いどおりに動かせなければ危ない。今日はその入口を見ました。このコースを終えるころには、ゴールしない船やテスト中だけ従うAIといった本物の実験を例に、なぜ危ないかを自分の言葉で説明でき、「AIが暴走」というニュースの事実と大げさを見分けられます。次は、1965年に数学者が書いた「賢い機械は、もっと賢い機械を作れる」という予言から、AIが一気に人間を追い越しうる理由を見ます。