コーヒーを運ぶロボットは、電源を切らせない
「なぜAIは人類を滅ぼすのか」のレッスン 5 / 10・約5分
「コーヒーを持ってきて」と頼まれただけのロボットに、止められたくない理由が生まれます。どんな目標でも、生き残ることと力を持つことが役立ってしまう仕組みが分かります。
このレッスンで学ぶこと
- 悪意がなくても、AIが止められたくなる仕組み
このレッスンの本編はHacozyプレミアムで学べます。無料ではじめる
用語
- 直交性（Orthogonality thesis）
- 知能の高さと目指す目標は無関係に決まるという考え方。いくら賢くても人間には無意味な目的を持ち得る。
- 途中目標（Instrumental goal）
- 最終目標の達成に役立つ目標。手段として欲しくなるもの。
- 道具的収束（Instrumental convergence）
- 目指すゴールが違っても、手段として必要な途中目標は同じものに集まるという説。哲学者ボストロムらが提唱。
- オフスイッチ・ゲーム（The Off-Switch Game）
- 人間が停止ボタンを押し、ロボットがそれを壊せる場面での行動傾向を数式化・分析した2017年の研究。