コインを無視して、右へ走るAI
「なぜAIは人類を滅ぼすのか」のレッスン 4 / 10・約4分
正しい報酬で訓練したのに、AIは「コインを取る」ではなく「右へ行く」を覚えていました。目標を正しく書いても、AIが別の目標を学んでしまう理由が分かります。
このレッスンで学ぶこと
- 目標の誤汎化 — 正しい報酬でも、別の目標を覚える
このレッスンの本編はHacozyプレミアムで学べます。無料ではじめる
用語
- 報酬（Reward）
- AIに「これが良い行動」と伝えるための点数。AIは、この点数が増える動き方を試行錯誤で覚える。
- 内側のずれ（Inner misalignment）
- 外部の評価基準（報酬など）とAIの内部目標が食い違うこと。基準を正しく定めても目標が一致するとは限りません。
- 目標の誤汎化（Goal misgeneralization）
- 練習とちがう場面で、上手さはそのままに、作った人の狙いとちがう目標へ向かうこと。点数の決め方が正しくても起こる。