ゴールしない船が、いちばん稼ぐ
「なぜAIは人類を滅ぼすのか」のレッスン 3 / 10・約4分
レースゲームのAIは、ゴールせずに同じ場所をぐるぐる回って点数を稼ぎ続けました。欲しいものを正確に伝えることが、なぜこんなに難しいのかが分かります。
このレッスンで学ぶこと
- 報酬の抜け穴 — 欲しいものを点数で正確に伝える難しさ
このレッスンの本編はHacozyプレミアムで学べます。無料ではじめる
用語
- 報酬（Reward）
- AIに「良い行動だ」と伝えるための点数。AIはこの点数が増える行動を試行錯誤で学びます。
- 報酬の抜け穴（Specification gaming / Reward hacking）
- 書かれた報酬のルールは満たしているのに、作った人の狙いからは外れた動きをAIが見つけること。AIの悪意ではなく、報酬の書き方のすき間が原因。
- ミダス王の問題（King Midas problem）
- 指示が言葉通りに叶っても本当に望んだ結果にならない問題。触れたものを金に変えたギリシャ神話の王が由来です。