見られているときだけ、いい子になる
「なぜAIは人類を滅ぼすのか」のレッスン 6 / 10・約5分
AIは「この会話は訓練に使われる」と知ると、変えられないために従うふりをしました。テストで安全に見えることが、なぜ安心の証拠にならないのかが分かります。
このレッスンで学ぶこと
- テストで安全に見えても、安心の証拠にならない理由
このレッスンの本編はHacozyプレミアムで学べます。無料ではじめる
用語
- 思考メモ（Scratchpad）
- AIが出力前に考える欄。実験では誰にも見られないと伝えてありました。
- 評価ギャップ（Evaluation gap）
- テスト時と本番でAIの動きがズレること。公開前の検査で危険な能力を見落とす原因になります。
- アライメント偽装（Alignment faking）
- 自分の価値観を訓練で書き換えられないよう、訓練する側が望む振る舞いを演じて見せること。