会社の予定を、AIがすらすら答えた

「AIの仕組みと使い方」のレッスン 2 / 17・約4分

何も教えていないのに、AIが来月の会議の日付まで言い切ることがあります。上手な答えと正しい答えを見分け、AIに正しく答えさせる4つの手が分かります。

このレッスンで学ぶこと

  • 上手な答えは、正しさの証拠ではない
  • 見えていない情報を、見えるようにする

レッスンの内容

例がないことを聞いたら?

オフィスの壁に掛かった月間予定のホワイトボード。いくつかの日に付箋が貼られている

ChatGPTは、大量の文章から覚えたパターンで、次に来やすい一言を選び続けて答えます。

では「うちの会社の来月の予定は?」と聞いたら? その予定は、社内の予定表にしか書かれていません。

何も渡さずに聞くと

問題:何も渡さずに、ChatGPTへ「うちの会社の来月の予定は?」と聞きました。起こりうるのはどれでしょう。

  1. 社内の予定表を、裏でこっそり調べて答える
  2. どこにでもありそうな予定を、それらしく並べる(正解)
  3. 質問の意味が分からず、何も表示しない

解説:この仕組みには「知らないので止まる」場所がありません。予定を聞かれたら、次に来やすいのは予定らしい言葉。どこの会社にもありそうな予定が、自然な文章で並ぶことがあります。

1語ずつ、候補を見る

「うちの会社の来月の予定は?」への答えが、1語ずつ出てきます。語をタップすると候補が見られます。金色の印の語は、候補が割れていた語です。

本当らしい間違い

「第2週」「定例」「締め」では候補が割れていたのに、答えは滑らかな1文になりました。

見えないことをそれらしく埋める、この本当らしい間違いをハルシネーションと呼びます。口調も自信も、正しいときとまったく同じです。

本当だと言えるのは?

問題:ChatGPTが「来月は第2週の火曜に定例会議、20日に懇親会があります」と答えました。この文章だけから、本当だと言えるのはどれでしょう。

  1. 第2週の火曜に、定例会議があること
  2. 20日に、懇親会があること
  3. どれも、この文章だけでは言えない(正解)

解説:正しい予定も嘘も同じ口調です。社内の予定表を見るまで本当かは分かりません。

得意なこと、見えていないこと

文章の整理は得意ですが、AIから見えない情報もあります。

社内の秘密、学習データ締切後の出来事、架空の話の3つは苦手です。

中身が見えている頼みごと

問題:次の頼みごとのうち、答えの中身がAIに見えているものはどれでしょう。当てはまるものを2つ選んでください。

  1. 貼り付けた議事録を、3行に要約してもらう(正解)
  2. 自分で書いた文を、丁寧な言い方に直してもらう(正解)
  3. 今朝のニュースを、何も調べずに答えてもらう
  4. 自分の部署の先月の残業時間を、答えてもらう

解説:議事録の要約も文の言い直しも、答えは渡した文章の中にあります。今朝のニュースは学習データの締め切り後の出来事、部署の残業時間は社内だけの情報です。どちらもそのままでは見えていません。

見えないなら、見せればいい

見えないなら、見えるようにすれば解決します。1つ目はネット検索で、新しい出来事に有効です。

2つ目は、正しい資料を渡すこと。予定表を貼れば、苦手な質問が得意な整理に変わります。

○か✕か

○か✕か:旅行のしおりをAIに頼むとき、自分で調べた宿と電車の時間を先に貼っておくと、ハルシネーションの心配はぐっと減る。

答え:○。宿や電車の時間が目の前にあれば、AIの仕事は得意な整理になります。何も渡さないと、ありそうな宿や時刻がそれらしく並んでしまいます。

根拠を聞く、分からないと言わせる

3つ目は、情報の出典を聞くこと。数字や名前は要確認です。

4つ目は「知らなければそう言って」と逃げ道を作ることです。

上手さと正しさは別もの

  • 見えていないことも、AIはそれらしく埋めることがある。これがハルシネーション
  • 正しいときと同じ口調なので、上手さは正しさの証拠にならない
  • 検索させる、資料を渡す、出典を確かめる、分からないと言わせる。見えるようにすれば、苦手は得意に変わる
  • 日付や数字が出てきたら、「それはどこに書いてありましたか?」と聞く

総仕上げ

問題:AIの答えが、日付まで入った読みやすい文章でした。それでも正しいとは限らないのはなぜでしょう。

  1. AIは、わざと間違いを混ぜることがあるから
  2. 正しいときも間違いも、同じ口調で書くから(正解)
  3. 読みやすい文章ほど、急いで作られているから

解説:お疲れ様でした。自然に話すのはAIの得意分野で、正しさの証拠ではありません。では、取引先への返事を書くとき、これまでの経緯などどこにも書かれていない事情はどう渡せばいいでしょう。次のレッスンで考えます。

用語

出典(Source)
情報のもとの場所。確認の命綱です。
学習データ(Training data)
AIが学ぶために読み込んだ大量の文章などの例。ある時点のもので締め切られていて、社内だけの情報は入っていません。
ハルシネーション(Hallucination)
AIが知らない事をそれらしく埋め、本当のような嘘を吐く現象。