AIは、続きの言葉を選び続けている

「大規模言語モデルの仕組み」のレッスン 1 / 14・約2分

ChatGPTのようなAIの基本的な動きは、文の続きに来そうな言葉を1つ選ぶことです。AIと同じことを自分でやってみて確かめてみましょう。

このレッスンで学ぶこと

  • AIは続きの言葉を選んで文を作る

レッスンの内容

相対性理論

ChatGPTのようなAIは、質問に文章で答えます。中では何をしているのでしょう。

このコースを終えるころには、その仕組みを数式なしで説明できるようになります。

相対性理論

まずAIと同じことをしてみましょう。文の続きに来そうな言葉を、1つ選んでください。

相対性理論

棒は、AIに同じ文の続きを100回書かせた結果です。来やすい言葉ほど多く選ばれています。

このAIを大規模言語モデルと呼びます。続きの言葉を1つ選ぶのが基本の動きです。

相対性理論

選んだ言葉を文に足して、また次を選びます。長い返事も、このくり返しでできています。

相対性理論

単純に見えるこの動きの中身を、このコースで順番に見ていきます。

相対性理論

問題:AIは「むかしむかし」という文字を、人と同じように読んでいるのでしょうか。

  1. 読んでいない(正解)
  2. 読んでいる

解説:正解です。AIは文字をそのまま読めません。文を細かく切って番号に変えています。どう切るのでしょうか。

用語

大規模言語モデル(Large language model (LLM))
たくさんの文章を使って、次に来る言葉を当てる練習をしたAIのことです。これがChatGPTなどの中身になります。