AIは、文字を読んでいない

「大規模言語モデルの仕組み」のレッスン 2 / 14・約5分

AIは文を「トークン」というかけらに切り、番号に変えて受け取ります。実際の切られ方を見ながら、AIが文を読む最初の一歩を学びます。

このレッスンで学ぶこと

  • 文はトークンに切られて番号になる

レッスンの内容

文は、かけらに切られる

AIは打たれた文字をそのまま読んではいません。では、何を受け取っているのでしょうか。

この話が終わるころには、AIが文を読む最初の一歩を説明できるようになります。

文は、かけらに切られる

下のボタンで文を選んでみてください。AIがその文をどこで切るかが見えます。

文は、かけらに切られる

「ありがとうございます」は丸ごと1つ、「むかしむかし」は1文字ずつに切られました。

このかけらをトークンと呼びます。AIが読み書きする、いちばん小さな単位です。

文は、かけらに切られる

問題:よく使われる言い回しほど、かけらはどうなるでしょうか。

  1. 大きくまとまる(正解)
  2. 細かく切られる

解説:正解です。よく出る文字の並びは1つのかけらにまとまります。「ありがとうございます」が1つなのはそのためです。

切り方の作られ方

この切り方は人が1つずつ決めたものではありません。大量の文章から機械的に作られました。

まず全部を1文字ずつに分けます。次に、いちばん多く隣り合う2つをくっつけます。

切り方の作られ方

3つの言葉で、くっついていく様子を見てください。右の数字はその言葉が出てきた回数です。

切り方の作られ方

何度も出た「ありがとう」は1つになり、1回だけの「ありえない」は細かいままです。

これを何万回もくり返して作ります。2016年に翻訳AIの研究で提案された方法です。

AIに届くのは番号

できあがったかけらには、1つずつ番号がつきます。この一覧表を語彙と呼びます。

AIに届くのは番号

AIに届くのはこの番号の列だけです。文字の形も読み方も、AIは受け取っていません。

AIに届くのは番号

問題:2019年に公開されたAI「GPT-2」の一覧表には、かけらが何種類あったでしょうか。

  1. 約5万種類(正解)
  2. 約500万種類

解説:正解です。50,257種類でした。この5万あまりの組み合わせで、どんな文も表します。

AIに届くのは番号

英語では、1トークンはおよそ単語0.75個ぶんです。1単語が1トークンとは限りません。

切り方はAIごとに違います。ここで見たのは、GPT-4oというAIの切り方です。

AIに届くのは番号

  • 文は、トークンというかけらに切られる
  • よく出る並びほど、大きな1かけらにまとまる
  • かけらは番号に変わり、AIには番号の列だけが届く

AIに届くのは番号

でも、ただの番号では「犬」と「猫」が似ていることは分かりません。AIはどうしているのでしょう。

用語

語彙(Vocabulary)
AIが使えるかけらをすべて並べて、1つずつ番号をつけた一覧表のことです。
トークン(Token)
AIが文を読み書きするときの、いちばん小さなかけらです。1文字のことも、言葉が丸ごと1つのこともあります。