AIは、文字を読んでいない
「大規模言語モデルの仕組み」のレッスン 2 / 14・約5分
AIは文を「トークン」というかけらに切り、番号に変えて受け取ります。実際の切られ方を見ながら、AIが文を読む最初の一歩を学びます。
このレッスンで学ぶこと
- 文はトークンに切られて番号になる
レッスンの内容
文は、かけらに切られる
AIは打たれた文字をそのまま読んではいません。では、何を受け取っているのでしょうか。
この話が終わるころには、AIが文を読む最初の一歩を説明できるようになります。
文は、かけらに切られる
下のボタンで文を選んでみてください。AIがその文をどこで切るかが見えます。
文は、かけらに切られる
「ありがとうございます」は丸ごと1つ、「むかしむかし」は1文字ずつに切られました。
このかけらをトークンと呼びます。AIが読み書きする、いちばん小さな単位です。
文は、かけらに切られる
問題:よく使われる言い回しほど、かけらはどうなるでしょうか。
- 大きくまとまる(正解)
- 細かく切られる
解説:正解です。よく出る文字の並びは1つのかけらにまとまります。「ありがとうございます」が1つなのはそのためです。
切り方の作られ方
この切り方は人が1つずつ決めたものではありません。大量の文章から機械的に作られました。
まず全部を1文字ずつに分けます。次に、いちばん多く隣り合う2つをくっつけます。
切り方の作られ方
3つの言葉で、くっついていく様子を見てください。右の数字はその言葉が出てきた回数です。
切り方の作られ方
何度も出た「ありがとう」は1つになり、1回だけの「ありえない」は細かいままです。
これを何万回もくり返して作ります。2016年に翻訳AIの研究で提案された方法です。
AIに届くのは番号
できあがったかけらには、1つずつ番号がつきます。この一覧表を語彙と呼びます。
AIに届くのは番号
AIに届くのはこの番号の列だけです。文字の形も読み方も、AIは受け取っていません。
AIに届くのは番号
問題:2019年に公開されたAI「GPT-2」の一覧表には、かけらが何種類あったでしょうか。
- 約5万種類(正解)
- 約500万種類
解説:正解です。50,257種類でした。この5万あまりの組み合わせで、どんな文も表します。
AIに届くのは番号
英語では、1トークンはおよそ単語0.75個ぶんです。1単語が1トークンとは限りません。
切り方はAIごとに違います。ここで見たのは、GPT-4oというAIの切り方です。
AIに届くのは番号
- 文は、トークンというかけらに切られる
- よく出る並びほど、大きな1かけらにまとまる
- かけらは番号に変わり、AIには番号の列だけが届く
AIに届くのは番号
でも、ただの番号では「犬」と「猫」が似ていることは分かりません。AIはどうしているのでしょう。
用語
- 語彙(Vocabulary)
- AIが使えるかけらをすべて並べて、1つずつ番号をつけた一覧表のことです。
- トークン(Token)
- AIが文を読み書きするときの、いちばん小さなかけらです。1文字のことも、言葉が丸ごと1つのこともあります。