ChatGPTの中で、言葉は1万2千個の数字になる
「数学が苦手でもわかる、ベクトルの仕組み」のレッスン 7 / 8・約7分
GPT-3は1語を12,288個の数字で表します。同じ「かける」が「電話をかける」と「橋をかける」で違う意味になるのは、文を読むたびに数字が書き換わるからです。
このレッスンで学ぶこと
- 文脈で書き換わる埋め込みと、次の言葉の選び方
このレッスンの本編はHacozyプレミアムで学べます。無料ではじめる
用語
- 層（Layer）
- 列を受け取り、周りを見て少し書き換えて渡す段。重ねて文を読みます。
- 内積（Dot product）
- 2つの列の同じ位置を掛けて足した数。向きが合うほど大きく直角なら0です。
- トークン（Token）
- AIが文章を読む単位。単語そのものや、その切れ端のことです。
- 固定の埋め込み（Static embedding）
- どの文でも1つの単語に同じ数字の列を1本だけ割り当てる仕組み。複数の意味を持つ言葉も、同じ1点にまとめられます。
- 文脈つきの埋め込み（Contextual embedding）
- 同じ単語でも使われる文に合わせて変化する数字の列。「電話をかける」と「橋をかける」で「かける」の列が変わります。