王−男＋女は、女王になる

ベクトルとは？

駅で「東に3ブロック、北に4ブロック」と道を教えたことはありませんか。

方向と距離。この向きと長さを持つ矢印をベクトルと呼びます。

言葉も、引き算できる

東に3、北に4の矢印は [3, 4] と表せます。AIの中では、「王」や「女」も数字の列です。

「王」から「男」を引くと、「王らしさ」の矢印だけが残ります。

「王」から「男」を引いて残った「王らしさ

問題：「王」から「男」を引いて残った「王らしさ」の矢印を、「女」に足します。どの言葉の近くに着くでしょう。

1. 女王（正解）
2. 王子
3. 女性
4. 王国

解説：女に王らしさを足すので、着く先は女の王、つまり女王の近くです。実際の言葉の地図で確かめてみましょう。

言葉の地図で、足してみる

「足す」を押すと、男→女の矢印が王の先に重なります。矢印の先がどの言葉に近づくか見てみてください。パリの例も試せます。

着いた先は、女王

王に「男→女」を足した先は、式に入れた3語を除くと女王が一番近い言葉でした。近さは0.86で、1に近いほど向きがそろいます。

パリ−フランス＋日本も、東京に着きました。

言葉の数字の列が、埋め込み

王や女王を置いた言葉の地図は、英語のWikipediaや記事から、1語を50個の数字で表したデータです。

このように言葉を数字の列にしたものを埋め込みと呼びます。

○か✕か

○か✕か：AIが「王−男＋女」で女王にたどり着けるのは、辞書で「女王とは女性の王のこと」と教わっているからだ。

答え：✕。地図の材料は記事の文章だけで、意味の説明は1行も入っていません。

ChatGPTの中にも、この矢印

ChatGPTのもとのGPT-3も、言葉を数字の列にして足し比べています。

言い換えても見つかる検索も、矢印の近さで動いています。このコースの最後で、その中身を見ます。

今日わかったこと

• ベクトルは向きと長さを持つ矢印。[3, 4] のように数字の列で書ける
• AIの中では、言葉も数字の列。これが埋め込み
• 王 − 男 + 女 と計算すると、意味の近い言葉に着く
• 今後は、ChatGPTが文章を読む仕組みや検索の裏側を、足し算と掛け算で追う

言葉を数字の列にしたAIで「王 − 男

問題：言葉を数字の列にしたAIで「王 − 男 + 女」を計算すると、女王の近くに着きます。なぜでしょう。

1. 男と女の違いが、矢印の向きとして数字に入っているから（正解）
2. 女王という答えを、前もってAIに覚えさせてあるから
3. 言葉の文字の形を、そのまま数字に置きかえているから

解説：お疲れ様でした。男女の違いは1本の矢印として数字に入っていました。でも男の位置で引いた矢印を、なぜ王へ動かせるのでしょう。次は東京と大阪で同じ矢印を引き、手で動かして確かめます。最後まで進めば、ChatGPTや検索の裏側で起きていることを自分で説明できるようになります。