同じ作業を、96回くり返す

「大規模言語モデルの仕組み」のレッスン 5 / 14・約5分

AIは、まわりを見比べて書き直すという同じ種類の作業を何十回も重ねて、言葉の意味を少しずつ固めます。その1回分である「層」の中身を学びます。

このレッスンで学ぶこと

  • 層を重ねて意味を固める

このレッスンの本編はHacozyプレミアムで学べます。無料ではじめる

用語

層(Layer)
周りの言葉を見比べて書き直すという、ひとまとまりの作業のことです。AIはこれを何十回も重ねています。
アテンション(Attention)
文の中にある言葉同士を見比べて、どの言葉にどれくらい注目すればよいかを決める仕組みのことです。