大規模言語モデルの仕組み
ChatGPTのようなAIは、なぜ質問に答えられるのでしょうか。言葉を数字に変えるところから、学習、もっともらしいうそをつく理由、開発者にもまだ分かっていないことまで、数式なしで説明できるようになります。
- 分野:AI
- 全14レッスン・合計約67分
- 最初の2レッスンは無料、以降はHacozyプレミアム
- 提供:Hacozy
レッスン一覧
-
AIは、続きの言葉を選び続けている
ChatGPTのようなAIの基本的な動きは、文の続きに来そうな言葉を1つ選ぶことです。AIと同じことを自分でやってみて確かめてみましょう。
約2分・無料
-
AIは、文字を読んでいない
AIは文を「トークン」というかけらに切り、番号に変えて受け取ります。実際の切られ方を見ながら、AIが文を読む最初の一歩を学びます。
約5分・無料
-
言葉には、住所がある
AIは言葉1つ1つに、たくさんの数字でできた「住所」を持たせているんですよ。意味の近い言葉が本当に近くにあることを、実際のデータで確かめてみましょう。
約5分
-
AIは、すべての言葉を見比べて読む
「それ」が何を指すかを、AIはまわりの言葉すべてと見比べて決めています。この見比べの仕組みと、2017年に起きた変化を学びます。
約5分
-
同じ作業を、96回くり返す
AIは、まわりを見比べて書き直すという同じ種類の作業を何十回も重ねて、言葉の意味を少しずつ固めます。その1回分である「層」の中身を学びます。
約5分
-
AIに、言葉のルールを教えた人はいない
AIはでたらめな状態から始まり、文の続きを当てては直すことをくり返して言葉を身につけます。小さなAIを実際に学習させて確かめます。
約5分
-
AIの知識は、つまみの位置でできている
AIの中に、文章はしまわれていません。あるのは大量のつまみの位置です。小さなAIのつまみを自分で回して確かめます。
約5分
-
AIは、言葉をくじ引きで選んでいる
同じ質問でも、AIの答えは毎回少し変わります。本物のAIに100回書かせた結果を使って、その仕組みと「温度」を確かめます。
約5分
-
「分かりません」と言うと、AIは損をする
AIは知らないことでも、もっともらしく答えてしまいます。テストを受ける側になって、その理由を体験します。
約5分
-
AIは、会話を覚えていない
AIに見えているのは、決まった広さの枠の中の文章です。長い会話で最初の話が抜ける理由と、その防ぎ方を学びます。
約5分
-
100倍大きいAIより、小さいAIが選ばれた
続きを書くAIは、人の手本と順位づけで「答えるAI」になりました。画面に出ない指示の文章についても学びます。
約5分
-
「順番に考えて」で、正解率が4倍に
AIに途中の手順を書かせると、答えが変わることがあります。その効果と、書かれた手順をどこまで信じてよいかを学びます。
約5分
-
AIは、自分では検索していない
AIが持っている知識は、ある日付で止まっています。新しい情報を検索して手に入れるとき、実際に検索をしているのは誰なのかを学んでいきましょう。
約5分
-
作った人にも、中身はほとんど分かっていない
AIの中で何が起きているのかは、作った人たちにもほとんど分かっていません。中をのぞく研究で見つかったことと、まだ分からないことを学びます。
約5分
このコースのテーマ
- 大規模言語モデル
- ChatGPT
- 生成AI
- AIの仕組み
- トランスフォーマー