【数式なし】生成AIの仕組みをわかりやすく解説｜トークン・学習・嘘をつく理由

この記事の要点

• 生成AIの根幹にあるのは、入力された文章に続く次のトークンを予測し、それを付け足しながらさらに次を予測するという繰り返しです。
• この予測力は大量の文章を使った「次の言葉当て」によって培われ、その後の人の手本や評価を通じた調整によって、質問に適切に答えるアシスタントとしての振る舞いを獲得します。
• 学習データ内に規則性が見出せない事実に対しても推測で回答を生成しようとするため、自信に満ちた口調で誤った情報を出力することがあり、重要な事実の確認は欠かせません。

生成AIは何をしているのか：次に来る言葉を予測し続けている

ChatGPTをはじめとする文章生成AIが行っている処理は、一言で表すと「これまでの文章の続きとして、次に来る可能性が高い言葉を予測すること」です。AIは予測した言葉を1つ文末に追加し、その長くなった文章を新たな入力として、再び次の言葉を予測します。この工程を文末に達するまで繰り返すことで、画面上に少しずつ回答が出力されます。こうした仕組みを持つAIを大規模言語モデル（LLM）と呼びます。

ここで言う「言葉」とは、正確にはトークンと呼ばれる単位のことです。AIは文章をそのまま読むのではなく、文字や単語の断片に細かく区切り、それぞれを数値に置き換えて計算しています。頻出する単語は1つのトークンにまとまり、珍しい単語は複数の断片へと分かれます。区切り方はモデルごとに異なり、AIの利用料金や一度に処理できる情報量の上限も、このトークン数を基準に数えられます。

この予測は、あらかじめ答えを1つに決め打ちする処理ではありません。例えば「今日の東京は」という文章の次には、「晴れ」「雨」「暑い」といった複数の候補が存在します。AIは各候補に対して出現しそうな確率を算出したうえで、その中から選択します。同じ質問を投げかけても毎回少しずつ異なる回答が返ってくるのは、この選び方に確率的な揺らぎを持たせているためです。

ただし、言葉を1つずつ出力しているからといって、文脈の展開をまったく考えずに処理しているわけではありません。Anthropicが2025年3月に公開した研究「Tracing the thoughts of a large language model」では、同社のAI「Claude」に韻を踏む2行の詩を作成させた際、2行目を書き始める前に行末へ置く単語（rabbit）の候補を先に決定し、その単語に向かって文全体を組み立てていたことが報告されています。出力自体は1トークンずつであっても、モデル内部では先の展開を見越した計算が行われている場合があります。

どうやって賢くなるのか：大量の文章による「次の言葉当て」の学習

生成AIの持つ予測力は、膨大な文章データを用いた「次の言葉当て」の反復練習によって培われます。文章の途中までをモデルに提示して次のトークンを予測させ、実際の文章とズレがあった分だけ、内部の数値を微調整していくのです。この工程を何度も何度も繰り返す初期の学習段階を「事前学習」と呼びます。正解データはもとの文章そのものであるため、人間が手作業で1つずつ答えを与えなくても学習を進められます。

その学習規模の目安として、OpenAIが2020年に発表したGPT-3の論文（Brown et al., "Language Models are Few-Shot Learners"）によれば、同モデルは1750億個のパラメータを備え、3000億トークンに及ぶ文章で学習を行いました。学習データには、Web上の膨大な文書を収集したCommon Crawlから選別されたテキスト、書籍、英語版Wikipediaなどが用いられています。パラメータとは予測の出力結果を左右する調整つまみのような数値であり、学習とはこのつまみを予測の精度が高まる方向へと少しずつ回していく作業を指します。

「予測が外れるたびに少し直す」という単純な仕組みで本当に賢くなるのか、疑問に思うかもしれません。これを直感的に理解するうえで参考になるのが、1960年代初めにイギリスの研究者ドナルド・ミッチーが考案した、マッチ箱とビーズで三目並べを学習する機械（MENACE）です。この装置では、盤面の状態ごとに用意された箱の中にあるビーズの色が次の指し手を示し、勝てば選択した色のビーズを増やし、負ければ減らしていきます。ゲームのルールや戦術を一切教えていないにもかかわらず、対戦を重ねるにつれてMENACEは徐々に強くなっていきました。計算規模こそ桁違いですが、試行結果に基づいて数値の偏りを調整するという発想は、現代の生成AIの学習と同じです。ただしMENACEは勝ち負けの結果から学ぶのに対し、生成AIの事前学習は自分の予測を「実際の次の言葉」と比べて学ぶ点が違います。

こうした学習の積み重ねにより、AIは文法や言い回しだけでなく、文章の中に現れる知識や論理的な推論のパターンまで身につけていきます。ただし、AIの知識は事実を1件ずつ取り出せる形で整理したデータベースではなく、膨大な数のパラメータの中に分散して埋め込まれています。この構造的な特性が、のちに解説するハルシネーション（もっともらしい嘘）を引き起こす根本的な要因となります。

文脈をどう読み取るのか：トランスフォーマーと「注意」の仕組み

現在主流となっている生成AIの多くは、「トランスフォーマー」と呼ばれる設計を基盤にしています。これはGoogleの研究チームが2017年に発表した論文「Attention Is All You Need」（Vaswani et al.）で提唱された構造であり、その中核を成すのが「注意（アテンション）」機構です。トランスフォーマーは、それまで一般的だった「文章を先頭から1語ずつ順番に処理する方式」を用いず、注意の仕組みだけで文章を扱えることを示しました。これは入力の読み取りをまとめて並列に計算できるようにしたもので、回答の生成は今も1トークンずつ行われます。

この注意の仕組みを直感的に説明すると、「文章中の各トークンが、他のどのトークンをどれくらい重視して参照すべきかを計算する処理」だと言えます。例えば「ケンはボールを強く蹴った。それはゴールに吸い込まれた」という文章において、「それ」が何を指しているかを正しく判断するには、直前の「強く」や「蹴った」よりも、手前にある「ボール」に強く注目する必要があります。ChatGPTのような文章生成AIは、各トークンとそれより前にあるすべてのトークンとの間でこの注目の度合い（関連性の強さ）を計算し、文脈に応じた適切な言葉の意味づけを行います。

同じ「はし」という言葉であっても、「川にかかるはし」と「ご飯をはしで食べる」とではまったく意味が異なります。注意機構は、文中のほかの言葉を手がかりにすることで、こうした文脈による意味の違いを見分けるのに役立ちます。この計算を何層にも重ねて深めることで、言葉同士の複雑な関係性が段階的に把握され、次に続くトークンを当てやすくなります。

なお、AIが一度に注意を向けられる文章の分量には上限が存在し、この許容量を「コンテキストウィンドウ」と呼びます。長大な資料を読み込ませた際に途中の指示が反映されないことがあるのは、この処理範囲や注意の配分に限りがあることが一因と考えられています。

どうして会話できるアシスタントになるのか：ファインチューニングと人のフィードバック

事前学習を完了した直後のモデルは、文章の続きを自然に生成することは得意ですが、ユーザーの質問に答えるアシスタントとして振る舞えるとは限りません。そこで、人間が作成した良質な手本データや評価を用いて追加学習を行い、指示に沿って受け答えできるように調整します。この調整プロセスを「ファインチューニング」と呼びます。

その代表的な手法は、OpenAIが2022年に発表したInstructGPTの論文（Ouyang et al., "Training language models to follow instructions with human feedback"）で体系化されています。具体的な手順は、大きく3つの段階に分かれます。

第1段階として、人間が作成した「指示とお手本の回答」の組み合わせを用いてモデルを追加学習させます。第2段階では、同一の指示に対してモデルが出力した複数の回答案を人間の評価者が品質順にランク付けし、その順位をもとに、人が好む度合いを点数で返す別のモデル（報酬モデル）を作ります。そして第3段階で、その評価スコアを手がかりに、人間に好まれる回答を出力するよう強化学習によってモデルのパラメータを最適化します。この第2段階と第3段階のプロセスを総称して、「人間のフィードバックによる強化学習（RLHF）」と呼びます。

この調整の効果は大きく、同論文では、パラメータ数が約100分の1である13億パラメータのInstructGPTが出力した回答が、1750億パラメータを持つ素のGPT-3の回答よりも人間の評価者に好まれたと報告されています。ただし同論文では、こうした調整を経たInstructGPTであっても、依然として単純な間違いをする点が明記されています。同論文は真実性の向上と有害な出力の減少も報告しており、調整は態度や形式に加えて正確さもある程度改善しますが、正しさを保証するものではありません。

なぜ生成AIはもっともらしい嘘をつくのか：ハルシネーションの原因

生成AIが事実とは異なる内容を、あたかも正しいかのように堂々と答えてしまう現象を「ハルシネーション」と呼びます。この現象が生じる根本的な原因は、AIが「事実としての正解」を検索しているのではなく、「文章として自然で確率の高い続き」を予測している点にあります。さらに、回答がわからない場合でも何らかの答えを出力するように学習・評価されてきた背景も影響しています。

OpenAIなどの研究者が2025年に発表した論文「Why Language Models Hallucinate」（Kalai et al.）では、著者の1人であるアダム・カライ氏の誕生日を「知っていればDD-MMの形式で答えてください」と尋ねる検証が紹介されています。これに対し、モデル（DeepSeek-V3）は3回の試行で「03-07」「15-06」「01-01」と、毎回異なる誤った日付を返しました。実際の誕生日は秋です。

この論文によると、単語の綴りのように言語的な規則性がある情報は間違えにくい一方、個人の生年月日のように規則性が存在せず、学習データ内にも滅多に出現しない事実情報は、推測で埋めやすくなります。また同論文では、誕生日の事実のうち20%が学習データに1回しか出てこないなら、事前学習を終えたモデルは誕生日の質問の少なくとも20%で誤ると見込まれる、という目安も示されています。

さらに論文では、一般的な評価基準が正解に対してのみ加点し、「わかりません」という正直な回答を評価しない点も問題視されています。試験で空欄のまま提出するより当て推量で記入したほうが点数が高くなりやすいのと同様に、高い評価スコアを目指して最適化されたモデルは、確証が持てない場面でも推測で回答を埋める傾向を強めてしまいます。Anthropicの2025年の研究でも、Claudeは本来「回答できない」と返すのが基本挙動でありながら、既知の人物名だと認識するとその抑制が解除される仕組みを備えており、名前だけを見知っていて詳細な情報を把握していない場合にこの判定が誤作動すると、もっともらしい創作が生じることが報告されています。

仕組みを知ると使い方はどう変わるか：確かめ方と学び方

生成AIの仕組みを理解すると、得意分野と苦手分野の境界線が明確に見えてきます。文章の要約や言い換え、下書きの作成、アイデア出しのように「文脈に沿った自然な続き」が価値を生む作業に向いています。その一方で、学習データに含まれていない社内規定や最新の予定、個人の詳細な経歴や数値のように、文章のパターンから導き出せない事実の扱いには不向きであり、どれほど滑らかな文章であっても正確であるとは限りません。

日々の実務で活用する際は、次の3つの対策が効果的です。1つ目は、回答の根拠となる参考資料をプロンプトとしてAIに直接渡すことです。参照すべき情報をあらかじめ与えておくことで、AIが推測で穴埋めをするリスクを抑えられます。2つ目は、回答の根拠を提示するよう指示し、ユーザー自身で元資料を照合することです。3つ目は、「情報が不足している場合は推測せず、わからないと答えてください」と指示し、不要な当て推量を防ぐことです。それでもなお、数値や日付、固有名詞といった重要データについては、最後に人が確認する必要があります。

こうした生成AIの仕組みをより深く体系的に学びたい場合、いくつかのアプローチがあります。視覚的なイメージを通じて直感的に把握したいなら、3Blue1BrownによるYouTube動画「But what is a GPT? Visual intro to Transformers」（英語）が適しており、トークンや全体の流れを図解アニメーションで追え、続く動画（Chapter 6）でアテンションを詳しく扱っています。また、数式や技術的な実装まで踏み込んで把握したい場合は、本記事でも取り上げたVaswani et al.（2017）やOuyang et al.（2022）の原著論文を直接読むのが近道です。

一方で、英語の解説動画や専門論文を読み解く時間を確保するのが難しく、日本語で短く区切って学びたい人には、HacozyのiOSアプリおよびWebで提供されている「AIの仕組みと使い方」というコースも選択肢となります。導入レッスンではマッチ箱のシミュレーションを通じて「学習」の本質を体験し、続くレッスンではAIの回答生成プロセスを1語ずつ可視化しながら、候補が分岐する箇所からハルシネーションが発生するメカニズムを目で確かめられます。後半のカリキュラムでは、資料の参照方法や自律型エージェントの活用法など、実務への応用が中心となっています。テキストと図解による解説が中心で動画講義は含まれないため、数式やアルゴリズムの実装を深く追究したい方には、前述の専門論文の参照をおすすめします。

本記事はHacozyが制作しています。記載した研究内容は各論文・公式発表の公開時点のもので、Hacozyのコース内容と提供条件は2026年10月時点の情報です。機能・提供条件は変更される場合があります。

出典：Vaswani et al. (2017) "Attention Is All You Need" https://arxiv.org/abs/1706.03762 ／ Brown et al. (2020) "Language Models are Few-Shot Learners" https://arxiv.org/abs/2005.14165 ／ Ouyang et al. (2022) "Training language models to follow instructions with human feedback" https://arxiv.org/abs/2203.02155 ／ Kalai et al. (2025) "Why Language Models Hallucinate" https://arxiv.org/abs/2509.04664 ／ Anthropic (2025) "Tracing the thoughts of a large language model" https://www.anthropic.com/research/tracing-thoughts-language-model ／ Ho et al. (2020) "Denoising Diffusion Probabilistic Models" https://arxiv.org/abs/2006.11239 ／ Michie (1963) "Experiments on the mechanisation of game-learning" The Computer Journal https://people.csail.mit.edu/brooks/idocs/matchbox.pdf ／ 3Blue1Brown (2024) "But what is a GPT? Visual intro to Transformers" https://3blue1brown.substack.com/p/but-what-is-a-gpt

よくある質問

生成AIと、これまでのAIは何が違うのですか？

これまで広く使われてきたAIの多くは、迷惑メールかどうかを判定する、売上を予測するといった「分類や予測」が中心でした。生成AIは、学習した大量の例をもとに新しい文章や画像を作り出す点が違います。どちらもデータから規則性を学ぶ機械学習の一種で、文章の生成AIはその中のディープラーニングを使った大規模言語モデルにあたります。

生成AIは言葉の意味を理解しているのですか？

人間と同じように意味を理解しているかどうかについては、研究者の間でも意見が分かれています。ただしAnthropicの2025年の研究では、「小さい」の反対語を異なる言語で尋ねた際、言語の違いを超えて共通する「小ささ」や「反対」という概念に対応する内部特徴がはたらくことが報告されています。単語の並びを表面上丸暗記しているだけでなく、概念に近いまとまりをモデル内部に持っていると考えられます。

画像を作る生成AIも同じ仕組みですか？

画像生成AIの多くは、文章生成AIとは異なり「拡散モデル」と呼ばれる技術方式を採用しています。代表的な研究論文であるHo et al.（2020）"Denoising Diffusion Probabilistic Models" で示されているように、ランダムなノイズの状態から段階的にノイズを取り除いて目的の画像を生成するのが基本的な考え方です。膨大なデータからパターンを学ぶという点では共通していますが、次のトークンを1つずつ予測していくテキスト生成の仕組みとは異なります。

生成AIが最新のニュースを知らないことがあるのはなぜですか？

モデルが保持している知識は、学習データの収集が行われた時点までに限られているためです。学習の完了後に発生した出来事やニュースは、モデル自体の内部知識には含まれていません。最新情報を踏まえて回答できるサービスは、Web検索などを通じて外部の最新情報を取得し、その内容を読み込ませたうえで回答を生成しています。

AIの性能はパラメータ数が多いほど高いのですか？

一般的にはモデルの規模が大きいほど性能が高まる傾向にありますが、それだけで性能が決まるわけではありません。InstructGPTの研究では、人間のフィードバックに基づいて調整された13億パラメータのモデルが、その100倍以上の規模を持つ1750億パラメータのGPT-3よりも人間の評価者から好まれました。学習データの質や事後調整の方法も、実際の使い心地や回答品質を大きく左右します。

関連するコース

• AIの仕組みと使い方