LLMの仕組み — トークン予測とTransformer

大規模言語モデル（LLM）は、大量のテキストで学習し、「次に来る単語（トークン）」を確率的に予測することで文章を生成するモデルです。仕組みの骨格を理解すると、得意・不得意や限界の理由が見えてきます。

注: このページは概念を扱います。個別モデルの名称・コンテキスト長・料金・性能などの変化が速い数値は本文に含めていません（最新の事実は data/models.yaml と各社公式ドキュメントを参照してください）。

トークンと次トークン予測 ★

LLMはテキストをそのまま扱うのではなく、トークンと呼ばれる小さな単位（単語や部分文字列）に分割して処理します。学習の中心は単純で、「これまでの並びの次に来るトークンは何か」を当てられるように、膨大なテキストで確率分布を調整していきます。文章生成は、この予測を1トークンずつ繰り返すことで行われます。

Transformer と自己注意 ★★

現在のLLMの土台は、2017年に提案されたTransformerというネットワーク構造です。原論文は、それまで主流だった再帰型（RNN）や畳み込み（CNN）を使わず、注意機構（attention）だけでモデルを構成できることを示しました。

**自己注意（self-attention）**は、入力中の各トークンが「文中のどのトークンに注目すべきか」を重みづけして捉える仕組みです。これにより離れた語どうしの関係（文脈依存）を効率よく扱え、並列計算にも向くため大規模化が進みました。

生成とランダム性 ★★

生成時、モデルは次トークンの確率分布からサンプリングして1語を選びます。このとき「どれだけ確率の低い候補まで許すか」を調整するパラメータ（temperature など）で、出力の多様性を変えられます。値を下げると無難で一貫した出力に、上げると多様で創造的な出力になりやすい、という関係があります。

得意・不得意と限界 ★★

LLMは流暢な文章生成や要約・変換に強い一方、次のような限界があります。

• ハルシネーション: もっともらしいが誤った内容を自信ありげに生成することがある。
• 知識のカットオフ: 学習データの時点までの知識しか持たず、それ以降の事実は知らない。
• 最新・正確な事実: 変化の速い事実（製品仕様・価格など）は、モデルの知識に頼らず外部の一次情報で裏取りする必要がある。

まとめ

• LLMはトークン単位で「次に来る語」を予測する確率モデル。
• 土台は自己注意を用いる Transformer で、文脈依存を効率的に捉える。
• 流暢さの裏でハルシネーションや知識カットオフがあり、事実は外部で裏取りする。

確認問題

問1. LLMの学習の中心的な目的として正しいものはどれか。

1. 画像をカテゴリに分類する
2. これまでの並びの次に来るトークンを予測する
3. データベースを最適化する
4. 音声を文字起こしする

正解: 2 解説: LLMは「次に来るトークン」を予測できるように大量テキストで学習します。生成はこの予測を1トークンずつ繰り返して行われます。

問2. Transformer の自己注意（self-attention）の説明として正しいものはどれか。

1. 再帰型ネットワークで単語を1つずつ順に処理する仕組み
2. 各トークンが文中のどのトークンに注目すべきかを重みづけする仕組み
3. 画像の畳み込みを行う仕組み
4. 学習を止めて推論だけ行う仕組み

正解: 2 解説: 自己注意は各トークンが他のどのトークンに注目するかを重みづけし、離れた語の関係（文脈）を効率よく捉えます。TransformerはRNN/CNNを使いません。

問3. LLMの限界に関する記述として適切でないものはどれか。

1. 学習データのカットオフ以降の事実は知らない
2. もっともらしい誤り（ハルシネーション）を生成することがある
3. 変化の速い事実もモデルの知識だけで常に正確に答えられる
4. 最新の事実は外部の一次情報で裏取りするのが望ましい

正解: 3 解説: 変化の速い事実をモデルの知識だけで正確に答えられるとは限りません。カットオフやハルシネーションがあるため、事実は外部の一次情報で確認します。

参考にした考え方の出典

Transformer と自己注意の説明は原論文「Attention Is All You Need」(2017) に基づき、基本的な仕組みを自分の言葉で整理しました（末尾の参考文献を参照）。