LLMとは何か？

人工知能
著者:

LLMはLarge Language Modelの略で、日本語では大規模言語モデルと呼ばれます。文中の次の単語を予測することを学ぶために、膨大な量のテキスト（数十億のウェブページ、書籍、記事、ソースコード）で訓練された人工ニューラルネットワークの一種です。ChatGPT、Claude、Gemini、Llama、Mistral、DeepSeek：2023年以降どこでも目にするこれらの名前はすべてLLMまたはLLM上に構築された製品です。

コードを生成し、エッセイを書き、500ページの文書を要約し、医学試験に合格する技術にしては、原理はばかばかしいほどシンプルに見えるかもしれません：次の単語を予測する。しかし十分に大きなニューラルネットワークを十分なテキストで訓練すると、この予測タスクから誰も本当に予想していなかった能力が生まれます：推論、翻訳、問題解決、コード生成、そして人間のものではないものの、しばしば人間と区別がつかない結果を生み出す言語理解の一形態です。

LLMの仕組み

LLMは非常に複雑な数学的関数です。単語の列（より正確には「トークン」、単語の断片）を入力として受け取り、可能なすべてのトークンに対する確率分布を出力として生成します。最も高い確率を持つトークンが次の単語として選択され、列に追加され、プロセスが再開します。モデルはこのようにしてテキストを生成します、単語ごとに（またはトークンごとに）。

基盤となるアーキテクチャはTransformerと呼ばれ、2017年にGoogleの研究者が「Attention Is All You Need」と題した論文で発表しました。Transformerの重要な革新はアテンションメカニズムです：以前存在していたリカレントネットワークのように単語を左から右へ1つずつ処理する代わりに、Transformerは列内のすべての単語を同時に考慮し、すべての単語ペア間の関係を計算できます。これが文脈を理解することを可能にします：「川の岸」と書くと、モデルは「岸」が水辺を指していることを知っています。「岸」と「川」の関係を計算したからです。

2026年、支配的なアーキテクチャはMixture of Experts（MoE）です：モデルは合計で数兆のパラメータを含みますが、各トークンに対して活性化されるのはごく一部（数百億）のみです。数百の専門オフィスがある建物のようなものです：各質問に対して200すべてではなく、関連する2〜3のオフィスだけに案内されます。これにより巨大モデルの品質をはるかに合理的な計算コストで実現できます。

LLM作成の3段階

LLMは会話能力を持って生まれるわけではありません。その作成は3つの異なる段階を経て、それぞれが異なる能力を与えます。

事前学習（プレトレーニング）。モデルは膨大なテキストコーパス（数十億のウェブページ、書籍、ソースコード、科学論文、フォーラムの議論）で訓練されます。目的はシンプル：次の単語を予測すること。これを数十億のテキストで数十億回行うことで、モデルは文法、事実、論理的推論、文体、そして単語間の統計的関係に符号化された「世界知識」の一形態を学びます。事前学習は最もコストがかかる段階です：GPT-3の訓練は1,287MWhの電力を消費し、330のアメリカの家庭を1年間電力供給するのに相当します。2026年のモデルはさらに多く消費します。

教師あり微調整（SFT）。事前学習後、モデルはテキストを完成させることはできますが、質問に答えたり、指示に従ったり、構造化された会話をすることはできません。教師あり微調整は、高品質な会話例で訓練することです：人間が書いた質問と回答のペア、指示遂行の例、推論タスク。「テキスト補完器」を会話アシスタントに変えるのがこのステップです。

アラインメント（RLHF、DPO、GRPO）。3番目の段階は、モデルの動作を人間の好みに合わせることです。歴史的手法はRLHF（人間のフィードバックからの強化学習）です：人間がモデルの2つの回答を比較し、どちらが良いかを示します。報酬モデルがこれらの好みで訓練され、強化学習を通じてLLMを最適化するために使用されます。DPO（Direct Preference Optimization）やGRPO（Group Relative Policy Optimization）のようなより新しい手法がこのプロセスを簡素化します。アラインメントは、モデルが有害なコンテンツを生成したり、危険な指示に従ったり、不必要に冗長に回答することを防ぐものです。

トークン：基本単位

LLMは単語ではなくトークンで動作します。トークンはテキストの断片です：一般的な単語は1つのトークンであることが多く、珍しい単語は複数のトークンに分割される場合があり、特殊文字や句読点は通常それ自体が1つのトークンです。平均して、日本語や英語のテキストでは、1トークンは約3/4語に相当します。1,000語のテキストは約1,300トークンです。

この区別は重要です。LLMは単語ではなくトークン単位で課金し制限するからです。「コンテキストウィンドウ」（モデルが一度に処理できるテキスト量）はトークンで測定されます。2026年、最先端モデルは128,000から100万トークンのコンテキストウィンドウを提供し（Gemini、Claude）、Meta Llama 4 Scoutは1,000万トークンに達します。ただし「コンテキストウィンドウ」と「有効コンテキスト」は同じものではありません：ほとんどのモデルは長いコンテキストの中間にある情報に対して精度が低下します。

LLMにできること

2026年のLLMの能力リストは長く、新しいモデル世代ごとに伸びています。

テキスト生成。メール、レポート、記事、スクリプト、SNS投稿の作成。最も一般的で目に見える使用例です。

要約と分析。200ページの文書を数段落に要約し、重要ポイントを抽出し、主要な論点を特定し、2つのテキストを比較。

翻訳。LLMは数十の言語間を、日常テキストでは人間の翻訳者に匹敵する品質で翻訳します（高度に専門的または文学的なテキストではやや信頼性が低い）。

コード生成と分析。ほぼあらゆるプログラミング言語でコードを書き、既存コードをデバッグし、プログラムが何をするか説明し、コードをある言語から別の言語に変換。2026年、開発者の約85%がLLM支援コーディングツールを定期的に使用しています。

推論。推論モデル（設定可能な努力レベルのGPT-5、「拡張思考」付きClaude、Gemini 3、DeepSeek R1）は複雑な数学問題、論理パズル、多段階計画を要するタスクを解けます。最終回答を出す前に内部的な思考連鎖を生成して「考え」ます。

マルチモーダル。現代のLLMはもはやテキストに限定されません。画像を分析し（写真の説明、画像内テキストの読み取り、グラフの解釈）、音声ファイルを処理し（文字起こし、音声翻訳）、場合によっては画像や動画を生成できます。

LLMにできないこと

印象的な能力にもかかわらず、LLMには正しく使うために理解すべき基本的な限界があります。

ハルシネーション。LLMは完全な確信をもって虚偽の情報を作り出すことがあります。存在しない研究を引用したり、言ったことのない人に引用を帰属させたり、完全に捏造された数字を示したりできます。問題はその性質自体にあります：最も確からしいテキストを生成するのであって、最も真実のテキストを生成するのではありません。LLMにとって、「もっともらしく聞こえる」虚偽の主張は、珍しい表現の真実の主張より高い確率を持つ可能性があります。ハルシネーション率はモデル世代ごとに低下していますが、ゼロではなく、おそらく永遠にゼロにはなりません。

長い連鎖での信頼性ある推論。LLMは3〜5ステップの推論を信頼性高く連鎖できます。それ以上ではエラーが複合的に蓄積します。15ステップの論理的推論を要する問題は、最高のモデルでも一貫性なく解かれます。推論モデル（より長く「考える」）はこの天井を引き上げますが、排除はしません。

最新の知識。LLMは時間の中で凍結されています。訓練データに含まれる情報は知っていますが、訓練のカットオフ日以降に起きたことは何も知りません。最新情報にアクセスするにはツール（ウェブ検索、データベースアクセス）が必要で、これはLLMの周りにAIエージェントを構築することに等しいです。

数学と数え上げ。逆説的に、LLMは「暗算」で基本的な算術をする必要がある場合（単語の文字数を数える、大きな数を掛ける）に苦手です。数学的推論（問題を理解しアプローチを定式化する）には良く機能しますが、生の計算には向きません。最良のシステムが計算を自ら行うのではなくコードインタプリタへのアクセスを与えるのはそのためです。

会話間のメモリ。デフォルトでは、LLMは2つの会話間にメモリを持ちません。各やり取りはゼロから始まります。メモリシステム（以前の会話の要約、コンテキストデータベース）はアプリケーションによって追加されるレイヤーであり、モデルのネイティブ機能ではありません。

2026年の主要LLM

LLMエコシステムは2つのカテゴリを中心に構造化されています：プロプライエタリモデル（APIまたはウェブインターフェースのみでアクセス可能）とオープンソースモデル（ダウンロードしてローカルで実行可能）。

GPT-5（OpenAI）はOpenAIのフラッグシップモデルで、GPT-4の後継です。タスクの複雑さに応じてより長くまたは短く「考える」ことを可能にする設定可能な推論モードを搭載。GPT-5上に構築されたChatGPTは2026年に週間アクティブユーザー9億人に達しています。

Claude（Anthropic）は安全性とアラインメントに焦点を当てたアーキテクチャを持つAnthropicのモデルファミリーです。異なる品質/コスト/速度のトレードオフに適した複数のサイズ（Haiku、Sonnet、Opus）で利用可能。Anthropicは30万以上のビジネス顧客にサービスを提供。

Gemini（Google）はGoogleのモデルファミリーで、Google検索、Gmail、Google Docs、Androidに統合されています。Geminiアプリは2026年に月間アクティブユーザー9億人を超えています。Geminiは非常に大きなコンテキストウィンドウ（最大100万トークン）で際立っています。

Llama（Meta）は自由にダウンロード・変更可能な主要オープンソースモデルファミリーです。Llama 4 Scoutは1,000万トークンのコンテキストに達します。Llamaモデルはクラウドプロバイダーに依存せず自社LLMをホストしたい企業に広く使用されています。

DeepSeek（DeepSeek）は2025年初頭にはるかに低い訓練コストでGPT-4に匹敵する性能を実証し、業界に衝撃を与えた中国のオープンソースモデルです。DeepSeekは最先端の性能には必ずしも最先端の予算が必要ではないことを証明しました。

Mistral（Mistral AI）はフランスのスタートアップが開発した主要ヨーロッパモデルです。Mistralは効率性を重視：サイズの割に非常に競争力のある小型モデルで、レイテンシーやコストが重要な使用例に特に適しています。

パラメータ：何を意味するのか

「700億パラメータ」や「1兆パラメータ」のモデルと言う場合、パラメータは訓練中に調整されモデルの動作を定義する数値です。各パラメータはニューラルネットワークに格納された浮動小数点数です。大まかに言えば、パラメータが多いほどモデルはより多くの知識と単語間のより複雑な関係を符号化できます。

しかしサイズがすべてではありません。高品質なデータでよく訓練された80億パラメータモデルは、質の低いデータで訓練された700億パラメータモデルを上回ることができます。訓練データの品質、モデルアーキテクチャ、ポストトレーニング技術は、パラメータの生の数と同等かそれ以上に重要です。これがDeepSeekが業界に教えた教訓です：性能は予算だけに依存しません。

プロプライエタリ vs オープンソースモデル

プロプライエタリモデルとオープンソースモデルの議論は2026年の業界で最も活発なものの1つです。

プロプライエタリモデル（GPT-5、Claude、Gemini）はAPIまたはウェブインターフェースのみでアクセス可能です。ソースコードを見ることも、ダウンロードすることも、変更することもできません。利点：一般的に最も高性能で、常に更新され、インフラを管理する必要がありません。欠点：プロバイダーに依存します（価格、利用規約、可用性、データプライバシーポリシー）。

オープンソースモデル（Llama、DeepSeek、Mistral、Qwen）はダウンロード、変更、自社インフラでの実行が可能です。利点：データの完全なコントロール（何もサーバーから出ない）、特定のユースケースに合わせたファインチューニングの可能性、ベンダー依存なし。欠点：インフラ管理が必要（高価なGPU）、性能は一般的に最高のプロプライエタリモデルよりやや低く、更新頻度も低い。

2026年、2つのカテゴリ間の性能差は縮まっています。DeepSeek V3.2、Qwen3、Llama 4は多くのベンチマークでプロプライエタリモデルと競合しています。多くの企業にとって、選択は生の性能よりもプライバシー要件、コスト、コントロールに基づいています。

利用コスト

プロプライエタリLLMはトークン単位（入力と出力）で課金します。価格はモデルとプロバイダーによって大きく異なります。最先端モデルは通常、入力100万トークンあたり2〜15ドル、出力100万トークンあたり8〜60ドルです。小型または古いモデルはこれらの価格のごく一部です。

自己ホスト型オープンソースモデルの主なコストはハードウェアです：プロフェッショナルGPU（NVIDIA A100またはH100）は10,000〜30,000ドルで、大型モデルには複数のGPUが必要です。インフラが整えばトークンあたりのコストは低くなりますが、初期投資とメンテナンスは大きいです。

グローバルLLM市場は2025年に78.1億ドルと推定され、2034年までに1,300億ドルに達する見込みです。OpenAIは年間収益200億ドルを超え、Anthropicは140億ドルに達しています。

覚えておくべきリスクと限界

データプライバシー。クラウドAPIを通じてLLMにテキストを送信すると、そのテキストはプロバイダーのサーバーに送信されます。常にプライバシーポリシーを確認してください：一部のプロバイダーは将来のモデル訓練にデータを使用する可能性があります。プライバシーが重要な場合は、自己ホスト型オープンソースモデルまたは明示的な保証付きのエンタープライズ契約を検討してください。

バイアス。LLMは訓練データに存在するバイアスを反映します。データが特定の文化的、地理的、人口統計的な視点を過剰に表現している場合、モデルはそれらのバイアスを再現します。プロバイダーはアラインメントとフィルタリングを通じてこれらを削減しようとしていますが、問題は解決されていません。

エネルギー消費。LLMの訓練と使用はかなりの量のエネルギーを消費します。AI分野は2027年までに年間85〜134TWhを消費する可能性があり、これはほぼオランダと同等です。これは増大する環境上の懸念です。

依存性。少数のプロバイダー（OpenAI、Google、Anthropic、Meta）への市場集中は依存リスクを生みます。価格変更、利用ポリシーの変更、障害は何百万ものユーザーとアプリケーションに影響を与える可能性があります。

LLMは次の単語を予測するように訓練されたニューラルネットワークです。このシンプルなタスクを大規模に適用することで、推論、執筆、翻訳、プログラミングの能力が生まれ、3年でコンピューティングを変革しました。2026年、LLMは数億人に使用されていますが、その限界（ハルシネーション、長いシーケンスでの脆弱な推論、ネイティブメモリの欠如）は現実のままです。LLMが何であり何でないかを理解することが、効果的に活用するための条件です。