この章で学ぶこと

第5章では画像・言語・音声という「入力を認識する」応用を見ました。この章では視点を変え、第2章の強化学習をディープラーニングと組み合わせた深層強化学習、新しいデータを作り出すデータ生成、学習済みモデルを別のタスクに応用する転移学習・ファインチューニングと複数の種類のデータを同時に扱うマルチモーダル、そしてモデルをどう理解し実運用に耐える形にするかというモデルの解釈性・モデルの軽量化を学びます。第7章で学ぶAIプロジェクトの実務・社会実装にもつながる、応用と実装をつなぐ章です。

深層強化学習

第2章で学んだ強化学習に、ディープラーニングによる状態表現の学習を組み合わせたものが深層強化学習です。行動価値関数（Q値）をニューラルネットワークで近似するDQNが代表的な出発点で、Q値を過大評価しやすいという弱点を補正したダブルDQN、状態の価値と行動の優位性を分けて学習するデュエリングネットワーク、複数の改良を組み合わせたRainbow、経験を複数のエージェントで並列に収集し効率化したAPE-Xという順に発展してきました。方策の学習側では、第2章のActor-Criticを非同期・並列化したA3C、学習の安定性を高めたPPOが広く使われます。

ロボットアームの制御のように、行動の選択肢が連続的な値を取る問題を連続値制御と呼びます。探索を促すために、行動選択にノイズを加えるノイジーネットワーク、報酬が疎な環境で学習を助けるために中間目標に報酬を与える報酬成形という工夫も使われます。シミュレーション環境で学習したモデルを実世界に適用する際、両者の差（ギャップ）が問題になるsim2realや、その差を埋めるためにシミュレーションの見た目・物理条件をランダムに変化させながら学習するドメインランダマイゼーションも実務上重要な技術です。環境と直接やり取りせず、あらかじめ収集済みのデータだけから学習するオフライン強化学習、複数のエージェントが同時に学習し協調・競争するマルチエージェント強化学習(MARL)も出題対象です。

深層強化学習の応用として、囲碁AIのアルファ碁(AlphaGo)（第1章）に続き、スタークラフトIIで人間トッププレイヤーに勝利したアルファスター(AlphaStar)、多様なゲームで人間超えの成績を達成したAgent57、Dota2で人間チームに勝利したOpenAI Fiveが代表例です。生成AIの学習にも強化学習が応用されており、人間のフィードバックを報酬として利用するRLHFは、大規模言語モデルを人間にとって望ましい出力に調整する重要な技術として近年特に注目されています。なお、状態をどう数値表現として捉えるかを学習する状態表現学習、少ない試行回数で改善を続ける残差強化学習も関連用語として押さえておきましょう。

扱う用語（精選・16語）

• DQN／ダブルDQN／デュエリングネットワーク／Rainbow／APE-X
• A3C／PPO／連続値制御／ノイジーネットワーク／報酬成形
• sim2real／ドメインランダマイゼーション／オフライン強化学習／マルチエージェント強化学習(MARL)
• アルファスター(AlphaStar)／Agent57／OpenAI Five／RLHF

データ生成

新しいデータそのものを作り出すタスクがデータ生成で、画像を生み出す画像生成、文章を生み出す文章生成、音声を生み出す音声生成があります。生成技術の中核が、第4章で学んだオートエンコーダの発展形に加え、敵対的生成ネットワーク(GAN)という枠組みです。偽物のデータを作る生成器（Generator）と、本物か偽物かを見分ける識別器（Discriminator）を互いに競わせながら学習させることで、識別器を騙せるほど精巧なデータを生成できるようになります。ランダムなノイズから画像を生成する基本形がDCGAN、ある画像を別のスタイルの画像に変換するPix2Pix（対になる画像データが必要）、対になるデータがなくても画風変換ができるCycleGANがあります。

近年主流になっているのがDiffusion Model（拡散モデル）です。元の画像に少しずつノイズを加えて完全なノイズに変換する過程を学習し、その逆の過程（ノイズから少しずつ元の画像に近づける）を再現することで新しい画像を生成します。GANより学習が安定しやすく、高品質な画像を生成できることから、現在の画像生成AIの主流技術になっています。3次元のシーンを2次元の複数視点画像から再構成し、新しい視点からの画像を生成する技術がNeRFで、立体的なデータ生成の代表例です。

扱う用語（精選・9語）

• 画像生成／文章生成／音声生成
• 敵対的生成ネットワーク(GAN)／DCGAN／Pix2Pix／CycleGAN
• Diffusion Model／NeRF

転移学習・ファインチューニングとマルチモーダル

あるタスクで学習させたモデルの知識を、別のタスクに応用する技術が転移学習です。大量のデータで事前に学習しておいたモデルを事前学習済みモデルと呼び、それを作る過程が事前学習です。事前学習済みモデルを、少量の目的タスク用データで再調整することをファインチューニングと呼び、ゼロから学習するより少ないデータ・短い時間で高い精度を達成できます。正解ラベルのないデータから、データ自体の構造（例: 文章の一部を隠して当てさせる）を疑似的な正解として学習する自己教師あり学習は、第5章で学んだBERTなどの事前学習の主要な方法です。ラベルありデータとラベルなしデータを組み合わせて学習する半教師あり学習もあわせて押さえておきましょう。

少量のデータだけで新しいタスクに適応させる学習をFew-shot（数個の事例のみ）・One-shot（1つの事例のみ）と呼びます。転移学習で注意すべき現象が破滅的忘却で、新しいタスクに適応させるためにファインチューニングを行うと、元のタスクで学習した知識を忘れてしまうことがあります。

画像・文章・音声のように複数の種類のデータを同時に扱うのがマルチモーダルです。画像とテキストを結びつけて学習したCLIP、テキストから画像を生成するText-To-Imageの代表モデルであるDALL-E、画像の内容を説明文で表現するImage Captioning、画像を見ながら質問に回答するVisual Question Answering、画像・言語・行動など多様なタスクを1つのモデルで扱うUnified-IOやFlamingoがあります。1つも事例を見ずに未知のタスクをこなすZero-shotの能力を持つ、大規模かつ多様なタスクに応用可能なモデルを総称して基盤モデルと呼び、複数のタスクを同時に学習させることで互いの学習を助け合わせるマルチタスク学習もその実現を支える技術です。

扱う用語（精選・16語）

• 転移学習／事前学習済みモデル／事前学習／ファインチューニング／自己教師あり学習／半教師あり学習
• Few-shot／One-shot／破滅的忘却
• CLIP／DALL-E／Image Captioning／Visual Question Answering／Unified-IO・Flamingo／基盤モデル／Zero-shot・マルチタスク学習

モデルの解釈性と軽量化

ディープラーニングは高い精度を出す一方、なぜその判断に至ったのかが人間には分かりにくい「ブラックボックス」になりがちです（第8章の透明性の議論にもつながります）。この課題に対応するのがモデルの解釈性で、こうした技術の総称を説明可能AI(XAI)と呼びます。画像分類において、モデルがどの領域に着目して判断したかをヒートマップで可視化するCAM、その発展版でより多くのモデル構造に適用できるGrad-CAMが代表的です。モデルの種類を問わず使える汎用的な手法として、入力特徴量をシャッフルして予測精度がどれだけ落ちるかで重要度を測るPermutation Importance、個々の予測に対して各特徴量がどれだけ寄与したかを定量化するSHAP・LIMEがあります。

もう1つの実務課題がモデルの軽量化です。スマートフォンやIoT機器のように計算資源が限られた環境（エッジAI）でディープラーニングを動かすには、モデルを小さく・速くする工夫が欠かせません。大きな学習済みモデル（教師モデル）の知識を、小さなモデル（生徒モデル）に転移させる蒸留、重要度の低い重みや接続を削除するプルーニング、パラメータの数値精度を落として（32bit浮動小数点を8bit整数にするなど）計算量とメモリを削減する量子化が代表的な手法です。これらをまとめてモデル圧縮と呼びます。巨大なネットワークの中には、実は少数の重要な部分ネットワーク（当たりくじ）だけで同等の性能を再現できるという宝くじ仮説も、軽量化の理論的な背景として押さえておきましょう。

扱う用語（精選・12語）

• 説明可能AI(XAI)／CAM／Grad-CAM／Permutation Importance／SHAP・LIME
• エッジAI／蒸留／プルーニング／量子化／モデル圧縮／宝くじ仮説

AIで学ぶ

ここまでの用語は、ChatGPTやClaudeなどの生成AIに以下のプロンプトを投げかけると、比較表つきでさらに深く掘り下げて学習できます。コピーして使ってみましょう。

あなたはG検定（ジェネラリスト検定）の講師です。「強化学習と生成・汎化技術」の範囲について、以下の用語を初学者向けに**関連づけながら**説明してください（単体の丸暗記より、用語同士のつながりを理解したほうが記憶に定着しやすく、試験本番で紛らわしい選択肢を見分ける力もつくためです）。用語同士の違いが分かる**比較表**を最後に付けてください。

【深層強化学習】DQN、ダブルDQN、デュエリングネットワーク、Rainbow、APE-X、A3C、PPO、連続値制御、ノイジーネットワーク、報酬成形、sim2real、ドメインランダマイゼーション、オフライン強化学習、マルチエージェント強化学習(MARL)、アルファスター(AlphaStar)、Agent57、OpenAI Five、RLHF
【データ生成】画像生成、文章生成、音声生成、敵対的生成ネットワーク(GAN)、DCGAN、Pix2Pix、CycleGAN、Diffusion Model、NeRF
【転移学習・マルチモーダル】転移学習、事前学習済みモデル、事前学習、ファインチューニング、自己教師あり学習、半教師あり学習、Few-shot、One-shot、破滅的忘却、CLIP、DALL-E、Image Captioning、Visual Question Answering、Unified-IO、Flamingo、基盤モデル、Zero-shot、マルチタスク学習
【解釈性と軽量化】説明可能AI(XAI)、CAM、Grad-CAM、Permutation Importance、SHAP、LIME、エッジAI、蒸留、プルーニング、量子化、モデル圧縮、宝くじ仮説

このプロンプトは役割設定と比較表（出力形式）の2段構成です。この章は「深層強化学習の各手法の改良の系譜」「GANと拡散モデルの違い」「転移学習とファインチューニングの違い」のように、似た概念の違いを問う問題が出やすいため、比較表で整理させることが特に効果的です。

章末チェック

最後に、この章で学んだ知識をアウトプットして定着させましょう。全問に答えたら「答え合わせ」を押してください。

この章のまとめ

この章では、深層強化学習（DQNからAlphaGo・RLHFまで）、データ生成（GANと拡散モデル）、転移学習・マルチモーダル、そしてモデルの解釈性・軽量化という、AIをどう発展させ、どう実運用に落とし込むかという視点を学びました。ここまでの第1〜6章で、AIの技術的な知識体系は一通りカバーしたことになります。

次章では視点を変え、AIプロジェクトをどう進めるか、データをどう扱うか、そしてAIの土台となる数理・統計知識という、実務・理論の両面を学びます。→ 第7章 AI開発の実務と数理・統計