この章で学ぶこと

第3章で学んだ「活性化関数→誤差関数→誤差逆伝播法→最適化」という学習の仕組みは、どんなニューラルネットワークにも共通する土台でした。この章では、その土台の上にどんな「部品」を組み合わせるかを学びます。画像を扱う畳み込み層とその周辺技術（正規化層・プーリング層・スキップ結合）、時系列データを扱う回帰結合層(RNN)、そして現在の生成AIの中核であるAttention、データそのものを圧縮・生成するオートエンコーダとデータを水増しするデータ拡張という順に扱います。ここで学ぶ部品の組み合わせ方が、第5章で学ぶ画像認識・自然言語処理・音声処理の応用モデルの土台になります。

全結合層と畳み込み層

第3章で扱った、すべてのニューロンが前の層のすべてのニューロンと接続する基本構造を全結合層と呼びます。各接続には学習対象のパラメータである重みがあり、全結合層は本質的には入力に重みを掛けて足し合わせる線形関数です。全結合層は画像のような大きな入力に対してパラメータ数が爆発的に増えてしまうという弱点があります。

この弱点を克服するのが畳み込み層です。画像の一部分（局所的な領域）にだけ着目する小さな重みの塊であるフィルタ（カーネルとも呼ぶ）を画像上でスライドさせながら、部分ごとの特徴を抽出する畳み込み操作を行います。フィルタが1回にどれだけずらして移動するかをストライド、画像の端でフィルタが画像からはみ出さないよう周囲を0などで埋める処理をパディングと呼びます。畳み込み操作の結果として得られる、どこにどんな特徴があるかを表す出力を特徴マップと呼び、このような構造を持つネットワーク全体を畳み込みニューラルネットワーク(CNN)と呼びます。応用的な畳み込みとして、フィルタの間隔を広げて広い範囲を効率よく見るDilated Convolution（Atrous Convolutionとも呼ばれる）、チャンネルごとの畳み込みと合成を分離して計算量を削減するDepthwise Separable Convolutionがあり、いずれも軽量なモデル（第6章で扱うモデル軽量化にもつながる）を作る際に使われます。

扱う用語（精選・9語）

• 全結合層／重み／線形関数
• 畳み込み層／フィルタ・カーネル／畳み込み操作／ストライド／パディング／特徴マップ／畳み込みニューラルネットワーク(CNN)

正規化層・プーリング層・スキップ結合

層を深く重ねると、各層に入ってくるデータの分布が学習の途中で変化してしまい、学習が不安定になることがあります。これを抑えるのが正規化層です。ミニバッチ単位でデータの分布を揃えるバッチ正規化が代表的で、1つのデータ（サンプル）の中の特徴量方向で揃えるレイヤー正規化（バッチサイズに依存しないため、系列データを扱うモデルで使われる）、チャンネルをグループ分けして揃えるグループ正規化、画像1枚・1チャンネルごとに揃えるインスタンス正規化（画風変換のようなタスクで使われる）もあわせて押さえておきましょう。

プーリング層は、特徴マップを縮小して情報を圧縮する処理です。領域内の最大値だけを残す最大値プーリング、領域内の平均を取る平均値プーリングがあり、特徴マップ全体を1つの値に集約するグローバルアベレージプーリング(GAP)は、全結合層の代わりに使うことでパラメータ数を大きく減らす工夫として使われます。プーリングには、対象物が画像内で多少位置がずれても同じ特徴として認識できる不変性の獲得という効果があります。

層を深くするほど表現力が上がる一方で、あまりに深くすると逆に精度が落ちてしまう現象が知られています。この問題を解決したのがスキップ結合で、ある層の入力を、その先の層の出力に直接足し合わせることで、勾配が逆伝播する際の近道（ショートカット）を作ります。この仕組みを採用した代表的なモデルがResNet（Residual Network）で、100層を超えるような非常に深いネットワークの学習を可能にしました。

扱う用語（精選・9語）

• バッチ正規化／レイヤー正規化／グループ正規化／インスタンス正規化
• 最大値プーリング／平均値プーリング／グローバルアベレージプーリング(GAP)／不変性の獲得
• ResNet（スキップ結合）

回帰結合層

時系列データや文章のように、順序を持つデータを扱うために考案されたのが回帰結合層です。前の時刻の出力を次の時刻の入力にも使うことで、過去の情報を記憶しながら処理を進めます。このような構造を持つネットワーク全体をリカレントニューラルネットワーク(RNN)と呼び、出力を次の時刻の隠れ層に戻すエルマンネットワーク、出力層の出力そのものを次の時刻に戻すジョルダンネットワークという2つの原型があります。

RNNを時間方向に展開して誤差逆伝播法を適用する学習手法をBPTT（Backpropagation Through Time）と呼びます。時間方向に何度も逆伝播を繰り返すため、第3章で学んだ勾配消失問題・勾配爆発問題が特に起こりやすいという弱点があり、これを解決するために、情報を「覚える・忘れる」を制御するゲート機構を導入した改良版が考案されました。代表的なものがLSTMと、その構造を簡略化して計算コストを下げたGRUです。過去の情報だけでなく未来の情報も同時に利用する双方向RNN(Bidirectional RNN)、翻訳や文章生成の学習時に、モデル自身の予測ではなく正解データを次の入力として使うことで学習を安定させる教師強制もあわせて押さえておきましょう。

扱う用語（精選・9語）

• リカレントニューラルネットワーク(RNN)／時系列データ／エルマンネットワーク／ジョルダンネットワーク
• BPTT／ゲート機構／LSTM／GRU／双方向RNN(Bidirectional RNN)／教師強制

Attention

RNNには、系列が長くなるほど古い情報を覚えていられないという弱点があります。この弱点を解決するために考案されたのがAttention（注意機構）で、出力の各部分を計算する際に、入力のどの部分に「注目」すべきかを重み付けして計算します。系列を別の系列に変換するタスク（翻訳など）を扱う枠組みであるSeq2SeqにAttentionを組み込んだものが初期の代表的な応用例です。入力側と出力側の間で注目箇所を計算する仕組みをSource-Target Attention、系列自身の中でどの単語同士が関連するかを計算する仕組みをSelf-Attentionと呼びます。

Attentionの計算では、「何を探しているか」を表すクエリ、「何を持っているか」を表すキー、「実際の中身」を表すバリューという3つの要素を使い、クエリとキーの類似度に応じてバリューを重み付けして取り出します（図書館で例えると、クエリ=検索したいキーワード、キー=本のタイトル一覧、バリュー=本の中身、というイメージです）。Self-Attentionを複数並列に行い、異なる観点からの関連性を同時に捉える仕組みがMulti-Head Attentionです。

RNNを一切使わず、Attentionだけを積み重ねて系列データを処理するアーキテクチャがTransformerで、現在の大規模言語モデルのほとんどがこの構造を基盤にしています。RNNのように時刻を順番に処理しないため、単語の並び順の情報を別途与える必要があり、これを補うのが位置エンコーディングです。Transformerは並列計算がしやすく学習が高速なうえ、系列が長くなっても古い情報が薄れにくいという特長があり、これがRNNからTransformerへと主流が移った理由です。

扱う用語（精選・10語）

• Attention／Seq2Seq／Source-Target Attention／Self-Attention
• クエリ／キー／バリュー／Multi-Head Attention
• Transformer／位置エンコーディング

オートエンコーダとデータ拡張

オートエンコーダは、入力データを一度小さな次元（潜在変数）に圧縮してから、元のデータをできるだけ忠実に復元するように学習するニューラルネットワークです。入力を圧縮する部分をエンコーダ、復元する部分をデコーダと呼び、結果として教師データなしで次元削減（第2章のPCAと同じ目的をニューラルネットワークで実現したもの）や特徴抽出ができます。この仕組みをディープラーニングの事前学習に応用し、オートエンコーダを何層も積み重ねたものが積層オートエンコーダです。

圧縮した潜在変数を確率分布として扱い、そこからランダムにサンプリングすることで新しいデータを生成できるようにしたものが変分オートエンコーダ(VAE)です。潜在変数を連続値ではなく離散的なコードブックとして扱うVQ-VAE、情報量の観点から潜在変数の質を高めるinfo VAE、生成データの多様性を調整するパラメータを導入したβ-VAEなど、複数の亜種が提案されています（第6章のデータ生成にもつながる技術です）。

モデルの精度を上げるもう1つのアプローチが、手元のデータを加工して疑似的にデータ量を増やすデータ拡張です。画像に対しては、明るさを変えるBrightness、コントラストを変えるContrast、一部を切り抜くCrop、回転させるRotate、左右反転するRandom Flip、画像の一部を矩形にくり抜くCutoutやランダムな位置を消すRandom Erasing、2枚の画像を合成するMixupやCutMix、複数の拡張手法を自動的に組み合わせて適用するRandAugumentがあります。テキストに対しては、表現を言い換えるparaphrasing、音声に対しては、ノイズを加えるnoisingのように、データの種類ごとに手法が使い分けられます。

扱う用語（精選・10語）

• オートエンコーダ／次元削減／事前学習／積層オートエンコーダ
• 変分オートエンコーダ(VAE)／VQ-VAE・info VAE・β-VAE
• Crop／Rotate／Mixup・CutMix／RandAugument

AIで学ぶ

ここまでの用語は、ChatGPTやClaudeなどの生成AIに以下のプロンプトを投げかけると、比較表つきでさらに深く掘り下げて学習できます。コピーして使ってみましょう。

あなたはG検定（ジェネラリスト検定）の講師です。「ニューラルネットワークの要素技術」の範囲について、以下の用語を初学者向けに**関連づけながら**説明してください（単体の丸暗記より、用語同士のつながりを理解したほうが記憶に定着しやすく、試験本番で紛らわしい選択肢を見分ける力もつくためです）。「どんなデータ（画像／時系列／系列全般）を扱うための部品か」という観点で整理し、用語同士の違いが分かる**比較表**を最後に付けてください。

【畳み込み層とその周辺】全結合層、重み、線形関数、畳み込み層、フィルタ、カーネル、畳み込み操作、ストライド、パディング、特徴マップ、畳み込みニューラルネットワーク(CNN)、バッチ正規化、レイヤー正規化、グループ正規化、インスタンス正規化、最大値プーリング、平均値プーリング、グローバルアベレージプーリング(GAP)、不変性の獲得、ResNet、スキップ結合
【回帰結合層(RNN)】リカレントニューラルネットワーク(RNN)、時系列データ、エルマンネットワーク、ジョルダンネットワーク、BPTT、ゲート機構、LSTM、GRU、双方向RNN、教師強制
【Attention】Attention、Seq2Seq、Source-Target Attention、Self-Attention、クエリ、キー、バリュー、Multi-Head Attention、Transformer、位置エンコーディング
【オートエンコーダとデータ拡張】オートエンコーダ、次元削減、事前学習、積層オートエンコーダ、変分オートエンコーダ(VAE)、VQ-VAE、Crop、Rotate、Mixup、CutMix、RandAugument

このプロンプトが「どんなデータを扱うための部品か」という観点での整理を指示しているのは、この章がCNN系・RNN系・Attention系という3つの異なる系統の技術を扱うためです。系統ごとに整理すると、なぜその部品が必要になったのか（画像の局所性、時系列の順序、系列の長距離依存）という設計思想から理解できます。

章末チェック

最後に、この章で学んだ知識をアウトプットして定着させましょう。全問に答えたら「答え合わせ」を押してください。

この章のまとめ

この章では、画像を扱う畳み込み層とその周辺技術（正規化層・プーリング層・スキップ結合）、時系列データを扱う回帰結合層(RNN)、現在の生成AIの中核であるAttention、そしてオートエンコーダ・データ拡張という、ディープラーニングを構成する代表的な部品を学びました。ここで学んだCNN・RNN・Transformerという3系統は、次章で学ぶ画像認識・自然言語処理・音声処理の応用モデルすべての土台になります。

次章では、これらの部品を組み合わせた具体的な応用モデル——画像認識・自然言語処理・音声処理の代表的なモデルとその実世界での活用例を学びます。→ 第5章 画像・言語・音声のAI応用