この章で学ぶこと

第4章で学んだ畳み込み層・回帰結合層・Attentionといった部品が、実際にどんなタスクで使われているかを見る章です。画像認識・自然言語処理・音声処理という3つの応用分野は、それぞれ扱うデータの性質が異なるため、使われる代表モデルも異なります。固有名詞のモデルが数多く登場しますが、「どのタスクを解くために、なぜそのモデルが必要になったか」という文脈を押さえることを優先し、個々のモデルの内部構造の丸暗記は避けましょう。既存theory記事「テキストマイニング・自然言語処理の基礎」もあわせて参照してください。

画像認識

画像認識には複数のタスクがあります。画像全体が何であるかを判定する一般物体認識、画像内の物体の種類と位置を矩形（バウンディングボックス）で特定する物体検出、物体の種類だけを特定する物体識別です。さらに細かく、画像を画素単位でカテゴリ分けするセマンティックセグメンテーション、同じカテゴリでも個体ごとに領域を分けるインスタンスセグメンテーション、両者を統合し背景も含めて画素単位で分類するパノプティックセグメンテーション、人物の関節位置を推定する姿勢推定もあります。

画像分類の代表モデルは、層を深くして精度を上げたVGG、複数サイズのフィルタを並列に使うGoogLeNet、第4章で学んだスキップ結合を導入したResNet（さらに幅を広げたWide ResNet）、層同士を密に結合するDenseNet、チャンネルごとの重要度を学習するSENetという順に発展してきました。モデルの構造そのものを自動探索するNAS(Neural Architecture Search)によって設計されたMnasNet、スマートフォンなど計算資源が限られた環境向けに軽量化されたMobileNet、精度と計算量のバランスを体系的に最適化したEfficientNetは、第4章のDepthwise Separable Convolutionのような軽量化技術の集大成です。近年は、第4章で学んだTransformerを画像分類に応用したVision Transformerも広く使われています。

物体検出では、候補領域を提案してから分類する2段階方式のFast R-CNN・Faster R-CNN、異なる解像度の特徴マップを組み合わせて小さな物体も検出しやすくするFPN、画像全体を一度に処理して高速に検出する1段階方式のYOLO・SSDが代表的です（精度重視の2段階方式、速度重視の1段階方式という対比で覚えると整理しやすくなります）。セグメンテーションでは、全結合層を使わず畳み込み層だけで画素単位の出力を得るFCN(Fully Convolutional Network)、それを発展させエンコーダ・デコーダ構造にしたUNet・SegNet、広い範囲の文脈情報を取り込むPSPNet・DeepLab、物体検出とセグメンテーションを組み合わせインスタンスセグメンテーションを実現するMask R-CNNがあります。姿勢推定の代表モデルがOpen Poseです。

扱う用語（精選・24語）

• 一般物体認識／物体検出／物体識別／セマンティックセグメンテーション／インスタンスセグメンテーション／パノプティックセグメンテーション／姿勢推定
• VGG／GoogLeNet／ResNet／Wide ResNet／DenseNet／SENet／NAS(Neural Architecture Search)／MnasNet／MobileNet／EfficientNet／Vision Transformer
• Fast R-CNN・Faster R-CNN／FPN／YOLO／SSD
• FCN(Fully Convolutional Network)／UNet・SegNet／PSPNet・DeepLab／Mask R-CNN／Open Pose

自然言語処理

自然言語処理には、文章の感情を判定する感情分析、ある言語から別の言語に変換する機械翻訳、文を単語に分割し品詞を判定する形態素解析、文の構造（係り受け）を解析する構文解析、質問に対して回答を返す質問応答、文書から必要な情報を検索する情報検索、長い文章を短くまとめる文書要約といったタスクがあります。

単語をコンピュータが扱える数値ベクトルに変換する技術を単語埋め込み（分散表現とも呼ぶ）と呼びます。最も単純な表現は、対象の単語だけ1、それ以外は0にするワンホットベクトルですが、単語同士の意味的な近さを表現できないという弱点があります。これを解決したのが、周辺の単語から対象の単語を予測する過程で意味の近い単語を近いベクトルに学習するword2vecで、周辺単語から対象単語を予測するCBOWと、対象単語から周辺単語を予測するスキップグラムという2つの学習方式があります。単語の出現頻度をもとに文書の特徴を数値化する古典的な手法がBoW(Bag-of-Words)・TF-IDF、単語の並び（n個の連続する単語）に着目するn-gram、word2vecをさらに拡張し単語の一部（部分文字列）の情報も使うfastTextも押さえておきましょう。

第4章で学んだ回帰結合層・Attentionは、自然言語処理の発展を強力に後押ししました。回帰結合層の記憶セルを表すCEC（LSTMの内部構造の一部）、文脈によって単語の意味（ベクトル）を変化させるELMo、そしてTransformerを応用したBERTは、文章の前後両方向の文脈を同時に読み込んで単語の意味を捉える代表的なモデルです。さらに大規模化したモデルの総称が大規模言語モデル(LLM)で、Googleが開発したPaLMのような大規模モデルが代表例として挙げられます。自然言語処理タスクの標準的な性能評価用ベンチマークとしてGLUEが使われます。なお、第1章で学んだ統計的機械翻訳は、現在主流のニューラル機械翻訳（Seq2Seq・Transformerベース）が登場する以前の手法として歴史的に押さえておきましょう。

扱う用語（精選・20語）

• 感情分析／機械翻訳／形態素解析／構文解析／質問応答／情報検索／文書要約
• 単語埋め込み・分散表現／ワンホットベクトル／word2vec／CBOW／スキップグラム／BoW(Bag-of-Words)・TF-IDF／n-gram／fastText
• CEC／ELMo／BERT／大規模言語モデル(LLM)／PaLM／GLUE

音声処理

音声はもともとアナログの連続的な波形であるため、コンピュータで扱うには数値データへの変換が必要です。一定間隔で波形をサンプリングし数値化するA-D変換、その結果をデジタルデータとして符号化するパルス符号変調器(PCM)が入り口の処理です。音の波形を周波数成分に分解する高速フーリエ変換(FFT)により、声の高さや音色に関わる情報を取り出せます。声道の共鳴特性を表すスペクトル包絡や、母音の特徴を決める周波数のピークであるフォルマント（その周波数をフォルマント周波数と呼ぶ）は、人間の聴覚特性に基づくメル尺度で調整したメル周波数ケプストラム係数(MFCC)という形で特徴量化され、音声認識モデルへの入力に使われます。

音声を文字に変換するタスクが音声認識、逆に文字や記号列から音声を合成するタスクが音声合成です。言語の意味を区別する音の最小単位を音素、実際に発音される音の物理的な単位を音韻と呼びます。音声認識では、音の並びを確率的にモデル化する古典的な手法として隠れマルコフモデルが使われてきました。入力と出力の長さ（フレーム数と文字数）が一致しない音声認識特有の課題に対応する学習手法がCTCです。ディープラーニングを用いた音声合成の代表モデルがWaveNetで、波形そのものを1サンプルずつ直接生成する手法として音質の大幅な向上をもたらしました。声の特徴から発話者を特定するタスクを話者識別、音声からの感情分析も応用例として挙げられます。

扱う用語（精選・16語）

• A-D変換／パルス符号変調器(PCM)／高速フーリエ変換(FFT)
• スペクトル包絡／フォルマント・フォルマント周波数／メル尺度／メル周波数ケプストラム係数(MFCC)
• 音声認識／音声合成／音素／音韻／隠れマルコフモデル／CTC
• WaveNet／話者識別／感情分析

AIで学ぶ

ここまでの用語は、ChatGPTやClaudeなどの生成AIに以下のプロンプトを投げかけると、比較表つきでさらに深く掘り下げて学習できます。コピーして使ってみましょう。

あなたはG検定（ジェネラリスト検定）の講師です。「画像・言語・音声のAI応用」の範囲について、以下の用語を初学者向けに**関連づけながら**説明してください（単体の丸暗記より、用語同士のつながりを理解したほうが記憶に定着しやすく、試験本番で紛らわしい選択肢を見分ける力もつくためです）。それぞれのモデルが「どのタスクを解くために」「どんな課題を解決するために」登場したのかを軸に整理し、用語同士の違いが分かる**比較表**を最後に付けてください。

【画像認識】一般物体認識、物体検出、物体識別、セマンティックセグメンテーション、インスタンスセグメンテーション、パノプティックセグメンテーション、姿勢推定、VGG、GoogLeNet、ResNet、DenseNet、SENet、NAS、MobileNet、EfficientNet、Vision Transformer、Fast R-CNN、Faster R-CNN、FPN、YOLO、SSD、FCN、UNet、SegNet、PSPNet、DeepLab、Mask R-CNN、Open Pose
【自然言語処理】感情分析、機械翻訳、形態素解析、構文解析、質問応答、情報検索、文書要約、単語埋め込み、分散表現、ワンホットベクトル、word2vec、CBOW、スキップグラム、BoW、TF-IDF、n-gram、fastText、CEC、ELMo、BERT、大規模言語モデル(LLM)、PaLM、GLUE
【音声処理】A-D変換、パルス符号変調器(PCM)、高速フーリエ変換(FFT)、スペクトル包絡、フォルマント、メル尺度、メル周波数ケプストラム係数(MFCC)、音声認識、音声合成、音素、音韻、隠れマルコフモデル、CTC、WaveNet、話者識別

このプロンプトが「どのタスクを解くために登場したか」という文脈での整理を指示しているのは、この章に固有名詞のモデルが特に多く、単純な暗記では試験本番で似た名前のモデルを混同しやすいためです。タスクの系譜（例: R-CNN系は2段階方式が精度重視、YOLO/SSDは1段階方式が速度重視）で理解すると、初見のモデル名が出ても消去法で対応しやすくなります。

章末チェック

最後に、この章で学んだ知識をアウトプットして定着させましょう。全問に答えたら「答え合わせ」を押してください。

この章のまとめ

この章では、画像認識（物体検出・セグメンテーション等のタスクと代表モデル）、自然言語処理（単語埋め込みからBERT・LLMまでの発展）、音声処理（音声認識・音声合成の仕組み）という3つの応用分野を学びました。固有名詞は多いものの、「どのタスクのために、どんな課題を解決して登場したか」という文脈で整理すれば初見の選択肢にも対応できます。

次章では、AlphaGoで注目された深層強化学習と、画像・文章を新たに生み出すデータ生成（GAN・拡散モデル等）という、応用分野のもう一つの柱を学びます。→ 第6章 強化学習と生成・汎化技術