Coursera Deep Learning専門講座の受講メモ (コース1 - Neural Networks and Deep Learning - Week 1, 2)

この記事のまとめ：

• CourseraのDeep Learning専門講座のコース1: Neural Networks and Deep LearningのWeek 1、2の受講メモとして、要点とよくわからなかったところを補完のために調べたことなどを備忘録としてまとめています。

背景

機械学習の勉強のために、以前Andrew Ng先生のCoursera Machine Learning専門講座を受講したわけですが、そのさらに実践・応用編として同じくAndrew Ng先生のDeep Learning専門講座があり、その中に5つのコースがあります。以前からディープラーニングにも興味があったのですが、なんだかんだで時間は空いたもののまずはコース1のNeural Networks and Deep Learningを受講開始したので、備忘録兼あまり詳細に語られていない部分について文字に起こして理解を深めようと思います。

Week 1とWeek 2の概要

5つあるコースの内、コース1であるNeural Networks and Deep Learningコースは次のような4週構成になっております。本記事ではWeek 1の前提的な話はあまりせず、Week 2のロジスティック回帰について主に整理します。

• Week 1：Deep Learningの前提的な話
• Week 2：ロジスティック回帰、使用する数式表現、Pythonの使い方
• Week 3：隠れ層の少ないニューラルネットワーク、活性化関数、ランダム初期化
• Week 4：隠れ層が多いニューラルネットワーク（＝ディープラーニング）

ニューラルネットワークの数式表記表

特徴ベクトル$x$ とラベル$y$ からなる教師セットを$(x,y)$ と示し、$x$ は$n_{x}$ 次元の情報で、$x \in \textbf{R}^{n_{x}}$ ($n_{x}$ 次元実数空間) と表せます。ラベル$y$ は、例えば二項分類問題 (Binary Classification)のケースでは$0$ もしくは$1$ のみをとり、$y=\{0,1\}$ と表せます。教師セットが$m$ 個あるとき、訓練データ（あるいは教師データ: Training Data）は $\{(x^{(1)},y^{(1)}), (x^{(2)},y^{(2)}), ... , (x^{(m)},y^{(m)})\}$ のように表せます。

また、特徴ベクトル$x$ とラベル$y$ をそれぞれコンパクトに表すために行列で表すこともあります。 $m$ 個の特徴ベクトル$x$ を並べた$X$ を次のように定義します。

$$X = \left.\left[ \vphantom{\begin{array}{c}1\\1\\1\end{array}} \smash{\underbrace{ \begin{array}{ccc} |&|&\cdots &|\\ x^{(1)}&x^{(2)}&\cdots &x^{(m)}\\ |&|&\cdots &| \end{array} }_{m\text{ columns}}} \right]\right\} \,n_{x}\text{ rows}$$

$X$ の次元は$X \in \textbf{R}^{n_{x} \times m}$ です。

また、同様に$m$ 個のラベル$y$ を並べた$Y$ を次のように定義します。

$$Y = \left[ y^{(1)}, y^{(2)}, \cdots, y^{(m)} \right]$$

$Y$ 次元は$Y \in \bf R \it ^{1 \times m}$ です。

ロジスティック回帰 (Logistic Regression)

ロジスティック回帰は、二項分類問題$y \in {0,1}$ のときに使うアルゴリズムです。予測$\hat{y}$ は

$$\hat{y} = \text{P} \left( y=1 | x \right)$$ $$0 \le \hat{y} \le 1$$

であり、このとき下記で表される予測を行うものがロジスティック回帰です。

$$\hat{y} = \sigma \left( z \right) = \frac{1}{1+e^{-z}}$$ $$\text{where} \ \ z = w^{T}x+b$$

$\sigma \left( z \right)$ はロジスティクス回帰における活性化関数 (Activate Function)であり、シグモイド関数、あるいはロジスティック関数と呼ばれる活性化関数が使われます。$w$ は入力に対するウェイトであり、$b$ はバイアスです。

これらを図で表すと次のように表せます。図のとおり、予測に向かって順に信号を伝えていくことから、予測を計算する手順を順伝搬といいます。

なお以後、予測 $\hat{y}$ は $a$ と表すことがあります。これは、Week 3以降を受講するとわかりますが、ニューラルネットワークでは入力層と出力層の間にいくつかの隠れ層があることがあり、$\hat{y}$ をニューラルネットワークの出力層が出力した結果として予測を表すときにだけ使い、出力層を含むすべて層の出力を $a$ で表現するためです。

ロジスティクス回帰におけるコスト関数と損失関数

ロジスティック回帰による学習を行うということは、教師セットを用いて、最適な$w$ と$b$ を導くことです。そのために、損失関数 (Loss Function)とコスト関数 (Cost Function)を導入します。

損失関数は正しいラベルと予測値との差を表す関数で、損失関数の値が小さいほど予測精度が高いといえます。ロジスティック回帰（二項分類問題）での損失関数は次の通りです。

$$L (a,y) = - \left( y \ \text{log} \ a + (1-y) \ \text{log} \ (1-a) \right)$$

また、コスト関数はすべての教師セットの損失関数の平均を表します。コスト関数は次の通り表せます。

$$J(w,b)=\frac{1}{m} \Sigma_{i=1}^{m} L \left( \hat{y}^{(i)},y^{(i)} \right)$$

これらの関数の意味は、「Explanation of logistic regression cost function」のビデオを見ましょう。（私が軽くスルーしただけ…）

最適な$w$ と$b$ を導くということはコスト関数$J(w,b)$ が最小となる値を探すことです。ただし、一般的には$w$ の次元が高く、数理計算で求まるものではないため、最適化アルゴリズムを用いて近似解を導出します。

最急降下法 (Gradient Decent)

最急降下法は、連続最適化問題を解くための単純な勾配法のアルゴリズムの一つで、コスト関数の傾き（一階微分）に基づいて関数の最小値を探索します。

勾配法では反復法を用いて極小解を求めます。下記のようにコスト関数の変数である$w$ と$b$ を傾きを基に更新していきます。なお、$\alpha$ は学習レートであり、学習の速さを調整するためのパラメータです。

$$w := w - \alpha \frac{\partial J(w,b)}{\partial w}$$ $$b := b - \alpha \frac{\partial J(w,b)}{\partial b}$$

ロジスティクス回帰の最急降下法による学習の実装

コスト関数の傾きの計算

活性化関数がシグモイド関数の場合において、ある教師セットにおける損失関数の傾きは下記のように計算できます。

$$\frac{\partial L(a,y)}{\partial w} = \frac{\partial L(a,y)}{\partial a} \frac{\partial a}{\partial z} \frac{\partial z}{\partial w} = ( a - y ) x$$ $$\frac{\partial L(a,y)}{\partial b} = \frac{\partial L(a,y)}{\partial a} \frac{\partial a}{\partial z} \frac{\partial z}{\partial b} = a - y$$

なお、それぞれの偏微分は下記の通りです。ここでは偏微分の詳細は省略します。

$$\frac{\partial L}{\partial a} = - \frac{y}{a} + \frac{1-y}{1-a} \\ \frac{\partial a}{\partial z} = (1-a)a \\ \frac{\partial z}{\partial w} = x \\ \frac{\partial z}{\partial b} = 1$$

上記で損失関数の傾きを導出できたので、すべての教師セットで平均化すればコスト関数の傾きを導出できます。

これらのコスト関数の傾きを用いて、ウェイト、バイアスを更新することで学習していくのですが、上記の計算とおり、それぞれの順伝搬の過程の逆の手順で勾配計算をする（微分する）ことから誤差逆伝搬法といわれます。これは、Week 4以降の隠れ層が多層になっていくとこの逆伝搬が一般化することができるようになりますのでその際にまた触れていきたいと思います。

ベクトル化

上記では教師セット１つずつに対して損失関数を計算する方法なのですべての教師セットを計算すると$m$ 回のループ処理が必要ですが、コンピューターで計算するうえではループ処理よりも行列演算の方が高速に計算ができますので、すべての訓練データに対して一度に計算できるようにベクトル化を行います。するとこれまで表現してきた数式は次のように表せます。

$$\underbrace{Z}_{1 \times m} = \underbrace{W^{T}}_{1 \times n_{x}} \cdot \underbrace{X}_{n_{x} \times m} + \underbrace{b}_{1 \times 1}$$ $$\underbrace{A}_{1 \times m} = \underbrace{\sigma(Z)}_{1 \times m}$$ $$\underbrace{\frac{\partial J(W,b)}{\partial W}}_{n_x \times 1} = \frac{1}{m} \underbrace{X}_{n_x \times m} \cdot \underbrace{(A-Y)^{T}}_{m \times 1}$$ $$\underbrace{\frac{\partial J(W,b)}{\partial b}}_{1 \times 1} = \frac{1}{m} \Sigma^{m}_{i=1} (a^{(i)} - y^{(i)})$$

なお、バイアス$b$ については、もともとベクトルでないため総和のループが残ってしまいそうですが、多くのプログラミング言語であれば、総和関数が用意されているのでそれを使用すればループを回避できます。

反復による学習

ここまでできれば、最急降下法で同じ教師セットを繰り返し実行してウェイト$w$ とバイアス$b$ をアップデートすればそれなりに予測精度が得られるようになっていきます。

今回は以上です。 最後まで読んでいただき、ありがとうございます。

CourseraのDeep Learning専門講座の他のコースの受講メモ

• コース1: Neural Networks and Deep Learning
  • Week 1：Deep Learningの前提的な話
  • Week 2：ロジスティック回帰、使用する数式表現、Pythonの使い方
  • Week 3：隠れ層の少ないニューラルネットワーク、活性化関数、ランダム初期化
  • Week 4：隠れ層が多いニューラルネットワーク（＝Deep Learning）
• コース2: Improving Deep Neural networks
  • Week 1: 性能向上のレシピ、正則化、初期化
  • Week 2: ミニバッチ処理による最急降下法とその最適化
  • Week 3: バッチ標準化、他クラス分類、TensorFlowの使い方
• コース3: Structuring Machine Learning Projects
  • Week 1: 機械学習において開発戦略を立てるための基本的な知識
  • Week 2: 分析手法とマルチタスク学習、転移学習
• コース4: Convolutional Neural Network
  • Week 1: 畳み込みニューラルネットワークの基礎
  • Week 2: 層の深いCNNの実装例
  • Week 3: オブジェクト検出
  • Week 4: 顔認識、ニューラルスタイル変換
• コース5: Sequence Models
  • Week 1: シーケンスモデルの基本的な入出力表現やネットワーク構成
  • Week 2: 自然言語処理におけるWord Embeddingと感情分類
  • Week 3: Sequence to sequenceモデルとして、機械翻訳、音声認識の応用