お勉強メモ：最尤推定法 - Kampersandaのブログ

機械学習の知識を忘れるたびにITエンジニアのための機械学習理論入門で勉強し直してる。いい加減この輪廻を断ち切るため簡単にでもメモを残していくべき。今回は３章の最尤推定法。

パラメトリックモデル

以下のステップで予測モデルを決定する手法

パラメータを含むモデルを設定
パラメータを評価する基準を設定
最も尤もらしいパラメータを決定

最尤推定法もパラメトリックモデルであり、与えられた N 個の訓練データ $\{ (x_n, t_n ) \}_{n=1}^{N}$ から以下のように尤もらしいモデルを決定する。

ステップ１：モデルの設定

観測点 x と観測値 t の間にM次多項式の関係を定義

$\displaystyle f(x) = \sum_{m=0}^M w_m x^m$

今回は以下の考えに基づきモデルを設定

観測点 $x_n$ における観測値 $t$ は、正規分布 $\mathcal{N} (t \mid f(x_n), \sigma^2 )$ に従う。

つまり考えるモデルは

$\displaystyle \mathcal{N} (t \mid f(x_n), \sigma^2 ) = \frac{1}{\sqrt{2 \pi \sigma^2}} \exp \left[ - \frac{ \{ t - f(x_n) \}^2 }{2 \sigma^2 } \right]$

ここで、モデルに含まれるパラメータは以下の２つ

$f(x)$ の係数 $\{ w_m \}_{m=0}^M$
標準偏差 $\sigma$

ステップ２：評価基準の設定

訓練データについて、観測点 $x_n$ から観測値 $t_n$ がモデルから得られる確率の積

$\displaystyle P = \prod_{n=1}^N \mathcal{N} (t_n \mid f(x_n), \sigma^2 )$

を最大化するパラメータこそが尤もらしいと仮定する。

$P$ は尤度関数とよばれ、この尤度関数を最大化するパラメータを決定する手法が「最尤推定法」である。

ステップ３：最大化するパラメータを決定

数学で解ける。