今回は最尤推定についてです。
次のような状況を考えます。
【状況】
・コインを10回投げました。
・裏が7回、表が3回出ました。
・このコインは表と裏が出る確率が同じとは限らない（偏っているかもしれない）ので、
・裏が出る確率 p を推定したい。（現象を支配するpを求めたい）
【モデル】
・各コイン投げは独立で、
・裏が出る確率は p（未知のパラメータ）、
・表が出る確率は 1−p とする。
この時の確率は観測データ（裏7回、表3回）が得られる確率（尤度）は、
$$
L(p) = {10 \choose 7} p^{7} (1-p)^{3}
$$
とかけます。
この時このL(p）を最大とするpを求めるというのが最尤推定です。
「今観測しているデータ（現象）が起こる確率（尤度）を最大にするような、未知のパラメータを推定する方法」
ということです。
$$
L(p) = {10 \choose 7} p^{7} (1-p)^{3}
$$
このL (P)を最大とするようなpを求めるには微分をすれば良いですよね。
また、尤度の対数をとると計算しやすくなることが多いため、対数をとって
微分をしていきます。
$$
\ell(p) = \log L(p) = \log {10 \choose 7} + 7 \log p + 3 \log (1-p)
$$
$$
\frac{d \ell}{d p} = \frac{7}{p} – \frac{3}{1-p} = 0
$$
$$
7 (1-p) = 3 p
$$
$$
7 = 10 p
$$
$$
\hat{p} = \frac{7}{10} = 0.7
$$
となります。
でも、このコインの裏が出る確率が0.7というのは本当でしょうか？
コインの裏が出る確率は基本的に0.5なので我々の感覚からすると少し
疑問ですよね。
現象が稀（珍しい）だった場合の最尤推定の特徴として
最尤推定は「観測データを最もよく説明するパラメータ」を選ぶため、
もし観測されたデータが珍しい・稀なものだったら、そのデータに引っ張られて推定値も偏ることがあります。
このように最尤推定には限界もあります。この限界というものに上手く対処できるものの一つがベイズ法になります。
続く
コメント