問題1
問題
X: 3-class categorical variable
X_1, X_2, \cdots, X_nはXと同分布に従う、独立な確率変数としてパラメータp = (p_1, p_2)のFisher情報量行列I(p_1, p_2)を求めよ。
解答
\mathbf{X} = (X_1, X_2, \cdots, X_n)について、
(X_1 = x_1, X_2 = x_2, \cdots, X_n = x_n)としたときの尤度関数L(x_1, x_2, \cdots, x_n |\, p_1, p_2)は
L(x_1, x_2, \cdots, x_n |\, p_1, p_2) = p_1^{n_1} p_2^{n_2} (1 - p_1 - p_2)^{n - n_1 - n_2}
と表される。(n_1, n_2はそれぞれ、KenとTomが出る回数を表す。)
対数をとって、
\log{L}(x_1, x_2, \cdots, x_n) = n_1 \log{p_1} + n_2 \log{p_2} + (n - n_1 - n_2) \log{(1 - p_1 - p_2)}
p_1, p_2に関する対数尤度関数の微分をそれぞれ計算すると、
\frac{\partial \log{L}}{\partial p_1} = \frac{n_1}{p_1} - \frac{(n - n_1 - n_2)}{(1 - p_1 - p_2)} \quad \frac{\partial \log{L}}{\partial p_2} = \frac{n_2}{p_2} - \frac{(n - n_1 - n_2)}{(1 - p_1 - p_2)}
\frac{\partial^2 \log{L}}{\partial p_1^2} = \frac{-n_1}{p_1^2} - \frac{(n - n_1 - n_2)}{(1 - p_1 - p_2)^2} \quad \frac{\partial^2 \log{L}}{\partial p_2^2} = \frac{- n_2}{p_2^2} - \frac{(n - n_1 - n_2)}{(1 - p_1 - p_2)^2}
\frac{\partial^2 \log{L}}{\partial p_1 \partial p_2} = \frac{\partial^2 \log{L}}{\partial p_2 \partial p_1} = - \frac{(n - n_1 - n_2)}{(1 - p_1 - p_2)^2}
次に、(p_1, p_2)に関するFisher情報量行列I(p_1, p_2)を計算する。I(p_1, p_2)の(i, j)成分をI_{i, j}(p_1, p_2)成分と書くとき、
(N_1, N_2)は、試行回数n, パラメータ(p_1, p_2)をもつ多項分布に従うことから、\mathbb{E}[N_1] = n p_1、\mathbb{E}[N_2] = n p_2となることに注意して、
I_{1, 1}(p_1, p_2) = - \mathbb{E}\left[\frac{\partial^2 \log{L(X_1, X_2, \cdots, X_n)}}{\partial^2 p_1}\right] = - \mathbb{E}\left[\frac{- N_1}{p_1^2} - \frac{(n - N_1 - N_2)}{(1 - p_1 - p_2)^2}\right] = \frac{\mathbb{E}[N_1]}{p_1^2} + \frac{(n - \mathbb{E}[N_1] - \mathbb{E}[N_2])}{(1 - p_1 - p_2)^2} = \frac{n}{p_1} + \frac{n}{(1 - p_1 - p_2)}
I_{2, 2}(p_1, p_2) = \frac{n}{p_2} + \frac{n}{(1 - p_1 - p_2)}
I_{1, 2}(p_1, p_2) = I_{2, 1}(p_1, p_2) = -\mathbb{E}\left[- \frac{(n - N_1 - N_2)}{(1 - p_1 - p_2)^2}\right] = \frac{n}{(1 - p_1 - p_2)}
したがって、
I(p_1, p_2) =
\begin{pmatrix}
I_{1, 1}(p_1, p_2) & I_{1, 2}(p_1, p_2) \\
I_{2, 1}(p_1, p_2) & I_{2, 2}(p_1, p_2)
\end{pmatrix}
=
\begin{pmatrix}
\frac{n}{p_1} + \frac{n}{(1 - p_1 - p_2)} & \frac{n}{(1 - p_1 - p_2)} \\
\frac{n}{(1 - p_1 - p_2)} & \frac{n}{p_2} + \frac{n}{(1 - p_1 - p_2)}
\end{pmatrix}
=
\begin{pmatrix}
\frac{n - n p_2}{p_1(1 - p_1 - p_2)} & \frac{n}{1 - p_1 - p_2} \\
\frac{n}{1 - p_1 - p_2} & \frac{n - n p_1}{p_2(1 - p_1 - p_2)}
\end{pmatrix}
問題2
問題
推定量を(\hat{p}_1, \hat{p}_2) = \left(\frac{N_1}{n}, \frac{N_2}{n}\right)としたとの分散共分散行列Vを計算し、
UMVUとなるかどうかを示せ。
解答
まず、推定量(\hat{p}_1, \hat{p}_2)の分散共分散行列Vを計算する。
\mathbb{V}[\hat{p}_1] = \frac{1}{n^2} np_1(1-p_1) = \frac{p_1(1-p_1)}{n}
\mathbb{V}[\hat{p}_2] = \frac{1}{n^2} np_2(1-p_2) = \frac{p_2(1-p_2)}{n}
\text{Cov}(\hat{p}_1, \hat{p}_2) = \frac{1}{n^2} \text{Cov}(N_1, N_2) = \frac{1}{n^2} (-n p_1 p_2) = - \frac{p_1 p_2}{n}
V =
\begin{pmatrix}
\frac{p_1(1-p_1)}{n} & - \frac{p_1 p_2}{n} \\
- \frac{p_1 p_2}{n} & \frac{p_2(1-p_2)}{n}
\end{pmatrix}
次に問題1で示したFisher情報量行列I(p_1, p_2)の逆行列を計算する。
\det I(p_1, p_2) = \left(\frac{n}{p_1} + \frac{n}{(1 - p_1 - p_2)}\right) \left(\frac{n}{p_2} + \frac{n}{(1 - p_1 - p_2)}\right) - \left(\frac{n}{1 - p_1 - p_2}\right)^2
= \frac{n^2}{p_1 p_2} + \frac{n^2}{p_1 (1 - p_1 - p_2)} + \frac{n^2}{p_2 (1 - p_1 - p_2)}
= \frac{n^2((1 - p_1 - p_2) + p_2 + p_1 )}{p_1 p_2 (1 - p_1 - p_2)}
= \frac{n^2}{p_1 p_2 (1 - p_1 - p_2)}
より、
\frac{1}{\det I(p_1, p_2)} = \frac{p_1 p_2 (1 - p_1 - p_2)}{n^2}
したがって、
I^{-1}(p_1, p_2) = \frac{1}{\det I}
\begin{pmatrix}
\frac{n(1 - p_1)}{p_2(1 - p_1 - p_2)} & -\frac{n}{1 - p_1 - p_2} \\
-\frac{n}{1 - p_1 - p_2} & \frac{n(1 - p_2)}{p_1(1 - p_1 - p_2)}
\end{pmatrix}
=
\begin{pmatrix}
\frac{p_1(1 - p_1)}{n} & \frac{- p_1 p_2}{n} \\
\frac{- p_1 p_2}{n} & \frac{p_2 (1 - p_2)}{n}
\end{pmatrix}
ゆえに分散共分散行列VとI^{-1}(p_1, p_2)は一致し、
Vはクラメールラオの不等式の下限となる。\hat{p}_1と\hat{p}_2はともに不変推定量であることと合わせて、
推定量(\hat{p}_1, \hat{p}_2)はUMVUであることが分かる。