問題は、与えられた確率分布からの大きさ $n$ の標本 $X_1, X_2, ..., X_n$ が与えられたとき、母数 $\theta$ の最尤推定量 $\hat{\theta}(X_1, X_2, ..., X_n)$ を求める問題です。与えられた確率分布は2つあります。 (1) $p_{\theta}(x) = \theta(1-\theta)^{x-1}$ ($x = 1, 2, ... ; 0 < \theta < 1$) (2) $p_{\theta}(x) = \frac{1}{\sqrt{2\pi\theta}} e^{-\frac{x^2}{2\theta}}$ ($-\infty < x < \infty; \theta > 0$)

1. 問題の内容

問題は、与えられた確率分布からの大きさ $n$ の標本 $X_1, X_2, ..., X_n$ が与えられたとき、母数 $\theta$ の最尤推定量 $\hat{\theta}(X_1, X_2, ..., X_n)$ を求める問題です。与えられた確率分布は2つあります。

(1) $p_{\theta}(x) = \theta(1-\theta)^{x-1}$ ($x = 1, 2, ... ; 0 < \theta < 1$)

(2) $p_{\theta}(x) = \frac{1}{\sqrt{2\pi\theta}} e^{-\frac{x^2}{2\theta}}$ ($-\infty < x < \infty; \theta > 0$)

2. 解き方の手順

(1) $p_{\theta}(x) = \theta(1-\theta)^{x-1}$ の場合

まず、尤度関数 $L(\theta)$ を求めます。

$L(\theta) = \prod_{i=1}^{n} p_{\theta}(x_i) = \prod_{i=1}^{n} \theta(1-\theta)^{x_i-1} = \theta^n (1-\theta)^{\sum_{i=1}^{n} (x_i-1)}$

対数尤度関数 $\ell(\theta)$ を求めます。

$\ell(\theta) = \log L(\theta) = n \log \theta + (\sum_{i=1}^{n} (x_i-1)) \log (1-\theta) = n \log \theta + (\sum_{i=1}^{n} x_i - n) \log (1-\theta)$

$\ell(\theta)$ を $\theta$ で微分し、0 とおきます。

$\frac{d\ell(\theta)}{d\theta} = \frac{n}{\theta} + \frac{(\sum_{i=1}^{n} x_i - n)}{1-\theta} (-1) = 0$

$\frac{n}{\theta} = \frac{\sum_{i=1}^{n} x_i - n}{1-\theta}$

$n(1-\theta) = \theta (\sum_{i=1}^{n} x_i - n)$

$n - n\theta = \theta \sum_{i=1}^{n} x_i - n\theta$

$n = \theta \sum_{i=1}^{n} x_i$

$\theta = \frac{n}{\sum_{i=1}^{n} x_i} = \frac{1}{\frac{1}{n} \sum_{i=1}^{n} x_i} = \frac{1}{\bar{x}}$

$\hat{\theta} = \frac{1}{\bar{x}}$

(2) $p_{\theta}(x) = \frac{1}{\sqrt{2\pi\theta}} e^{-\frac{x^2}{2\theta}}$ の場合

尤度関数 $L(\theta)$ を求めます。

$L(\theta) = \prod_{i=1}^{n} p_{\theta}(x_i) = \prod_{i=1}^{n} \frac{1}{\sqrt{2\pi\theta}} e^{-\frac{x_i^2}{2\theta}} = (\frac{1}{\sqrt{2\pi\theta}})^n e^{-\sum_{i=1}^{n} \frac{x_i^2}{2\theta}} = (2\pi\theta)^{-\frac{n}{2}} e^{-\frac{1}{2\theta} \sum_{i=1}^{n} x_i^2}$

対数尤度関数 $\ell(\theta)$ を求めます。

$\ell(\theta) = \log L(\theta) = -\frac{n}{2} \log (2\pi\theta) - \frac{1}{2\theta} \sum_{i=1}^{n} x_i^2 = -\frac{n}{2} \log(2\pi) - \frac{n}{2} \log \theta - \frac{1}{2\theta} \sum_{i=1}^{n} x_i^2$

$\ell(\theta)$ を $\theta$ で微分し、0 とおきます。

$\frac{d\ell(\theta)}{d\theta} = -\frac{n}{2} \frac{1}{\theta} - \frac{1}{2} (\sum_{i=1}^{n} x_i^2) (-\frac{1}{\theta^2}) = 0$

$-\frac{n}{2\theta} + \frac{1}{2\theta^2} \sum_{i=1}^{n} x_i^2 = 0$

$\frac{1}{2\theta^2} \sum_{i=1}^{n} x_i^2 = \frac{n}{2\theta}$

$\sum_{i=1}^{n} x_i^2 = n\theta$

$\theta = \frac{1}{n} \sum_{i=1}^{n} x_i^2$

$\hat{\theta} = \frac{1}{n} \sum_{i=1}^{n} x_i^2$

3. 最終的な答え

(1) $\hat{\theta} = \frac{1}{\bar{x}} = \frac{n}{\sum_{i=1}^{n} X_i}$

(2) $\hat{\theta} = \frac{1}{n} \sum_{i=1}^{n} X_i^2$