(a) 単回帰モデル $Y = b_0 + b_1 X$ において、最小二乗法で推定した $b_1 = \frac{y_1 - y_2}{x_1 - x_2}$ のとき、$b_0 = \frac{x_1 y_2 - x_2 y_1}{x_1 - x_2}$ となることを示す。 (b) 行列 $X = \begin{pmatrix} 1 & x_1 \\ 1 & x_2 \end{pmatrix}$, ベクトル $y = \begin{pmatrix} y_1 \\ y_2 \end{pmatrix}$, $b = \begin{pmatrix} b_0 \\ b_1 \end{pmatrix}$ が与えられたとき、最小二乗推定量 $\hat{b} = (X'X)^{-1}X'y$ を用いて推定した $\hat{b} = \begin{pmatrix} \hat{b_0} \\ \hat{b_1} \end{pmatrix}$ の値が、(a) で得られた $b_0$ と $b_1$ の値と同じになることを計算により確認する。

1. 問題の内容

(a) 単回帰モデル $Y = b_0 + b_1 X$ において、最小二乗法で推定した $b_1 = \frac{y_1 - y_2}{x_1 - x_2}$ のとき、$b_0 = \frac{x_1 y_2 - x_2 y_1}{x_1 - x_2}$ となることを示す。

(b) 行列 $X = \begin{pmatrix} 1 & x_1 \\ 1 & x_2 \end{pmatrix}$, ベクトル $y = \begin{pmatrix} y_1 \\ y_2 \end{pmatrix}$, $b = \begin{pmatrix} b_0 \\ b_1 \end{pmatrix}$ が与えられたとき、最小二乗推定量 $\hat{b} = (X'X)^{-1}X'y$ を用いて推定した $\hat{b} = \begin{pmatrix} \hat{b_0} \\ \hat{b_1} \end{pmatrix}$ の値が、(a) で得られた $b_0$ と $b_1$ の値と同じになることを計算により確認する。

2. 解き方の手順

(a) 単回帰モデル $Y = b_0 + b_1 X$ に、与えられた2つのサンプル $(x_1, y_1)$ と $(x_2, y_2)$ を代入すると、以下の2つの式が得られる。

$y_1 = b_0 + b_1 x_1$

$y_2 = b_0 + b_1 x_2$

これらの式を $b_0$ について解く。

最初の式より、$b_0 = y_1 - b_1 x_1$。

2番目の式より、$b_0 = y_2 - b_1 x_2$。

$b_1 = \frac{y_1 - y_2}{x_1 - x_2}$ をこれらの式に代入する。例えば、最初の式に代入すると、

$b_0 = y_1 - \frac{y_1 - y_2}{x_1 - x_2}x_1$

$b_0 = \frac{y_1 (x_1 - x_2) - (y_1 - y_2) x_1}{x_1 - x_2}$

$b_0 = \frac{x_1 y_1 - x_2 y_1 - x_1 y_1 + x_1 y_2}{x_1 - x_2}$

$b_0 = \frac{x_1 y_2 - x_2 y_1}{x_1 - x_2}$

(b) 最小二乗推定量 $\hat{b} = (X'X)^{-1}X'y$ を計算する。

まず、$X'X$ を計算する。

$X'X = \begin{pmatrix} 1 & 1 \\ x_1 & x_2 \end{pmatrix} \begin{pmatrix} 1 & x_1 \\ 1 & x_2 \end{pmatrix} = \begin{pmatrix} 2 & x_1 + x_2 \\ x_1 + x_2 & x_1^2 + x_2^2 \end{pmatrix}$

次に、$(X'X)^{-1}$ を計算する。2x2行列の逆行列の公式を用いる。

$A = \begin{pmatrix} a & b \\ c & d \end{pmatrix}$ に対して、$A^{-1} = \frac{1}{ad - bc} \begin{pmatrix} d & -b \\ -c & a \end{pmatrix}$。したがって、

$(X'X)^{-1} = \frac{1}{2(x_1^2 + x_2^2) - (x_1 + x_2)^2} \begin{pmatrix} x_1^2 + x_2^2 & -(x_1 + x_2) \\ -(x_1 + x_2) & 2 \end{pmatrix}$

$(X'X)^{-1} = \frac{1}{x_1^2 + x_2^2 - 2 x_1 x_2} \begin{pmatrix} x_1^2 + x_2^2 & -(x_1 + x_2) \\ -(x_1 + x_2) & 2 \end{pmatrix} = \frac{1}{(x_1 - x_2)^2} \begin{pmatrix} x_1^2 + x_2^2 & -(x_1 + x_2) \\ -(x_1 + x_2) & 2 \end{pmatrix}$

次に、$X'y$ を計算する。

$X'y = \begin{pmatrix} 1 & 1 \\ x_1 & x_2 \end{pmatrix} \begin{pmatrix} y_1 \\ y_2 \end{pmatrix} = \begin{pmatrix} y_1 + y_2 \\ x_1 y_1 + x_2 y_2 \end{pmatrix}$

最後に、$\hat{b} = (X'X)^{-1} X' y$ を計算する。

$\hat{b} = \frac{1}{(x_1 - x_2)^2} \begin{pmatrix} x_1^2 + x_2^2 & -(x_1 + x_2) \\ -(x_1 + x_2) & 2 \end{pmatrix} \begin{pmatrix} y_1 + y_2 \\ x_1 y_1 + x_2 y_2 \end{pmatrix}$

$\hat{b} = \frac{1}{(x_1 - x_2)^2} \begin{pmatrix} (x_1^2 + x_2^2)(y_1 + y_2) - (x_1 + x_2)(x_1 y_1 + x_2 y_2) \\ -(x_1 + x_2)(y_1 + y_2) + 2(x_1 y_1 + x_2 y_2) \end{pmatrix}$

$\hat{b}_1 = \frac{-(x_1 + x_2)(y_1 + y_2) + 2(x_1 y_1 + x_2 y_2)}{(x_1 - x_2)^2} = \frac{-x_1 y_1 - x_1 y_2 - x_2 y_1 - x_2 y_2 + 2 x_1 y_1 + 2 x_2 y_2}{(x_1 - x_2)^2}$

$= \frac{x_1 y_1 - x_1 y_2 - x_2 y_1 + x_2 y_2}{(x_1 - x_2)^2} = \frac{x_1(y_1 - y_2) - x_2(y_1 - y_2)}{(x_1 - x_2)^2} = \frac{(x_1 - x_2)(y_1 - y_2)}{(x_1 - x_2)^2} = \frac{y_1 - y_2}{x_1 - x_2}$

$\hat{b}_0 = \frac{(x_1^2 + x_2^2)(y_1 + y_2) - (x_1 + x_2)(x_1 y_1 + x_2 y_2)}{(x_1 - x_2)^2} = \frac{x_1^2y_1+x_1^2y_2+x_2^2y_1+x_2^2y_2 -x_1^2y_1-x_1x_2y_2-x_1x_2y_1-x_2^2y_2}{(x_1-x_2)^2} = \frac{x_1^2y_2+x_2^2y_1 - x_1x_2y_2-x_1x_2y_1}{(x_1-x_2)^2} = \frac{x_1(x_1y_2-x_2y_2) + x_2(x_2y_1-x_1y_1)}{(x_1-x_2)^2} = \frac{x_1 y_2(x_1-x_2) - x_2 y_1(x_1-x_2)}{(x_1-x_2)^2}=\frac{x_1 y_2 - x_2 y_1}{x_1 - x_2}$

$\hat{b}_1 = \frac{y_1 - y_2}{x_1 - x_2}$ および $\hat{b}_0 = \frac{x_1 y_2 - x_2 y_1}{x_1 - x_2}$ となり、(a) の結果と一致する。

3. 最終的な答え

(a) $b_0 = \frac{x_1 y_2 - x_2 y_1}{x_1 - x_2}$

(b) $\hat{b}_1 = \frac{y_1 - y_2}{x_1 - x_2}$, $\hat{b}_0 = \frac{x_1 y_2 - x_2 y_1}{x_1 - x_2}$