教師データ $D = \{(1,2), (2,3), (4,3), (5,4)\}$ が与えられたとき、最小二乗法によって学習される直線 $f(x) = ax + b$ の $a$ と $b$ の値を求める。ただし、小数第3位を四捨五入する。

1. 問題の内容

教師データ $D = \{(1,2), (2,3), (4,3), (5,4)\}$ が与えられたとき、最小二乗法によって学習される直線 $f(x) = ax + b$ の $a$ と $b$ の値を求める。ただし、小数第3位を四捨五入する。

2. 解き方の手順

最小二乗法では、以下の式を最小にする $a$ と $b$ を求める。

$$S = \sum_{i=1}^{n} (y_i - (ax_i + b))^2$$

ここで、$n$ はデータ点の数、$(x_i, y_i)$ は各データ点である。

$S$ を $a$ と $b$ で偏微分し、それぞれ0とおくと、以下の連立方程式が得られる。

$$\frac{\partial S}{\partial a} = -2\sum_{i=1}^{n} x_i(y_i - (ax_i + b)) = 0$$

$$\frac{\partial S}{\partial b} = -2\sum_{i=1}^{n} (y_i - (ax_i + b)) = 0$$

これを整理すると、

$$\sum_{i=1}^{n} x_iy_i = a\sum_{i=1}^{n} x_i^2 + b\sum_{i=1}^{n} x_i$$

$$\sum_{i=1}^{n} y_i = a\sum_{i=1}^{n} x_i + nb$$

今回のデータに対して、

$\sum_{i=1}^{4} x_i = 1 + 2 + 4 + 5 = 12$

$\sum_{i=1}^{4} y_i = 2 + 3 + 3 + 4 = 12$

$\sum_{i=1}^{4} x_i^2 = 1^2 + 2^2 + 4^2 + 5^2 = 1 + 4 + 16 + 25 = 46$

$\sum_{i=1}^{4} x_iy_i = (1)(2) + (2)(3) + (4)(3) + (5)(4) = 2 + 6 + 12 + 20 = 40$

$n = 4$

上記の連立方程式に代入すると、

$$40 = 46a + 12b$$

$$12 = 12a + 4b$$

2番目の式を3倍すると、$36 = 36a + 12b$ となる。

1番目の式からこの式を引くと、

$40 - 36 = (46 - 36)a$

$4 = 10a$

$a = \frac{4}{10} = 0.4$

これを2番目の式に代入すると、

$12 = 12(0.4) + 4b$

$12 = 4.8 + 4b$

$4b = 12 - 4.8 = 7.2$

$b = \frac{7.2}{4} = 1.8$

3. 最終的な答え

(a) $a = 0.4$

(b) $b = 1.8$