問題は、情報源のエントロピー計算、確率の計算、条件付き確率の計算、結合エントロピーと条件付きエントロピーの計算です。具体的には、以下の内容です。 * 問1：与えられた確率分布を持つ情報源のエントロピーを計算する。 * 問2：2つのサイコロを投げた時の1の目の数に関する確率分布を求め、そのエントロピーを計算する。 * 問3：結合確率が与えられた事象系AとBについて、周辺確率、エントロピー、条件付き確率、結合エントロピー、条件付きエントロピーを計算する。

1. 問題の内容

問題は、情報源のエントロピー計算、確率の計算、条件付き確率の計算、結合エントロピーと条件付きエントロピーの計算です。具体的には、以下の内容です。

* 問1：与えられた確率分布を持つ情報源のエントロピーを計算する。

* 問2：2つのサイコロを投げた時の1の目の数に関する確率分布を求め、そのエントロピーを計算する。

* 問3：結合確率が与えられた事象系AとBについて、周辺確率、エントロピー、条件付き確率、結合エントロピー、条件付きエントロピーを計算する。

2. 解き方の手順

**問1**

エントロピーHは以下の式で計算できます。

$H(X) = - \sum_{i} p_i \log_2(p_i)$

ここで、$p_i$は情報源Xの各記号の確率です。

(1) Aの場合：

$H(A) = - (0.4 \log_2(0.4) + 0.6 \log_2(0.6))$

$\log_2(0.4) = \log_2(4/10) = \log_2(2^2/10) = 2 - \log_2(10) = 2 - (\log_2(2) + \log_2(5)) = 2 - (1 + 2.32) = -1.32$

$\log_2(0.6) = \log_2(6/10) = \log_2(2*3/10) = 1 + 1.58 - \log_2(10) = 2.58 - 3.32 = -0.74$

$H(A) = - (0.4 * (-1.32) + 0.6 * (-0.74)) = - (-0.528 - 0.444) = 0.972$

(2) Bの場合：

$H(B) = - (\frac{2}{7} \log_2(\frac{2}{7}) + \frac{1}{7} \log_2(\frac{1}{7}) + \frac{4}{7} \log_2(\frac{4}{7}))$

$H(B) = - (\frac{2}{7} (\log_2(2) - \log_2(7)) + \frac{1}{7} (0 - \log_2(7)) + \frac{4}{7} (\log_2(4) - \log_2(7)))$

$H(B) = - (\frac{2}{7} (1 - 2.81) + \frac{1}{7} (-2.81) + \frac{4}{7} (2 - 2.81))$

$H(B) = - (\frac{2}{7} (-1.81) + \frac{1}{7} (-2.81) + \frac{4}{7} (-0.81))$

$H(B) = - (\frac{-3.62 -2.81 - 3.24}{7}) = \frac{9.67}{7} = 1.3814...$

(3) Cの場合：

$H(C) = - (\frac{1}{2} \log_2(\frac{1}{2}) + \frac{1}{4} \log_2(\frac{1}{4}) + \frac{1}{8} \log_2(\frac{1}{8}) + \frac{1}{16} \log_2(\frac{1}{16}) + \frac{1}{16} \log_2(\frac{1}{16}))$

$H(C) = - (\frac{1}{2} (-1) + \frac{1}{4} (-2) + \frac{1}{8} (-3) + \frac{1}{16} (-4) + \frac{1}{16} (-4))$

$H(C) = - (-\frac{1}{2} - \frac{1}{2} - \frac{3}{8} - \frac{1}{4} - \frac{1}{4}) = 1 + \frac{3}{8} + \frac{1}{2} = \frac{8+3+4}{8} = \frac{15}{8} = 1.875$

**問2**

(1) 2つのサイコロを投げたとき、1の目の数は0, 1, 2のいずれかです。それぞれの確率は以下の通りです。

$p_0 = P(\text{1の目が出ない}) = \frac{5}{6} \times \frac{5}{6} = \frac{25}{36}$

$p_1 = P(\text{1の目が1つ}) = \frac{1}{6} \times \frac{5}{6} + \frac{5}{6} \times \frac{1}{6} = \frac{10}{36}$

$p_2 = P(\text{1の目が2つ}) = \frac{1}{6} \times \frac{1}{6} = \frac{1}{36}$

したがって、$S = \begin{pmatrix} s_0 & s_1 & s_2 \\ \frac{25}{36} & \frac{10}{36} & \frac{1}{36} \end{pmatrix}$

(2) エントロピーH(S)は以下の式で計算できます。

$H(S) = - (\frac{25}{36} \log_2(\frac{25}{36}) + \frac{10}{36} \log_2(\frac{10}{36}) + \frac{1}{36} \log_2(\frac{1}{36}))$

$\log_2(25/36) = \log_2(25) - \log_2(36) = \log_2(5^2) - \log_2(6^2) = 2\log_2(5) - 2\log_2(6) = 2(2.32) - 2(\log_2(2*3)) = 4.64 - 2(1+1.58) = 4.64 - 5.16 = -0.52$

$\log_2(10/36) = \log_2(10) - \log_2(36) = \log_2(2*5) - 2\log_2(6) = 1+2.32 - 2(1+1.58) = 3.32 - 5.16 = -1.84$

$\log_2(1/36) = -\log_2(36) = -2\log_2(6) = -2(1+1.58) = -5.16$

$H(S) = - (\frac{25}{36} (-0.52) + \frac{10}{36} (-1.84) + \frac{1}{36} (-5.16)) = - (\frac{-13 - 18.4 - 5.16}{36}) = \frac{36.56}{36} = 1.01555...$

**問3**

(1) 周辺確率は以下の式で計算できます。

$P(a_1) = P(a_1, b_1) + P(a_1, b_2) = 0.1 + 0.2 = 0.3$

$P(a_2) = P(a_2, b_1) + P(a_2, b_2) = 0.3 + 0.4 = 0.7$

$P(b_1) = P(a_1, b_1) + P(a_2, b_1) = 0.1 + 0.3 = 0.4$

$P(b_2) = P(a_1, b_2) + P(a_2, b_2) = 0.2 + 0.4 = 0.6$

(2) エントロピーは以下の式で計算できます。

$H(A) = - (P(a_1) \log_2(P(a_1)) + P(a_2) \log_2(P(a_2))) = - (0.3 \log_2(0.3) + 0.7 \log_2(0.7))$

$\log_2(0.3) = \log_2(3/10) = 1.58 - 3.32 = -1.74$

$\log_2(0.7) = \log_2(7/10) = 2.81 - 3.32 = -0.51$

$H(A) = - (0.3(-1.74) + 0.7(-0.51)) = - (-0.522 - 0.357) = 0.879$

$H(B) = - (P(b_1) \log_2(P(b_1)) + P(b_2) \log_2(P(b_2))) = - (0.4 \log_2(0.4) + 0.6 \log_2(0.6)) = 0.972$ (問1(1)と同じ計算)

(3) 条件付き確率は以下の式で計算できます。

$P(a_1|b_1) = \frac{P(a_1, b_1)}{P(b_1)} = \frac{0.1}{0.4} = 0.25$

$P(a_2|b_1) = \frac{P(a_2, b_1)}{P(b_1)} = \frac{0.3}{0.4} = 0.75$

$P(a_1|b_2) = \frac{P(a_1, b_2)}{P(b_2)} = \frac{0.2}{0.6} = \frac{1}{3} = 0.333...$

$P(a_2|b_2) = \frac{P(a_2, b_2)}{P(b_2)} = \frac{0.4}{0.6} = \frac{2}{3} = 0.666...$

(4)

結合エントロピー：

$H(A, B) = - \sum_{i,j} P(a_i, b_j) \log_2(P(a_i, b_j))$

$H(A, B) = - (0.1\log_2(0.1) + 0.2\log_2(0.2) + 0.3\log_2(0.3) + 0.4\log_2(0.4))$

$\log_2(0.1) = \log_2(1/10) = -3.32$

$\log_2(0.2) = \log_2(2/10) = 1 - 3.32 = -2.32$

$H(A, B) = - (0.1(-3.32) + 0.2(-2.32) + 0.3(-1.74) + 0.4(-1.32))$

$H(A, B) = - (-0.332 - 0.464 - 0.522 - 0.528) = 1.846$

条件付きエントロピー：

$H(A|B) = H(A, B) - H(B) = 1.846 - 0.972 = 0.874$

$H(B|A) = H(A, B) - H(A) = 1.846 - 0.879 = 0.967$

3. 最終的な答え

問1

(1) H(A) = 0.97

(2) H(B) = 1.38

(3) H(C) = 1.88

問2

(1) $p_0 = \frac{25}{36}$, $p_1 = \frac{10}{36}$, $p_2 = \frac{1}{36}$

(2) H(S) = 1.02

問3

(1) P(a1) = 0.3, P(a2) = 0.7, P(b1) = 0.4, P(b2) = 0.6

(2) H(A) = 0.88, H(B) = 0.97

(3) P(a1|b1) = 0.25, P(a2|b1) = 0.75, P(a1|b2) = 0.33, P(a2|b2) = 0.67

(4) H(A, B) = 1.85, H(A|B) = 0.87, H(B|A) = 0.97