サイコロの目に関する以下の事象系について、条件付きエントロピー $H(X|Y)$ を求める問題です。 * 事象系 $X$: 目の数が3以下か4以上か * 事象系 $Y$: 偶数が出たか奇数が出たか ただし、$log_2 3 \approx 1.58$とします。

1. 問題の内容

サイコロの目に関する以下の事象系について、条件付きエントロピー $H(X|Y)$ を求める問題です。

* 事象系 $X$: 目の数が3以下か4以上か

* 事象系 $Y$: 偶数が出たか奇数が出たか

ただし、$log_2 3 \approx 1.58$とします。

2. 解き方の手順

まず、条件付きエントロピーの定義を確認します。

$H(X|Y) = \sum_{y \in Y} p(y) H(X|Y=y)$

ここで、$Y$ は偶数か奇数かを表す事象系なので、$y$ は偶数または奇数となります。したがって、

$H(X|Y) = p(\text{偶数}) H(X|\text{偶数}) + p(\text{奇数}) H(X|\text{奇数})$

サイコロの目は1から6なので、偶数が出る確率は $p(\text{偶数}) = \frac{3}{6} = \frac{1}{2}$ 、奇数が出る確率は $p(\text{奇数}) = \frac{3}{6} = \frac{1}{2}$ です。

次に、$H(X|\text{偶数})$ と $H(X|\text{奇数})$ を計算します。

$H(X|\text{偶数})$ は、偶数が出たという条件のもとでの、$X$ のエントロピーです。偶数が出る場合、目は2, 4, 6のいずれかです。

* $X$: 3以下（2のみ）となる確率は $\frac{1}{3}$

* $X$: 4以上（4,6）となる確率は $\frac{2}{3}$

したがって、

$H(X|\text{偶数}) = - (\frac{1}{3} \log_2 \frac{1}{3} + \frac{2}{3} \log_2 \frac{2}{3})$

$= - (\frac{1}{3} \log_2 \frac{1}{3} + \frac{2}{3} (\log_2 2 - \log_2 3))$

$= - (\frac{1}{3} (-\log_2 3) + \frac{2}{3} (1 - \log_2 3))$

$= \frac{1}{3} \log_2 3 - \frac{2}{3} + \frac{2}{3} \log_2 3$

$= \log_2 3 - \frac{2}{3} \approx 1.58 - \frac{2}{3} \approx 1.58 - 0.67 \approx 0.91$

$H(X|\text{奇数})$ は、奇数が出たという条件のもとでの、$X$ のエントロピーです。奇数が出る場合、目は1, 3, 5のいずれかです。

* $X$: 3以下（1, 3）となる確率は $\frac{2}{3}$

* $X$: 4以上（5）となる確率は $\frac{1}{3}$

したがって、$H(X|\text{奇数}) = - (\frac{2}{3} \log_2 \frac{2}{3} + \frac{1}{3} \log_2 \frac{1}{3})$

$= - (\frac{2}{3} (\log_2 2 - \log_2 3) + \frac{1}{3} (-\log_2 3))$

$= - (\frac{2}{3} (1 - \log_2 3) - \frac{1}{3} \log_2 3)$

$= -\frac{2}{3} + \frac{2}{3} \log_2 3 + \frac{1}{3} \log_2 3$

$= \log_2 3 - \frac{2}{3} \approx 1.58 - \frac{2}{3} \approx 1.58 - 0.67 \approx 0.91$

よって、

$H(X|Y) = \frac{1}{2} H(X|\text{偶数}) + \frac{1}{2} H(X|\text{奇数})$

$= \frac{1}{2} (0.91) + \frac{1}{2} (0.91)$

$= 0.91$

3. 最終的な答え

$H(X|Y) \approx 0.91$