ジョーカーを除いた52枚のトランプから1枚引くとき、以下の事象の情報量を求める問題。 (1) ハートである (2) ハート以外である (3) ハートであるとハート以外であるの平均情報量 (4) エースである (5) ハートのエースである

## 問1

1. 問題の内容

ジョーカーを除いた52枚のトランプから1枚引くとき、以下の事象の情報量を求める問題。

(1) ハートである

(2) ハート以外である

(3) ハートであるとハート以外であるの平均情報量

(4) エースである

(5) ハートのエースである

2. 解き方の手順

情報量 $I$ は、事象の起こる確率 $p$ に対して、以下の式で計算される。

$I = -\log_2(p)$

(1) ハートである確率は $13/52 = 1/4$。よって情報量は $I = -\log_2(1/4) = -\log_2(2^{-2}) = 2$ ビット。

(2) ハート以外である確率は $39/52 = 3/4$。よって情報量は $I = -\log_2(3/4) = 0.415$ ビット。（ヒントより）

(3) 平均情報量は、それぞれの事象の情報量に確率をかけて足し合わせることで求められる。

平均情報量 = $(1/4) \times 2 + (3/4) \times 0.415 = 0.5 + 0.31125 = 0.81125$ ビット。

(4) エースである確率は $4/52 = 1/13$。よって情報量は $I = -\log_2(1/13) = 3.7$ ビット。（ヒントより）

(5) ハートのエースである確率は $1/52$。よって情報量は $I = -\log_2(1/52) = -\log_2(1/4) - \log_2(1/13) = 2+3.7 = 5.7$ビット

3. 最終的な答え

(1) 2 ビット

(2) 0.415 ビット

(3) 0.81125 ビット

(4) 3.7 ビット

(5) 5.7 ビット

## 問2

1. 問題の内容

枚方市の天気を「晴れ」「曇り」「雨」「雪」で表すとき、それぞれの生起確率が 1/2, 1/4, 1/8, 1/8 である。以下の問いに答える問題。

(1) 「晴れ」と「雪」で情報量が多いのはどちらか

(2) 「晴れ」の情報量

(3) 「雨」の情報量

(4) 情報源の平均情報量

(5) 情報を伝達するために必要な符号化ビット数

2. 解き方の手順

(1) 情報量は確率の逆数の対数に比例する。確率が高いほど情報量は少なく、確率が低いほど情報量は多い。

「晴れ」の確率は1/2、「雪」の確率は1/8なので、「雪」の方が情報量が多い。

(2) 「晴れ」の情報量は $I = -\log_2(1/2) = -\log_2(2^{-1}) = 1$ ビット。

(3) 「雨」の情報量は $I = -\log_2(1/8) = -\log_2(2^{-3}) = 3$ ビット。

(4) 平均情報量は、それぞれの事象の情報量に確率をかけて足し合わせることで求められる。

平均情報量 = $(1/2) \times 1 + (1/4) \times (-\log_2(1/4)) + (1/8) \times 3 + (1/8) \times 3 = 1/2 + (1/4) \times 2 + 3/8 + 3/8 = 1/2 + 1/2 + 3/4 = 1 + 3/4 = 1.75$ ビット。

(5) 符号化ビット数は、情報源の平均情報量以上の整数となる必要がある。よって、2ビット必要。

3. 最終的な答え

(1) 雪

(2) 1 ビット

(3) 3 ビット

(4) 1.75 ビット

(5) 2 ビット

## 問3

1. 問題の内容

サイコロの目の情報量について、以下の問いに答える問題。

(1) サイコロの目が6である

(2) サイコロの目が奇数である

(3) サイコロの目が奇数または偶数である

(4) サイコロを2つ振った時両方とも1である

(5) サイコロの目の平均情報量

2. 解き方の手順

(1) サイコロの目が6である確率は $1/6$。よって情報量は $I = -\log_2(1/6) = 2.585$ ビット。（ヒントより）

(2) サイコロの目が奇数である確率は $3/6 = 1/2$。よって情報量は $I = -\log_2(1/2) = -\log_2(2^{-1}) = 1$ ビット。

(3) サイコロの目が奇数または偶数である確率は 1。よって情報量は $I = -\log_2(1) = 0$ ビット。

(4) サイコロを2つ振った時両方とも1である確率は $1/6 \times 1/6 = 1/36$。よって情報量は $I = -\log_2(1/36) = -\log_2(1/6^2) = -2\log_2(1/6) = 2 \times 2.585 = 5.17$ ビット。

(5) サイコロの目の平均情報量は、各目の出る確率が等しいので、 $I = -\sum_{i=1}^{6} p_i \log_2(p_i) = -\sum_{i=1}^{6} (1/6) \log_2(1/6) = -6 \times (1/6) \log_2(1/6) = -\log_2(1/6) = 2.585$ ビット。

3. 最終的な答え

(1) 2.585 ビット

(2) 1 ビット

(3) 0 ビット

(4) 5.17 ビット

(5) 2.585 ビット