ジョーカーを除いた52枚のトランプから1枚引くとき、以下の情報量を計算する。 (1) 「ハートである」の情報量 (2) 「ハート以外である」の情報量 (3) 「ハートである」と「ハート以外である」の平均情報量 (4) 「エースである」の情報量 (5) 「ハートのエースである」の情報量 ヒントとして、$-log_2(1/13) = 3.7$、$-log_2(3/4) = 0.415$が与えられている。

## 問1

1. 問題の内容

ジョーカーを除いた52枚のトランプから1枚引くとき、以下の情報量を計算する。

(1) 「ハートである」の情報量

(2) 「ハート以外である」の情報量

(3) 「ハートである」と「ハート以外である」の平均情報量

(4) 「エースである」の情報量

(5) 「ハートのエースである」の情報量

ヒントとして、$-log_2(1/13) = 3.7$、$-log_2(3/4) = 0.415$が与えられている。

2. 解き方の手順

情報量は、確率$p$に対して、$-log_2(p)$で計算される。

(1) ハートである確率: 52枚中ハートは13枚なので、 $p = 13/52 = 1/4$。情報量は、$-log_2(1/4) = -log_2(2^{-2}) = 2$ ビット。

(2) ハート以外である確率: 52枚中ハート以外は39枚なので、$p = 39/52 = 3/4$。情報量は、$-log_2(3/4) = 0.415$ ビット（ヒントより）。

(3) 平均情報量: ハートである確率は$1/4$、ハート以外である確率は$3/4$なので、平均情報量は$(1/4) \times 2 + (3/4) \times 0.415 = 0.5 + 0.31125 = 0.81125$ ビット。

(4) エースである確率: 52枚中エースは4枚なので、$p = 4/52 = 1/13$。情報量は、$-log_2(1/13) = 3.7$ ビット（ヒントより）。

(5) ハートのエースである確率: 52枚中ハートのエースは1枚なので、$p = 1/52$。情報量は、$-log_2(1/52) = -log_2(1/4 \times 1/13) = -log_2(1/4) - log_2(1/13) = 2 + 3.7 = 5.7$ ビット。

3. 最終的な答え

(1) 2 ビット

(2) 0.415 ビット

(3) 0.81125 ビット

(4) 3.7 ビット

(5) 5.7 ビット

## 問2

1. 問題の内容

枚方市の天気を「晴れ」「曇り」「雨」「雪」で表すとき、それぞれの生起確率が1/2, 1/4, 1/8, 1/8である。以下の設問に答えよ。

(1) 「晴れ」と「雪」で情報量が多いのはどちらか。

(2) 「晴れ」の情報量は何ビットか。

(3) 「雨」の情報量は何ビットか。

(4) 情報源の平均情報量は何ビットか。

(5) この情報を伝達するとき何ビットの符号化が必要か。ただし、符号化ビット数は整数とする。

2. 解き方の手順

(1) 情報量は、確率$p$に対して、$-log_2(p)$で計算される。確率が低いほど情報量は多い。

晴れの確率: $1/2$

雪の確率: $1/8$

雪の確率の方が低いので、雪の情報量が多い。

(2) 晴れの情報量: $-log_2(1/2) = -log_2(2^{-1}) = 1$ ビット。

(3) 雨の情報量: $-log_2(1/8) = -log_2(2^{-3}) = 3$ ビット。

(4) 平均情報量: 各確率と情報量の積の和で計算する。

平均情報量 $= (1/2) \times 1 + (1/4) \times (-log_2(1/4)) + (1/8) \times (-log_2(1/8)) + (1/8) \times (-log_2(1/8)) = (1/2) \times 1 + (1/4) \times 2 + (1/8) \times 3 + (1/8) \times 3 = 1/2 + 1/2 + 3/8 + 3/8 = 1 + 6/8 = 1 + 3/4 = 1.75$ ビット。

(5) 符号化に必要なビット数: 平均情報量以上の整数ビット数が必要となる。平均情報量は1.75ビットなので、2ビット必要。

3. 最終的な答え

(1) 雪

(2) 1 ビット

(3) 3 ビット

(4) 1.75 ビット

(5) 2 ビット

## 問3

1. 問題の内容

サイコロの目の情報量について、以下の設問に答えよ。

(1) 「サイコロの目が6である」の情報量は何ビットか。

(2) 「サイコロの目が奇数である」の情報量は何ビットか。

(3) 「さいころの目が奇数または偶数である」の情報量は何ビットか。

(4) 「サイコロを2つ振った時両方とも1である」の情報量は何ビットか。

(5) 「サイコロの目」の平均情報量は何ビットか。

ヒントとして、$-log_2(1/6) = 2.585$が与えられている。

2. 解き方の手順

(1) サイコロの目が6である確率: $1/6$。情報量は、$-log_2(1/6) = 2.585$ ビット（ヒントより）。

(2) サイコロの目が奇数である確率: $3/6 = 1/2$。情報量は、$-log_2(1/2) = 1$ ビット。

(3) サイコロの目が奇数または偶数である確率: $6/6 = 1$。情報量は、$-log_2(1) = 0$ ビット。

(4) サイコロを2つ振った時両方とも1である確率: $(1/6) \times (1/6) = 1/36$。情報量は、$-log_2(1/36) = -log_2(1/6 \times 1/6) = -2log_2(1/6) = 2 \times 2.585 = 5.17$ ビット。

(5) サイコロの目の平均情報量: 全ての目の出る確率は等しいので、各目の情報量の平均は、目の出る確率が全て$1/6$なので、$-log_2(1/6) = 2.585$ ビット。

3. 最終的な答え

(1) 2.585 ビット

(2) 1 ビット

(3) 0 ビット

(4) 5.17 ビット

(5) 2.585 ビット