情報量

情報量は、ある事象が起きたと知ったときに減る不確実さを表す量で、確率pの事象の自己情報量Iは、$I=-\log_2p=\log_2(1/p)\,\text{ビット}$で定義されます。

■ 試験で押さえるポイント

• 確率が小さい珍しい事象ほど情報量は大きく、確率1の確実な事象は$-\log_2 1=0\,\text{ビット}$です。確率0は起こらないため有限の情報量を割り当てません。

• 独立事象A、Bが同時に起きる確率はP(A)P(B)なので、$-\log_2[P(A)P(B)]=-\log_2P(A)-\log_2P(B)$となり、情報量は加算されます。

• 自己情報量は一つの事象の値です。情報源全体の平均情報量であるエントロピーは、各事象の情報量を生起確率で加重平均します。

• 対数の底が2なら単位はビット、底がeならナット、底が10ならハートレーです。FEでは通常、底2の対数を用います。

■ 選択肢での判断ポイント

式$I=-\log_2p$へ確率を代入します。等確率なn通りのうち一つを知る情報量は、$p=1/n$より$\log_2n\,\text{ビット}$です。

例: 8通りが等確率なら一つの生起確率は$p=1/8$です。$I=-\log_2(1/8)=-(-3)=3\,\text{ビット}$となり、三回の二者択一に相当します。