平均情報量（エントロピー）

１．平均情報量の定義
２．具体例からエントロピーを考える
３．エントロピーの示す指標
４．参照文献

１．平均情報量の定義

情報量の他に情報の量を示す指標として、平均情報量があります。これはエントロピーとか情報エントロピーと呼ばれることも多いです。平均情報量は、起こり得る事象すべての場合の情報量のことで、熱力学のエントロピーとよく似ている、次の式で定義されています。

\begin{equation} N個の独立な事象\{a_1、a_2、a_3、\cdots 、a_N\}の生起確率p_iの総和が1のとき\\ H=p_1(-\log_2 p_1) + p_2(-\log_2 p_2) + p_3(-\log_x p_3) + ~ \cdots ~ + p_N(-\log_2 p_N)\\ =-\sum_{n=1}^N p_i \log_2 p_i \end{equation}

平均情報量も数値が大きいほど情報量が大きいことを示しています。またエントロピーの単位も情報量と同じビットです。

情報量に比べてこちらの概念の方が理解が難しいです。具体例を示しながら、丁寧に説明していきたいと思います。なお、このサイトでは以下、エントロピーに統一させてもらいます。

２．具体例からエントロピーを考える

起こり得る事象の数はそのときどきで違うのですが、まずは簡単な場合から考えていきましょう。一番単純なのは、一つのことだけ確実に起こって他は起こらないとわかっていたときです。①式に値を代入すると-1・log₂ 1=0でエントロピーは0、つまり確実に起こるとわかっていることを知ったとしても情報量としては0ということを意味しています。

次はAかBかのどちらかが起こる場合を考えます。Aが起こる確率をp（0≦p≦1）、Bが起こる確率を1-pとします。そうするとエントロピーは次のようになります。

\begin{equation} H=-p \log_2 p -(1-p) \log_2 (1-p) \end{equation}

そして横軸にpをとってグラフにすると図1となります（グラフ作成アプリケーションの都合上、pが0と1の付近でデータが途切れています）。

p=0.5のときにエントロピーが最大となっているのがわかります。このように全事象が等確率で起るときエントロピーが最大になり、その値が文字通り「最大エントロピー」と呼ばれます。

これでpも1-pも同じ確率の0.5のときに最大となることはわかりましたが、このことはどう解釈すればよいでしょうか。例として、サッカーで相手と対面している場面を考えます。一番困るのは相手が何をするか予測がつかない場合で、逆に何をするか予測できるときは対処が楽です。その相手がその場面ではたいていドリブル突破を試み確率は7/8、めったにパスを出さずその確率は1/8だとします。事前にはわからないとしても、確率の高いドリブル突破を警戒しておけばよいでしょう。しかしドリブルとパスが半々の相手だと、両方を警戒する必要があります。ここでもし相手の癖を読んでどちらを試みるか察知できたとしたら、一気に対面が有利となります。以上のことは、確率が偏っていれば事前に知れても有利になる度合いが小さく、確率が均等のときほど事前に知ることで有利になる度合いが大きいということを示しています。

上の確率が7/8と1/8の例のエントロピーを計算してみます。

\begin{equation} -\frac{7}{8} \log_2 \frac{7}{8} – \frac{1}{8} \log_2 \frac{1}{8}\\ \risingdotseq 0.54 \end{equation}

図1の最大エントロピー1bitに比べ、エントロピーの値が小さいのがわかります。このようにエントロピーは、「確率が均等なほど事前に知ることで有利な選択ができる」ということの指標となっています。

３．エントロピーの示す指標

確率が均等、つまり大きくも小さくもないときに平均情報量（エントロピー）が大きくなるのでした。そうすると「情報量」の式における、確率が小さいほど情報量が大きいという考え方はどうなった、と思われそうです。

エントロピーの式はこの考え方も含んでいます。例えばさいころを一つ振って出る目のエントロピーを考えると、出る目が均等に1/6の確率であれば、そのときのエントロピーは-Σ₁⁶(1/6)log2(1/6)≒2.6bitとなります。1/2ずつのときの1.0bitより、1/6ずつのときの方がエントロピーの値が大きくなっています。また事象が6つに分かれるときでも、やはり確率が1/6ずつのときエントロピーは最大になります。以上のことから、情報理論におけるエントロピーは、その事象があまり起こらない度合いと、それぞれの事象の起こる度合いの均等さ、両方による指標であることがわかります。