情報量 - 趣味で学問

１．情報と情報量
２．情報の単位
３．bit・byteとデータ量
４．情報量
５．参照文献

１．情報と情報量

前回、「情報」は「それを知ることでより有利な選択ができるもの」のことだと述べました。そして情報量を数式で定義することで、情報の多い少ないを可視化することができます（本当は情報量の定義から情報を考えているのですが）。

このページではまず情報の単位を説明し、情報量の式の意味を考えることにします。

２．情報の単位

情報の単位として使われているのは「bit（ビット）」です。これは0か1かの二値を意味する言葉です。
デジタルもほぼ同じ意味で、0か1かの離散値を取ることです。これも前回述べましたが、情報は伝送路に載せて送る何か、送ることのできる何かとして考えられたのでした。波のまま送ること（アナログ）も可能なのですが、情報理論ではデジタル（0か1）として送る方が選択されました。現在のインターネット環境で送られているものはほとんどデジタル方式で、回線速度がbpsで測られているのを知っている人も多いはずです。bpsはビッツパーセカンド、つまり「1秒間あたり何ビット送れるか」を意味しています。100bpsなら、0か1を100個分、1秒間に送っているということです。

３．bit・byteとデータ量

bit数とデータ量の間に少しわかりづらい関係があるので、この節でまとめておきます。

bitを8つならべるとその組み合わせは、0か1かの二通りが8つ連なるので2⁸=256通りになります。このbitを8つ並べた状態を1byte（バイト）と呼びます（図1(a)）。

2⁸=256通りの組み合わせ方があるのですが、実際の1byteのデータは図1(b)のように各bitに0か1のどちらかが入っています。これら可能な組み合わせの数と実際のデータとの間で、認識のすれ違いが生じる可能性があります。

たとえば2byteのデータなら、1byte2つ分で図2(a)のようなものです。

具体的な値が入った箱が16個連なって、一つのデータを作っています。データを作る際には、それぞれの箱にもう片方の値を入れることができるので、最初の箱で2通り、次の箱でも2通り、全体で16個の箱で2¹⁶通りのデータを作ることができます。つまり実際に送られた2byteのデータは図2(a)の0と1の列ですが、2byteで送ることのできるデータの数は、1byte(2⁸)×1byte(2⁸)=65536もの組み合わせがあることになります（図2(b)）。このような実際に送られたデータと、そのbit・byte数で送ることのできる組み合わせの違いを意識する必要があります。

ここで2バイト文字を考えることにします。日本語文字入力で入力できる文字も2バイト文字です。2byteなので2×8=16個の値からなるデータです。図2(a)の「1000001010100000」の文字列なら、Shift-JIS方式では、ひらがなの「あ」に対応しています（コード方式の違いや16進表記はここでは飛ばさせてもらいます）。2byteの組み合わせは図2(b)のように65536通りあります。したがって2バイト文字と言ったとき、一つの文字は2×8=16個の値からなる一つのデータで、2バイト文字全体では2⁸×2⁸=2¹⁶=65536文字を表現していることになります。

以上のように、実際のデータと可能なデータ数の違いがつまずきのもとになりかねないので、ぜひとも理解しておいてください。まあ、私がここでつまづいた、ということなんですが。

４．情報量

情報量の式は次のものです。

\begin{equation} P~ :~ある事象が発生する確率\\ 情報量~:~-\log_2 {P} \cdots ① \end{equation}

①で表現される理由はグラフを見てみればよくわかります。

Pは確率なので0≦P≦1の範囲を持ちます。そして図1の通り最大確率のP=1（必ず起こる）のとき情報量は0、そして確率が0に近づくにつれ急激に値が大きくなっていきます。つまり①式は、当たり前のことを知っても情報量は無くて、起こる可能性が低いほど事前に知れば情報量が多いということの、数式による表現になっています。

またlog関数の底は2であり、これは0か1かのビットやデジタルに合わせたためでしょう（底がeでも10でもグラフの概形は同じ）。底が2のlog関数なので、情報量とはその確率を2の何乗で表現できるか、つまりは何ビットで表現できるかを示しています。そして情報量の単位はbitとなります。