１．情報理論の内容
自分の専攻が情報工学のくせして「まったく「情報」分野のページを作らないのもなんだしな」と思い至りまして、情報工学の基礎（であるはず）、「情報理論」を紹介していくことにしました。まずは情報理論における「情報」がどういう概念であるか、情報理論はどのような内容で構成されているかを簡単にまとめておくことにします。情報理論における重要な概念や項目は、ざっと下のようにまとめられます。
- 情報概念：選択を可能にしてくれるもの
- 情報量：確率が低いことを事前に知れたときの度合い
- 平均情報量（エントロピー）：起こりうる事象の確率のばらつき具合
- 冗長度：データ中の冗長な部分の割合
- 符号化（データ圧縮）：冗長性を利用したデータ圧縮方法
上から下に向かって、直前の内容を基にして概念が構築されているので、このサイトでもこの順でページを作成していくことにします。
自分が情報理論を大学で学んだのは20年以上も前です。ただ、基礎となる内容が大幅に変わるということは起こってないはずなので、上の内容を抑えておけば、ひとまず「情報理論の基礎を理解している」と言ってかまわないでしょう。
２．情報理論における「情報」
まず情報理論の背景として、送信に係わる体系として考案されたらしい、ということを挙げる必要があります。このことに関連して、「情報」概念も「伝送路を通じて送られるもの」として考えられました。そういった経緯もあって、そもそも情報理論における「情報」の定義が明確ではないし、一般に直観されている情報の意味と、情報理論の情報が同じである保証はありません。
情報理論における情報概念が定かではないと述べましたが、情報量の式から、「情報」がどのように考えられたか推測することは可能です。詳しくは次ページで説明しますが、情報量の式は次のものです。
\begin{equation} P~ :~ある事象が発生する確率\\ 情報量~:~-\log_2 {P} \end{equation}この式から確率が低いほど情報量が多く、確率が1、つまり必ず起こることの情報量は0ということになります。あまり起こらないことを事前に知ることができたとき多くの情報を得る、という考え方でしょう。そうすると「情報」というのは、「それを知ることでより有利な選択ができるもの」のことです。晴天続きのある日、天気予報でゲリラ豪雨の注意報を見たので、傘を準備していたらびしょぬれにならずにすんだ、こういうときの雨の予報が「情報」に当たるでしょう。情報が選択を可能にしてくれるもの、という考え方は、一般的に直観されている「情報」とそれほど隔たってはいない気がします。
３．参照文献
情報量 >>
コメント