|
2006年08月02日(水)
絵と情報理論 |
Webに絵じゃない絵をうｐしましたよ。Nothing.I don't have anything.Back to the Home.意味不明ですがとりあえず本能のおもむくままにうかんだ英語をアートっぽくしてみましたみたいな。命令形なのはまぁ，親への報告義務があるからね。お金払ってるのは親だし。
情報理論。相互情報量のところで挫折。ベイズの定理は高専のときさんざんやったんだけどなぁ。確率はまぁ…うん…だったけど人工知能のところでやりまくったんだが…いまいち理解できていないみたい。
まぁとにかく情報理論。これは途中までは明解で面白いのだ。
情報理論とは何か。これはずばりいうと社会人と学生が吉野家で牛丼を食ってる学問だと考えると面白い。大学の講義では以下にかくことをこれ以上ないというほど限りなく複雑に説明しているにすぎないのだ。では…
多くの学生は社会人（たとえば…教師とか？）が吉野家なり学食なりで牛丼を食っていても「あっそう」程度にしか思わないだろう。別に普通じゃんみたいな。そのくらいの所持金は常に携帯しているだろうし。しかし，学生が吉野家なり学食なりで牛丼を食ってるとなると学生は大ショックをうける。「あいつ吉野家で牛丼食えるほど金もってたっけ？」とか「あいつ俺に借金あるのに吉野家で食ってるとかどうなの？」とかそりゃもう大ショックだ。
このショックをうける度が情報量なのだ。すなわち，大学教授が吉野家で牛丼を食う確率は0.9として，学生が吉野家で牛丼を食う確率は0.3としよう。そのときの情報量は大学教授：-0.9log0.9，学生-0.3log0.3であらわせる。対数の底は2かeか10を使う。
つまり，低確率でおこることがらほど情報量が大きい。金のない学生が吉野家で牛丼をくうわけがないため，そういうものの情報量はでかいというのが情報理論。逆にありふれた光景は情報量は低いわけだ。漏れの場合もこっちにきてから吉野家いってないな。駅前にあるけど。食いたいけどお金もったいないしな。いやそれ以前に最後に一日三食食べたのいつだったっけ？忘れた。
だから情報理論って本当はかなり面白い学問なんだと思う。教授プリントとあわせて別の大学のこのページもあわせてよんでいるんだけど，このページだとかなり面白い例題とかのせてるじゃない？うちの大学は例題が天気予報で，俺とかは漏れのアパート部屋テレビないから天気予報とかみないよだし。天気予報なんてもうちょうど半年みてないし。テレビを半年みていないし。明日の天気なんて野性の勘で判断ですよ。
そうじゃなくてエントロピーの話だったね。エントロピーというのは，事象の不確定性のことで情報量の期待値をあらわすものだ。nこの事象があったとしよう。例えば，晴れるか曇るかとかとか，勝つか引き分けるか負けるかとか，彼女ができるとかできないとか。結婚できるかできないとか。
エントロピーは，これらの事象のうち何個が発生するかを示したものだ。その計算式は
H(S)=Σ-PilogPi
とかける。つまり全部の確率について情報量求めてたせと。
ここでH(S)=0となるとき，これはΣPi=1なんだからどれか1つが1でどれかそれ以外が0だったりする。例でいえば彼女ができるかできないかとかそういうのね。こういうのは不確定性がないという。つまり確定的に求まるというわけで。
逆にH(S)を最大にするのはPi=(1/n)のとき。全部の確率が同値のときね。コインの表裏とかサイコロとか，こういうのは不確定的なわけだ。
で，講義では教授が事前エントロピー事後エントロピーと連呼しまくっていた。これはどういうことかというと，情報量っていうのは事前エントロピーと事後エントロピーの差であらわされるからだ。
つまり，天気予報でいえば，
予報のときの晴れ曇りの確率でエントロピーをだしたものを事前エントロピー，実際にその日になった日を事後エントロピーとして判断するわけだ。で，その差が情報量っていうわけ。何の情報量なんだろう？何についてショックをうけているかが答えだよな…。天気予報の情報量かな？０になればショックうけてないんだから。
で，それがわかったら今度は相互情報量って話になるんだけどこれがわからない。きついな…。このへんになるとH(A｜B)とかP(a｜b)がでてくるんだけどベイズの定理を明確にわかってないとわかりやすく日記にまとめられないので…。やばいな。天気予報も実際は相互情報量で考えるべき例だし。
とりあえず勉強しなおします。とりあえず離散をもう一回やってからにしようかな。
ではでは。 |
|
