読者です 読者をやめる 読者になる 読者になる

人工知能に関する断創録

人工知能、認知科学、心理学、ロボティクス、生物学などに興味を持っています。このブログでは人工知能のさまざまな分野について調査したことをまとめています。最近は、機械学習、Deep Learning、Kerasに関する記事が多いです。



エントロピー

ランダムの中の規則性(2006/4/25)の続き。

偶然はつまりランダムだ。ランダムとは試行の結果が等確率で出現することだ。たとえば、サイコロは1〜6は全部等確率の1/6で出現するからランダムな現象だ。コインを投げたときに表も裏も1/2で出現するからランダムな現象だ。だから試行の結果が予測できない。

ランダムさの尺度はエントロピー(Wikipedia)で表せる。エントロピーはすべての事象が等確率で生じるとき最大値の1を取る。エントロピーが1に近いほどランダムな現象だ。

ちょっと難しいけどエントロピーは

 \displaystyle H(X) = -\sum_{x \in X} p(x) \log_2 p(x)

で表せる。p(x)が事象xのおきる確率だ。ここで疑問。サイコロを12回ふろう。

1 3 6 6 5 4 2 2 1 3 4 5
1 2 3 4 5 6 1 2 3 4 5 6

両方ともp(1)=1/6、・・・、p(6)=1/6。上の式でエントロピーを計算すると1となるからランダムな現象って言ってよい?でも上と下は明らかに違う。下はランダムではなく何か作為的なものを感じる(笑)エントロピーの定義では区別できないような・・・