エントロピー - 人工知能に関する断創録

偶然はつまりランダムだ。ランダムとは試行の結果が等確率で出現することだ。たとえば、サイコロは1〜6は全部等確率の1/6で出現するからランダムな現象だ。コインを投げたときに表も裏も1/2で出現するからランダムな現象だ。だから試行の結果が予測できない。

ランダムさの尺度はエントロピー（Wikipedia）で表せる。エントロピーはすべての事象が等確率で生じるとき最大値の1を取る。エントロピーが1に近いほどランダムな現象だ。

ちょっと難しいけどエントロピーは

$\displaystyle H(X) = -\sum_{x \in X} p(x) \log_2 p(x)$

で表せる。p(x)が事象xのおきる確率だ。ここで疑問。サイコロを12回ふろう。

1 3 6 6 5 4 2 2 1 3 4 5
1 2 3 4 5 6 1 2 3 4 5 6

両方ともp(1)=1/6、・・・、p(6)=1/6。上の式でエントロピーを計算すると1となるからランダムな現象って言ってよい？でも上と下は明らかに違う。下はランダムではなく何か作為的なものを感じる（笑）エントロピーの定義では区別できないような・・・