« フリマにてわらしべ長者を目指す。(その3) | Main | 道に落ちている十円玉を拾ってみた。 »

2007年07月05日

最大エントロピー法、主観主義統計力学

院生のK藤くんが実験データを得られなかった領域に確率をどのように割り当てたらいいのかと聞いてきたため、最大エントロピー法というのを使えばいいのだと考えていろいろ調べていたのだが、そこから統計力学と情報理論の間をつなぐ文献をいくつか見つけて興味深かった。

最大エントロピー法というのは拘束条件が少ないため確率を一意に決定できない場合、全体のエントロピーが最大になるように割り当てを行えばよいという考え方。たとえば事象A,B,Cがあり、Aの起きる確率が1/2ということは分かっているが、残りの二つの起きる確率は分からない場合、BとCに1/4ずつの確率を割り当てるのが直感的にもっともらしいように感じられるが、これは実際エントロピーを最大化する割り当てになる。エントロピーは不確かさの指標であるので、与えられた情報が少ない時は余計な仮説を立てず、もっとも曖昧な推測をしておこうということ。等確率の原理と似ているが、天下り的に導入するのではなく、人間の推論の仕組みであるという裏付けを与えている。(情報量やエントロピーがなぜ知識や不確かさの指標であるかというのはシャノンの議論に準拠)。また、条件がもっと複雑な場合にも使えるというメリットがある。

もともとはギブスが統計力学の問題を解くために考えたモデルを二十世紀になってジェインズ(E. T. Jaynes)という人がより一般的なアルゴリズムとして提唱したものらしい。実はシャノンが情報理論で使ったエントロピーの定義 Σplog(1/p) も元はギブスがボルツマンによるエントロピーの定義 klog W を再定式化したものであって、ギブスエントロピーと呼ばれたりするのだそうだ。ギブスエントロピーにラグランジュ未定乗数法を適用するだけで熱力学におけるエントロピーの定義 dS=dQ/T や分配関数、ボルツマン分布まで出すことができる。

Information and Entropy: Energy
Information and Entropy: Temperature

最大エントロピー法の提案者であるジェインズは確率に関して主観主義者(ベイジアン)なので、統計力学におけるマクロ的な現象も系の客観的な性質ではなく、それに関する推測を行う際の観測者側でのルールに基づくものである、と主張している。つまり統計力学は「力学法則+統計的推測の理論」という風に切り分けられるということ。これだと分子が特定の状態にある頻度といったものを考えなくてよいため、エルゴード仮説も不要になる。

E. T. Jaynes, Information Theory and Statistical Mechanics, Physical Review, Vol. 106, No. 4. pp.620-630, 1957

Wikipedia記事: Maximum entropy thermodynamics

熱力学第二法則でエントロピーが増加するのは我々の知識が時間非対称だからだそうである。これは興味深い議論だと思うのだけど、あまりくわしい言及がない。

S. F. Gull, Some Misconceptions about Entropy, 1991

なお、日本語では熊沢逸夫「学習とニューラルネットワーク」(森北出版)や田中和之「確率モデルによる画像処理技術入門」(森北出版)といった本にもギブスエントロピーから熱力学的エントロピーの導出が載っていた。

Posted by taro at 2007年07月05日 01:07

コメント

コメントを書き込む



(←スパム対策です。アルファベット小文字(半角)でyesと記入していただけますでしょうか)


(コメントには表示されません。管理者(taro)にのみ伝わります)


プロフィールを記憶させますか?

(HTMLタグが使用可能です)