202410300 ここの「良い解を選ぶ条件」について。
もっと簡単に「p(x) と p(y) が分かっているとき、 p(x, y) を推定せよ」という問題を考える。条件を満たす p(x, y) は無数にあるが、普通はまず p(x, y) = p(x) p(y) と取る。この解は何か特別だろうか。
実は…というより多くの人がまず最初に思い浮かべる気もするが、この解はシャノンエントロピー ∫dxdy p(x, y) log p(x, y) を最小化している。これは細かい部分を無視すれば逆もいえる (たぶん。雑な計算で確認)。
Backlinks: [202410701].