こんにちは 情報理論の分野ではしばしばKullback-Leibler divergence(KL divergence)とよばれる量が登場します。 $$ D_{KL}(p||q) = \int p(x)\log \frac{p(x)}{q(x)}dx $$ このKL divergenceは、任意の確率分布$p,q$に対して常に非負の値をとることが知られ…