f-divergenceと汎関数微分

こんにちは🐬🐬🐬

情報理論の分野ではしばしばKullback-Leibler divergence(KL divergence)とよばれる量が登場します。

$$ D_{KL}(p||q) = \int p(x)\log \frac{p(x)}{q(x)}dx $$

このKL divergenceは、任意の確率分布$p,q$に対して常に非負の値をとることが知られています。
実際、常に$x-1 \geq \log x$が成り立つことに注目すると、

$$ D_{KL}= -\int_x p \log\frac{q}{p} \geq -\int_x p\left( \frac{q}{p} - 1 \right) = \int_x (p - q)= 0 $$

です*1。等号が成立するのは$x=1$、すなわち$p=q$のときであり、それに限られることもわかります。

距離$d$に必要な4公理

• 非負性　　　　$d(x,y) \geq 0$
• 完備性　　　　$d(x,y)=0 \Leftrightarrow x=y$
• 対称性　　　　$d(x,y) = d(y,x)$
• 三角不等式　　$d(x,y) + d(y,z) \geq d(x,z)$

さて、非負の値であることを見るに、KL divergenceという量が一見異なる確率分布$p,q$同士の距離(metric)を与えるかのように思えるのですが、実際には距離に要求される4つの公理のうち残りの2つを満たさないことがわかります。
そこで、距離の公理を弱めて、非負性と完備性を満たすことのみを要請したものを、一般にdivergenceと呼びます。
実のところ、KL divergenceはdivergenceとよばれる広範な対象のうちの1つに過ぎないのです。

*1:$\int_x$は$\int dx$の省略です。

低エネルギー極限としてのSchrödinger方程式

はじめまして。 Physics Advent Calendar 2017の2日目の記事です。

おはなし

Schrödingerが(後に行列力学と併せて量子力学に統一されることになる)波動力学を定式化したのは有名ですね。
彼は電子を表す波動関数が従う方程式として、今ではSchrödinger方程式とよばれる方程式を提出して、水素原子の性質を定量的に説明することに成功しました:

$$ i\frac{\partial}{\partial t} \psi = \left[ - \frac{1}{2m}\nabla^{2} + V \right] \psi $$

Schrödinger方程式自体はLorentz変換の下で不変ではないので非相対論的な方程式なわけですけど、Schrödingerはこの時点で、後にKlein-Gordon方程式と呼ばれることになる相対論的な方程式も導出していました*1。
でも、この世界は厳密には相対論的なので、実際は相対論的な方程式の方が正確に物理を記述するはずですね。

*1:これは彼の1925年の計算ノートに記されているそうです。