情報幾何学入門その１

１．KLの基本的な性質：
・正値性
・連鎖則
・単調性（Data-processing inequality)
・加法性
通信路を用いた単調性の表現（マルコフ写像）

・ピタゴラスの定理の一般化
note:
確率密度関数の変換に関する理論を、マルコフ射を用いて
圏論的に定式化した研究が、Lauritzenによっておこなわれているとのこと。

２．統計多様体：
特に新しいことは無し。

３．フィッシャー計量
対数尤度の偏微分をかけて期待値をとったものを、偏微分する座標に対応する
行列の成分とすると、この行列（Fisher情報行列）の成分は
統計多様体において計量をあたえる。
これがフィッシャー計量。リーマン計量のひとつ。

統計学的にはふたつの分布が観測データからどれだけ精度よく識別できるか
という度合いを表す量になっている。
KLとの関係式も（近似的に）あたえられ、KLは距離の二乗の次元であることがわかる。

４．単調性と不変性
マルコフ写像を用いて統計多様体の変換を行う立場にたつと、
フィッシャー計量の単調性という性質が得られる。
これは、M,Nをそれぞれ統計多様体で、N=Γ(M)、Γはマルコフ写像、と
するとき、Mにおけるフィッシャー情報行列は、Nにおけるそれより
大、つまり行列不等式G_M ≧ G_Nが成立する。
この性質をフィッシャー計量の単調性と呼ぶ。
Γに対して逆向きのマルコフ写像Λが存在して、
Λ（Γ（X))=Xのときには、このマルコフ写像ΓはM上で可逆であるという。

マルコフ写像が, ある写像Fから誘導されるものの場合、
可逆性とFが十分統計量であることは同値である。
単調性より、可逆なマルコフ写像によって関係付けられるふたつの
統計多様体のフィッシャー計量は等しいことがわかる。
これを、フィッシャー計量のマルコフ同型に関する不変性と呼ぶ。

チェンツォフは、不変性を満たす統計多様体上のリーマン計量は、
定数倍をのぞいてフィッシャー計量に限ることを示したらしい
結果的に、単調性を満たすリーマン計量もこれ以外にはない。
（チェンツォフの定理）

←フィッシャー計量の正当化の一つ。
今までは、フィッシャー計量なら統計多様体上に、
内積がゼロであることが相関がゼロであることに対応するように
できる、という理解しかしていなかった。
マルコフ同型に関する不変性の観点からの必然性があることを知ったのは
大きな収穫。

５．f-ダイバージェンス
フィッシャー計量は単調性（あるいは不変性）から定数倍をのぞいて
一意に定まった。
一方、KLダイバージェンスは単調性を要請するだけでは導かれない。
なにがKLダイバージェンスを特徴づけるのかは次の節でやるようだが、
ここではより一般の「ダイバージェンス」を考えてみる。

KLダイバージェンスでは、-log(p/q)という項があったが、これを
f(1)=0かつ狭義凸な関数f(x)で置き換えたものを
f-ダイバージェンスと呼ぶ。
情報幾何で本質的な役割を果たすα-ダイバージェンスも、f-ダイバージェンスの
特殊な場合である。

f-ダイバージェンスについても単調性は成り立つ。
（ただし、連鎖則は成り立たないので、単調性の証明は
関数fの凸性による）。
さらに一般に、M×M上のC^∞級関数で、KLと同様の正値性を満たすものを、
ダイバージェンス、あるいはコントラスト関数などと呼ぶ。
任意のダイバージェンスδに対してリーマン計量が存在し、
ダイバージェンスはその計量と2次の無限小変位の積で近似できる。
ダイバージェンスに付随するリーマン計量は、δが単調性を満たすならば
チェンツォフの定理より、そのリーマン計量はフィッシャー計量の定数倍。

６．アフィン空間とアフィン構造
線形空間を特殊な場合としてふくむ、アフィン空間を考える。

アフィン空間Aには、付随するベクトル空間があって、
Aの元PとVの元vの和が定義され、P+vがAの元になるような空間であった。
VをAに付随する線形空間と呼ぶ。

多様体Mに対して、微分同型Φ:M->Φ(M)がMをアフィン空間の
開部分集合に写すとき、このΦをMのアフィン構造と呼ぶ。
アフィン構造があたえられると、
M上にいくつかの幾何学的概念を導入することができる。
具体的には、多様体Mを写像Φによってアフィン空間に埋め込むことができれば、
写像Φの微分dΦはMの接空間をアフィン空間に付随する線型空間Vに
写すような写像になる、という顕著な性質がある。
つまり、アフィン空間に多様体を写すことで、多様体とその接空間を
より統一的にとらえることができる。
例えば、Mの異なる2点での接空間の間には、平行移動と呼ばれる
線形同型対応があたえられる。その定義のしかたはいくつかあるが、
(dΦ^-1)_q ・(dΦ)_p
のようにdΦとその逆像を合成することで、自然にMの接空間を
「接続」することが可能となる。
さらに、アフィン空間Aで考えることで、Aの直線や平面など、
アフィン部分空間に対応してM上に直線や平面の概念を
定めることができる。
つまり、Mやその接空間だけを考えていたのでは、接空間同士の関係が
定まらなかったので、接空間の元の変化率を通して理解される
「平らであること」などといった概念は考えられなかった。
アフィン空間で考えて、接空間が平行移動によって
そのまま写りあうような点pの集合として、Mの中に
「平行な曲線」であるとか、さらに任意の曲線に対して平行な場合には
Mそのもののことを「平坦」であるとか呼べるようになる。