二人の外部記録
× [PR]上記の広告は3ヶ月以上新規記事投稿のないブログに表示されています。新しい記事を書く事で広告が消えます。
7. m-構造とe-構造
まず、m-構造を導入する。 R^χで、χ上の実数値関数のなす|χ|次元線型空間を表す。 いたるところ正である、χ上の確率分布Pから、 いたるところ正という条件をのぞいた A^(m)という集合を考えると、これはR^χ上のアフィン部分空間をなし、 Pはその開部分集合になっている。 そこで、Pの元である分布pをそのままA^(m)に埋め込む写像を Φ^(m)(p)=pとして、この写像の定めるアフィン構造をm-構造と呼ぶ。 χ上のn=|χ|-1個の関数F_1,...,F_nで、定数関数1とあわせた {1,F_1, ..., F_n}がR^χの基底をなすようなものをとる。 F_1,...,F_nに、さらにχ上の関数Cが任意にあたえられたとする。 このとき、Pの各要素はexp(C+θ^i D_i)で表される。(Pは指数型分布族). このとき、自然座標系(θ^i)を通して座標空間R^nから 導入されるPのアフィン構造を、e-構造と呼ぶ。 標語的には、m-構造は確率分布の空間をそのまま拡張したような アフィン空間(離散の場合、確率関数の成分にかかるパラメタが 自然パラメタになるような空間)での構造、 e-構造は、対数尤度が上記のようなアフィン空間の元になるような 空間での構造。 8. 双対平坦空間 多様体Mに、リーマン計量gと、ふたつのアフィン構造Φ_iがあるとき、 アフィン空間に付随する線型空間V_1,V_2の元に対して Rへの演算○が定義されているとする。 <A,B> = (dΦ_1)(A)○(dΦ_2)(B) が成り立つとき、このΦ_iはgに関して互いに双対的であるといい、 (M,g,Φ_1,Φ_2)を双対平坦空間と呼ぶ。 統計多様体は、フィッシャー計量とe-,m-接続に関して双対平坦空間である。 双対平坦空間において、ふたつのアフィン構造に対応する アフィン座標系を、その内積が クロネッカーデルタになるようにさだめることができる。 この時のアフィン座標は、互いに双対であるという。 互いに双対なアフィン座標系に対して、 ルジャンドル変換をあたえる関数が存在する。 この関数を用いると、双対平坦空間に対して 標準ダイバージェンスが定義できる。 α接続とその双対性 α接続とは、統計多様体上に自然に導入されるアフィン接続の族。 アフィン接続:ベクトル場X,Yからベクトル場への写像。 Γ^k_ijで指定される。 特に統計多様体で、リーマン計量としてフィッシャー計量が導入されていると き、 実パラメタαを用いたα接続が基本的。 α=±1が、それぞれe-, m-接続に対応する。 α計量の意味は、後できちんとチェックすること。 必然性とかが理解できていなく、天下り的に見えてしまっている。 アフィン座標において、Γ^k_ijが全て0のとき、 この接続は平坦であるという。 ふたつの接続∇、∇^*があって、任意のベクトル場X,Y,Zの間に、 X<Y,Z> = <∇_X Y,Z> + <Y, ∇^*_X Z> が成り立つとき、これらは双対接続である、という。 PR
1.KLの基本的な性質:
・正値性 ・連鎖則 ・単調性(Data-processing inequality) ・加法性 通信路を用いた単調性の表現(マルコフ写像) ・ピタゴラスの定理の一般化 note: 確率密度関数の変換に関する理論を、マルコフ射を用いて 圏論的に定式化した研究が、Lauritzenによっておこなわれているとのこと。 2.統計多様体: 特に新しいことは無し。 3.フィッシャー計量 対数尤度の偏微分をかけて期待値をとったものを、偏微分する座標に対応する 行列の成分とすると、この行列(Fisher情報行列)の成分は 統計多様体において計量をあたえる。 これがフィッシャー計量。リーマン計量のひとつ。 統計学的にはふたつの分布が観測データからどれだけ精度よく識別できるか という度合いを表す量になっている。 KLとの関係式も(近似的に)あたえられ、KLは距離の二乗の次元であることがわかる。 4.単調性と不変性 マルコフ写像を用いて統計多様体の変換を行う立場にたつと、 フィッシャー計量の単調性という性質が得られる。 これは、M,Nをそれぞれ統計多様体で、N=Γ(M)、Γはマルコフ写像、と するとき、Mにおけるフィッシャー情報行列は、Nにおけるそれより 大、つまり行列不等式G_M ≧ G_Nが成立する。 この性質をフィッシャー計量の単調性と呼ぶ。 Γに対して逆向きのマルコフ写像Λが存在して、 Λ(Γ(X))=Xのときには、このマルコフ写像ΓはM上で可逆であるという。 マルコフ写像が, ある写像Fから誘導されるものの場合、 可逆性とFが十分統計量であることは同値である。 単調性より、可逆なマルコフ写像によって関係付けられるふたつの 統計多様体のフィッシャー計量は等しいことがわかる。 これを、フィッシャー計量のマルコフ同型に関する不変性と呼ぶ。 チェンツォフは、不変性を満たす統計多様体上のリーマン計量は、 定数倍をのぞいてフィッシャー計量に限ることを示したらしい 結果的に、単調性を満たすリーマン計量もこれ以外にはない。 (チェンツォフの定理) ←フィッシャー計量の正当化の一つ。 今までは、フィッシャー計量なら統計多様体上に、 内積がゼロであることが相関がゼロであることに対応するように できる、という理解しかしていなかった。 マルコフ同型に関する不変性の観点からの必然性があることを知ったのは 大きな収穫。 5.f-ダイバージェンス フィッシャー計量は単調性(あるいは不変性)から定数倍をのぞいて 一意に定まった。 一方、KLダイバージェンスは単調性を要請するだけでは導かれない。 なにがKLダイバージェンスを特徴づけるのかは次の節でやるようだが、 ここではより一般の「ダイバージェンス」を考えてみる。 KLダイバージェンスでは、-log(p/q)という項があったが、これを f(1)=0かつ狭義凸な関数f(x)で置き換えたものを f-ダイバージェンスと呼ぶ。 情報幾何で本質的な役割を果たすα-ダイバージェンスも、f-ダイバージェンスの 特殊な場合である。 f-ダイバージェンスについても単調性は成り立つ。 (ただし、連鎖則は成り立たないので、単調性の証明は 関数fの凸性による)。 さらに一般に、M×M上のC^∞級関数で、KLと同様の正値性を満たすものを、 ダイバージェンス、あるいはコントラスト関数などと呼ぶ。 任意のダイバージェンスδに対してリーマン計量が存在し、 ダイバージェンスはその計量と2次の無限小変位の積で近似できる。 ダイバージェンスに付随するリーマン計量は、δが単調性を満たすならば チェンツォフの定理より、そのリーマン計量はフィッシャー計量の定数倍。 6.アフィン空間とアフィン構造 線形空間を特殊な場合としてふくむ、アフィン空間を考える。 アフィン空間Aには、付随するベクトル空間があって、 Aの元PとVの元vの和が定義され、P+vがAの元になるような空間であった。 VをAに付随する線形空間と呼ぶ。 多様体Mに対して、微分同型Φ:M->Φ(M)がMをアフィン空間の 開部分集合に写すとき、このΦをMのアフィン構造と呼ぶ。 アフィン構造があたえられると、 M上にいくつかの幾何学的概念を導入することができる。 具体的には、多様体Mを写像Φによってアフィン空間に埋め込むことができれば、 写像Φの微分dΦはMの接空間をアフィン空間に付随する線型空間Vに 写すような写像になる、という顕著な性質がある。 つまり、アフィン空間に多様体を写すことで、多様体とその接空間を より統一的にとらえることができる。 例えば、Mの異なる2点での接空間の間には、平行移動と呼ばれる 線形同型対応があたえられる。その定義のしかたはいくつかあるが、 (dΦ^-1)_q ・(dΦ)_p のようにdΦとその逆像を合成することで、自然にMの接空間を 「接続」することが可能となる。 さらに、アフィン空間Aで考えることで、Aの直線や平面など、 アフィン部分空間に対応してM上に直線や平面の概念を 定めることができる。 つまり、Mやその接空間だけを考えていたのでは、接空間同士の関係が 定まらなかったので、接空間の元の変化率を通して理解される 「平らであること」などといった概念は考えられなかった。 アフィン空間で考えて、接空間が平行移動によって そのまま写りあうような点pの集合として、Mの中に 「平行な曲線」であるとか、さらに任意の曲線に対して平行な場合には Mそのもののことを「平坦」であるとか呼べるようになる。
第一章:距離空間とベールの定理
第二章:ノルム空間の定義と例 第三章:線型作用素 第四章:バナッハ空間続論 第五章:ヒルベルト空間の構造 第六章:関数空間L^2 第七章:ルベーグ積分論への応用 第八章:連続関数の空間 §1: 距離空間とその完備化。 コーシー列の定義を確認し、 空間Xが完備であるということを、Xにおける 全てのコーシー列が Xの元に収束することで定義する。 一般の距離空間(X,d)にたいして、Xを含むような空間と、 Xの元に対しては dと同じ働きをする距離関数によって、(X,d)は必ず完備化することができる。 この完備化は、等距離同型と言う意味で一意である。 ベールのカテゴリー定理 完備な距離空間Xの稠密な開部分集合列の共通部分もXで稠密である。 稠密: 直観的には、位相空間Sとその部分集合Tがあり、 Tの閉包がSになるときに TはSにおいて稠密であるという。 位相空間Sが稠密で、さらに高々可算な部分集合を持つとき、 可分(Separable)であるという。 §2: ノルムの定義 ||x|| = 0 <=> x=0が成り立たないときは、半ノルム。 d(x,y) = ||x - y ||で定義される距離を、ノルム位相という。 ノルム空間の例として注目すべきなのが、数列空間。 ノルム空間Eがノルム位相に付いて完備なとき、Eをバナッハ空間と呼ぶ。 内積の導入。 内積(x,y)、ノルム||x||について、シュワルツの不等式が成立。 ノルムについて、中線定理(幾何学でいうパップスの定理)が成立。 内積空間には、 内積を用いて自然にノルムが定義される。このノルム空間が 完備ならばこの空間を ヒルベルト空間と呼ぶ。 §3: 一般に、ひとつの数学的対象Eを同種の数学的対象Fに移す写像Tが、 これらの 数学的構造を変えないとき、写像TをEからFへの表現と呼ぶ。 ノルム空間上の線型作用素に有界性の概念を導入し、作用素の距離や大きさを 議論。 線型作用素論で非常に重要な事実として、作用素の連続性と有界性が一致する ことが 挙げられる。 一様有界性の原理(バナッハ-シュタインハウスの定理) T:E -> F, x -> Txなる線型作用素とする。 全てのxについて, 全てのTが||Tx|| < ∞を満たすならば、 Tのノルムも有限である。 つまり、各点での有界性がそのまま一様有界性につながる。 双対空間の概念を導入。 ノルム空間EからEのスカラーの作る ノルム空間Kの中への 線型作用素をE上の線型汎関数という。 E上の有界な線型汎関数の全体はノルム空間を作る。 これを、Eの双対空間と呼ぶ。 双対空間については、 後述のリースの定理が非常に重要。 また、このセクションでは共役指数も定義している。 共役指数は1/p+1/q = 1なるp, qであり、ヘルダーの不等式を代表として 関数解析には頻出する。 §4 ハーン-バナッハの定理: ある種の位相ベクトル空間の部分空間で定義された連続な線形汎関数を、 空間全体での連続な線形汎関数に拡張できることを主張するもの。 このように、より広い空間へ関数を拡張する、というのは 関数解析では基本的な 問題意識になっている。 第二双対空間 <- 双対空間の双対空間のこと。 一般に双対空間をE'とかくと、 EはE"(双対空間の双対空間)の真部分集合であるが、 E=E"となるとき、ノルム空間Eは「回帰的」であるという。 開写像定理: 定義(開写像): 位相空間EからFへの写像が, Eの任意の開部分集合を Fの開集合に写すときをいう。 E,Fをバナッハ空間とすると、EからFへの上への任意の連続な 線形作用素Tは開写像である。 これが開写像定理。 グラフ: 集合Xから集合Yへの写像fのグラフを graph(f) = { (x,f(x)) | x \in X} で定義する。 これは直積集合X ×Yの部分集合である。 定義:ノルム空間Eのある部分空間Dom(T)から ノルム空間Fへの線型作用素Tの グラフgraph(T) = {(x,Tx)|x \in Dom(T)}が ||E×F||_1の閉集合 ならば、Tを閉作用素と呼ぶ。ただし、 E×F_1はEとFの直積で、 ノルムが||(x,y)|| = ||x|| + ||y||であたえられる もの。 ノルム空間からの連続線型作用素Tのグラフが閉集合であることは容易に 確認できるが、 その逆を主張するのが閉グラフ定理であり、 作用素の連続性の証明に多用される: 定理:E,Fをバナッハ空間とすると、EからFえの閉作用素Tが Dom(T) = Eを満たすならば Tは連続である。 §5: ヒルベルト空間が一般のバナッハ空間よりわかりやすい理由は、 ユークリッド空間と同様に必ず 直交座標軸を持つからである。 つまり、ヒルベルト空間Hは H=M+M^{\perp} と分解できる。 ヒルベルト空間の双対空間にも、特徴的な性質がある。それは、 内積を用いて表現できるということ である。 リースの定理: ヒルベルト空間H上の任意の有界な線型汎関数fに対し、 f(x) = (x, y) を 満たすHの元yが一意に存在する。 さらに、||f|| = ||y||である。 無限次元のヒルベルト空間に対しても、正規直交系を定義できる。 また、正規直交系が完全であることをHの任意の元xが、有限個の 正規直交基底で任意の精度で近似できることで定義すると、 任意のヒルベルト空間には完全正規直交系が存在することが示せる。 パーセヴァルの等式、ベッセルの不等式を応用して示す。 §6: p乗可積分な関数がなす空間は、半ノルム空間をなす。 半ノルムにしかならないのは、恒等的にゼロな関数以外にも、 測度が0になる点でしか値を持たない関数など、ノルムがゼロになる 関数が存在するからである。 ノルムがゼロの関数の集合によってp乗可積分な 関数のなす空間を わった商空間は、L^p空間と呼ばれるノルム空間になる。 この空間は完備なので、バナッハ空間になる。完備性の証明など、 L^p空間の構成にはヤングの不等式、ミンコフスキーの不等式、 そして ヘルダーの不等式が用いられる。 続きはもう少しこなれてから...ラドン-ニコディムの定理などをやった。
2日前にOSをXPからVine Linuxへ移行した。
ずいぶんとlinuxの操作を忘れているし、なによりUSBの無線LANアダプタの 設定に苦労した。まだ不安定なんだけど、とりあえずlinuxでいろいろと 作業を開始。
引っ越して2月、やっとリビングと寝室にごみばこを購入。
やっぱコンビニの袋ではむりがあった。 |
カレンダー
フリーエリア
最新トラックバック
プロフィール
HN:
suna
性別:
非公開
職業:
研究
趣味:
数理的なこと。映画。読書
ブログ内検索
カウンター
|