古典的な確率再考

・コルモゴロフ的な確率の定義は、
任意の点集合Ωを用意し、Ωの部分集合の族Bで、
Ω∈B、A, Aの補集合∈B、部分集合列AiがBに含まれるなら、それらのユニオ
ン、インターセクションもBに含まれる
ようなものを「完全加法族（σ代数）」として、その上の集合関数を「確率」
と定義する。

このような加法族Bを考える意味は、、、
「素朴に考えると、点x∈Ωに生起確率が付いてくるが、
連続なΩの一点の生起確率はゼロ。
自然と、Ωの「部分集合の生起確率」を扱うことになる。
そこで、部分集合に対する「よくある演算：和・積・補」について閉じている
Ωの部分集合の族を用意して、確率論の舞台としている。」
という理解でいいのかな？

なんどか、公理的な確率の定義は目にしたんだが、なんでそのように
公理系をたてたのか、よくわからなかった。
現状、こんな理解。

統計的推測概観

統計的推測は多くの場合、観測あるいは経験に最もよく当てはまりそうな
数学的モデルとしての母集団分布を想定してなされるものであり、
そこでなされる推測の良し悪しは必ずそのモデルの適切さに支配される。
モデルを特徴付けるのは、まずは母集団分布の型を表す分布関数や密度関数の
形であり、
次にその関数を確定する平均、標準偏差などの母数の値である。

統計的推測のやり方は大別して次の二つ。推測の対象である母集団に対し
適切と思われる分布を想定した時、
(1)想定された母集団分布の、未知の母数の値はどんな値であると考えるべき
かの推定(estimate)。
(2)想定された母集団分布の母数の値は適当なものであるかどうか、あるいは
その分布の型は妥当なものであるかどうかの検定(test)。
の二つ。

推定の中でも、母数の値をただ1つの値として推定することを、点推定という。
この点推定で推定した値を分布関数に代入して、はじめて有用な解析が進行す
るようになる。
このためにサンプルをとって、それから計算される適当な統計値を母数の推定
値とするが、
それは何らかの意味で最良の推定値でなければならない。

ここでいう「最良」とは、問題によって異なる。
問題ごとに何を持って最良とするかを定義する必要がある。
例えば、
(a)推定量が、推定すべき母数の真の値を与える傾向を持つ
(b)推定量が母数の真の値の上または下にあることが大体同じ割合である
(c)推定量が母数の真の値からあまりひどく離れない
(d)推定量にはサンプルから得られる利用可能な情報が全てふくまれ、それ以
外の推定量を考えても何も付け加える情報が無い。
など。
これらを数学的に定式化して、望ましい推定値の決め方、求め方を明らかにす
る。

(a)の性質は、次のように定式化できる。
母数θの推定量を、サンプルXi, i=1 to nの関数としてT(Xi)とする。
このとき、nを大きくした極限について、lim Pr(|T(Xi)-θ| ≧ε) = 0、
つまり、Tがθに確率収束するとする。
このようなTの性質を、一致性といい、このTは一致推定量であるという。
中心極限定理から、次が言える：
「母集団分布が有限な分散を持つ限り、標本平均確率変数は母平均の
一致推定量である」

(b)の性質は、次のように定式化できる。
これは、推定量T(Xi)が真の値θに対して上または下への偏りをもたないとい
うことだが、
つまりTの期待値がθに落ち着くことであると考えてよい。この意味で、
E[T(Xi)]=θ
なる推定量T(Xi)は、θの不偏推定量(unbiased estimator)と呼ばれ、この性
質を不偏性(unbiasedness)という。


(c)の性質は次のように定式化できる。
一致性と不偏性とを要求しても、推定量Tは一意に決まるとは限らない。
そこで、同じ母数θの推定量で、不偏性、一致性の両方の性質を持つものが二
つあるとして、
これらをT1,T2として、そのどちらが望ましいかを、分散の小さいことをもっ
て判断することにする。
T1,T2の分散をそれぞれσ1^2, σ2^2とするとき、これらの比σ2^2/σ1^2を、
T2のT1に関する有効率(efficiency)という。
θの不偏推定量Tの分散V[T]の下限を計算する式はCramerによって与えられて
いる。
そこで、θの不偏推定量のうち、V[T]がその下限に達するものがあれば、それ
はθの不偏推定量のうちで分散が最も小さいもので、その実現値が真の値から
ひどく離れることはない、ということになる。
このような推定量を、有効推定量(efficient estimator)という。

(d)の性質は、次のように定式化できる。
母数θの推定において、サンプルのデータから得られる全ての情報をその中に
集約し、
他のどんな統計量をとってもそれ以上の情報を補うことのできない統計量を求
めることができるとき、これを充足統計量、あるいはθの充足推定量(sufficient
estimator)という。
この性質を充足性(sufficiency)という。

一つの統計量T(Xi)は、その値が与えられえた時の条件付分布が母数に無関係
である時、充足統計量である。
定理：T1,T2が同じ母数θについての充足推定量であるときは、Ta,Tbはある関
数によって結びつく。

つまり、θの充足統計量はすべて互いに関数関係で結ばれているので、関数関
係を除いて一意。ゆえに、このような充足推定量のうちでθの一致推定量、あるいは不偏
推定量になっているものを選択すべき。

→推定量が一致性、不偏性、有効性、充足性のより多くの（あるいは場合に応
じてより重要な）性質を備えていることが望ましい。

来年度の研究提案準備時期に

来年から、非常に工学的ながら多少は理論的な仕事ができるかもしれない。
あまり期待はできないが、うまくアカデミックな方向に持っていくべきか、
それとも現状の、作業量の少ない仕事を継続して自分の時間をたくさん確保するか。
現在提案予定の新しい研究に着手すると、相当な時間がとられる。
まったく知識がない上に、かなりの研究がすでに行われている分野。
サーベイくらいはこの半年の間に進める必要がある。

多くの研究に共通のツールとして

「統計的推測」
昔、酒井先生の講義で聞いたときはいまいち良く分からなかったけど、
今やり直してみるとスムーズに頭に入る。
やはり必要性を感じてると違うな。

母集団の性質は、サンプルをとってこれを詳しく調べた結果から見出すしかな
い。
このために統計的解析（数量的データを扱う手法）を用いるのが
統計的推測(statistical inference)。
この推測の信頼性は、サンプルがどの程度母集団の情報を含んでいるかに依存
する。
そこでサンプリングの方法も重要になるが、そのサンプルの変動分析にも統計
的理論が用いられる。
何らかの原因が存在する変動と、除去不可能な偶然性による変動を分離し、
前者は取り除き、後者による誤差変動の程度や規則性を、統計的手法によって
明らかにする。

データの収集・解析に加え、合理的な考えに基づいた意思決定の一助としても
統計的手法が用いられる。

サンプルとして得られたデータを解析し、それから推理をする統計的推測の問
題は、大きく分けて
１．推定(estimate)
２．仮説検定(test of hypothesis)
からなる。

推定：対象とする母集団を特徴付ける母数（parameter)の値を、指定された信
頼度で、一定の誤差範囲内に
収まるようにサンプルから求めるもの。

仮説検定：観察に基づいて仮設を立て、実験結果に基づいてこれを採択
(accept)すべきか、
棄却(reject)すべきかを有意性検定(test of significance)と呼ばれる統計的
決定法で決めるもの。

確率と統計の区分のひとつの考え方
確率：問題となるシステムの構造を決め、これに対応する数学的モデルを設定
し、これを特徴付ける
母数である定数の数値を指定した上で、このシステムの行動、すなわちどうい
う結果がどれだけの割合で
生じるかを求めようとする。

統計：システムの構造と、これを適切に表現すると考えられるモデルを想定す
るが、母数の数値は
観測された結果から推定によって得られる値を用い、それによってシステムを
解析する。

基本は決定境界を定める問題

・信号検出：
雑音によって歪められた信号を受信した後、その結果に対して判定あるいは
決定を下す必要がある場合、通信の理論の中に決定法を扱う理論が必要になる。

統計的決定：
統計的な信号及び雑音を有するシステムで、信号の最適な検出法を見出すため
の理論。次の二つに大別される。
  １．仮説検定理論
信号が受信されたか、あるいはされないかの決定。
一般には、M個の信号のうち受信された信号はどれに対応するかを決定する。
  ２．推定理論
連続信号（振幅、周波数、波形）の特徴を雑音の中から抽出する理論。
仮説検定理論で、仮説の連続無限極限。
どちらの決定理論でも、決定の「良さ」の基準が必要である。その基準を一つ
定めると、それに対して最適な受信機の構成が次の作業となる。

古典的には、二つの仮説（信号があったか、無かったかという二つの仮説）の
検定を主に扱う。
第一種誤り（FRR)、第二種誤り(FAR)を設定。
各決定に対して損失係数を定義し、受信機は損失係数と誤り確率の積である
危険関数の最小化を目的とする。
(a) ベイズ規範：平均危険関数を最小化する決定。
先験確率が既知である必要がある。
(b) ネイマン・ピアソン規範：第一種誤り確率を固定した上で、
検出確率=1-第二種確率
を最大化する方法。先験確率は未知でよい。
(c) ミニマックス規範：各仮説に対して損失係数は定義できるが先験確率を規定で
きない場合に利用。
送信者は平均危険関数を最大にするように先験確率を選び、
受信者は平均危険関数を最小にするように決定を選ぶゲーム。

・信号検出理論：決定関数を用いた一般化
信号の有無でなく、M個の信号いずれを受信したかを決定する問題に拡張する。
そして、ある受信機出力の標本値ベクトルxが観測された時に仮説Hiを採択す
る確率をπi(x)と定義する。
このπi（ｘ）を「決定関数」と呼ぶ。
観測値が従来の仮説Hiの領域であっても、確率πi(x)のみに依存して仮説Hiを
採択する。
ベイズ規範、ネイマン・ピアソン規範、ミニマックス規範は、決定関数を通し
た定式化も可能。