タグ: 確率論

|| モーメント(積率)をざっくり記述する関数

統計で使われる「平均」や「分散」を

より一般的に扱うための考え方

目次

積率（モーメント）「中心を決めて表現する感じの道具」

母関数「いろんな関数を表現するためのやつ」

積率母関数「積率を求める時の母関数」

特性関数「積率母関数より範囲が広い関数」

積率 Moment

|| 期待値とか分散を統一的に扱うための道具

確率論や統計学の中では

期待値とか分散っぽい ↓ のような値を

\begin{array}{llllll} \langle (X-c)^n \rangle &=& \displaystyle \sum_{i=1}^{\infty}(x_i-c)^n P(x_i) \\ \\ \langle (X-c)^n \rangle &=& \displaystyle \int_{-\infty}^{\infty} (x-c)^n p(x) \, dx \end{array}

「中心 c についての n 次のモーメント」と呼びます。

X はなんらかのデータを表す確率変数

p(x),P(x) はデータごとの重み・出現確率

c は中心を指定するための任意の定数

任意だけどだいたい決まってる定数 c

定数 c はなにをとっても良いんですが

\begin{array}{llllll} \displaystyle \langle (X-c)^n \rangle &&\to&& \langle X^n \rangle \end{array}

式を簡単にできることから

「中央 0,μ 」に置くことがほとんどで

\begin{array}{llllll} \displaystyle m_n&=&\langle X^n \rangle \end{array}

この時の m_n もモーメントと呼ばれ

\begin{array}{llllll} \displaystyle m_1&=&\langle X^1 \rangle \\ \\ &=&μ \end{array}

この時

「 1 次のモーメント m_1 」は

「確率変数 X 」の「平均・期待値 μ 」ですから

\begin{array}{llllll} \displaystyle σ^2&=&E(X^2)-μ^2 \\ \\ \\ \displaystyle σ^2&=&m_2-m_1^2 \end{array}

このように「モーメント」を使えば

「モーメントのみ」で

\begin{array}{llllll} \displaystyle μ&& \to &&m_1 \\ \\ \displaystyle σ^2&& \to &&m_2-m_1^2 \end{array}

「期待値 μ 」に限らず

「分散 σ^2 」なども

同様に記述できるようになります。

\begin{array}{llllll} \displaystyle \displaystyle m_1&& \to &&0 \\ \\ \displaystyle σ^2&& \to &&m_2 \end{array}

特に「１次のモーメント」が 0 の場合では

こんな感じにかなり記述を簡略化できます。

中心という感覚

「モーメント（積率）」といえば

「中心から見たあれこれ」みたいな

\begin{array}{llllll} \displaystyle M_n&=&\langle (X-c)^n \rangle \end{array}

なんかそんな感じのイメージが強い単語ですが

この時の「任意の定数 c 」

これが中心の役割を担っていて

\begin{array}{llllll} \displaystyle μ_n&=&\langle (X-μ)^n \rangle \end{array}

例えばこのように

「 m_1 を中心にしてみる」と

『分布の形は変わらないまま』

「中心」だけは 0 からずれて

\begin{array}{llllll} \displaystyle μ_1&=&0 \\ \\ μ_2&=&σ^2 \end{array}

X の期待値 μ を中心にして考える

みたいなことができるようになります。

まあつまるところ

「分布の形はそのまま」に

「期待値 0 の分布」で考えてみたい場合

\begin{array}{llllll} \displaystyle μ_1&=&0 \\ \\ μ_2&=&σ^2 \end{array}

この「モーメント」を使うと

記述が統一的かつ簡略化される、と

まあそんな感じで、

こいつは中心を定めたり変えたり

良い感じに記述を楽にするために使われる。

だから

「中心を変えてその周りを見る」という点で

「モーメント」って呼ばれてる感じです。

母関数 Generating function

|| いろんな関数を表現できる形の関数

「生成関数」と呼ばれることもありますし

「形式的冪級数」なんて小難しく呼ばれることもあります。

\begin{array}{llllll} \displaystyle \sum_{n=0}^{n}a_nx^n \\ \\ \displaystyle \sum_{n=0}^{n}a_n \frac{x^n}{n!} \end{array}

だいたいこういうのが使われますね。

由来は「方程式」と「マクローリン展開」

他にも「ポアソン」「ランベルト」「ベル」とか

まあそういうのもありますが

だいたい「マクローリン展開」です。

詳細は長くなるのでカット。

とりあえず

『ほぼ全ての関数の雛型』とか

『あらゆる関数の一般形』とか

\begin{array}{llllll} \displaystyle (2x+3)(x+1)&=&3+5x+2x^2 \\ \\ &=&a_0x^0+a_1x^1+a_2x^2 \end{array}

なんかそんな感じだと思っておけば

その認識でだいたい合ってます。

積率母関数 Moment Generating

|| あらゆる分布の特徴を一定の手続きで得たい

確率変数 X に期待値が存在する

\begin{array}{llllll} \displaystyle M_X(t)&=&\displaystyle E\left(e^{tX}\right) \\ \\ M_X(t)&=&\displaystyle \int e^{tx}f(x) \,dx \end{array}

その仮定の下で

積率母関数 M_X(t) は ↑ のように表現されます。

\begin{array}{llllll} \displaystyle \displaystyle e^{tx}&=&\displaystyle 1+tx+\frac{t^2}{2!}x^2+\frac{t^3}{3!}x^3+\cdots \end{array}

これの「 n 階微分」をとって

t=0 として邪魔な項を消せば

\begin{array}{llllll} \displaystyle \left. \frac{d^n}{dt^n}M_X(t) \right|_{t=0}&=&E(X^n) \end{array}

『分布を考えない』状態でも

「 n 次のモーメント」が導出可能

ちょっと意味わかんないかもしれませんが

こいつはただの『良い感じの形になってる関数』

\begin{array}{llllll} \mathrm{Gen}&=&E(X^n) \\ \\ &=& \displaystyle \left. \frac{d^n}{dt^n}M_X(t) \right|_{t=0} \end{array}

実態は「モーメントを出力する関数」でしかなく

この式自体に何か意味があるわけではありません。

（特性関数の実態もそう）

モーメント母関数の必要性

これは「正規分布」や「一様分布」といった

いわゆる『分かりやすい分布』を調べる場合

\begin{array}{cccccccccccc} \displaystyle \mathrm{N}(μ,σ^2)&&μ&σ^2 \\ \\ \mathrm{U}(a,b)&&\displaystyle \frac{a+b}{2} &\displaystyle \frac{(b-a)^2}{12} \end{array}

あるいは「平均・期待値」「分散」といった

『そこまで多くの特徴を抜き出さない』場合など

使わなくて困ることが無い状況では

当たり前ですが必要にはなりません。

積率母関数の役割

「複雑な分布」とか

「より詳細な特徴」とか

\begin{array}{lccccccc} \displaystyle \mathrm{Bern}(p)&& p^x(1-p)^{n-x} \\ \\ \displaystyle \mathrm{B}(n,p)&&{}_n \mathrm{C}_x p^x(1-p)^{n-x} \\ \\ \mathrm{Exp}(λ) && λe^{-λx} \end{array}

そういった『複雑なもの』を

厳密にかつ統一的に扱いたい

そういった要望を叶えるのが

「積率母関数」で

\begin{array}{lccccc} \displaystyle \mathrm{Bern}(p)&& p & p(1-p) \\ \\ \displaystyle \mathrm{B}(n,p)&&np & np(1-p) \\ \\ \mathrm{Exp}(λ) && \displaystyle \frac{1}{λ}&\displaystyle \frac{1}{λ^2} \end{array}

なんか「よく分からない分布の期待値」とか

「尖度」「歪度」のようなより詳しい特徴とか

そういうのを求める時や

あらゆる分布をまとめて扱いたい時

これは必要になります。

積率母関数の正しさの確認

これを厳密に説明する場合

「マクローリン展開」を説明しなきゃなんですが

\begin{array}{llllll} \displaystyle f(x)&=&\displaystyle f(0) + f^{(1)}(0)x^1 + \frac{f^{(2)}(0)}{2!}x^2 + \cdots +\frac{f^{(k)}(0)}{k!}x^k + \cdots \\ \\ &=&\displaystyle \sum_{n=0}^{\infty} \frac{f^{(n)}(0)}{n!}x^n \end{array}

これ、分かるでしょうか。

「微分できる関数」は

『全てこれで表現できる』っていうやつなんですが

まあ初見じゃ絶対わかんないと思います。

\begin{array}{llllll} \displaystyle e^x&=&\displaystyle 1+x+\frac{1}{2!}x^2+\frac{1}{3!}x^3+\cdots \\ \\ \\ \displaystyle e^{tx}&=&\displaystyle 1+tx+\frac{t^2}{2!}x^2+\frac{t^3}{3!}x^3+\cdots \end{array}

\begin{array}{llllll} \displaystyle \frac{d}{dx}e^{x}&=&e^{x} \\ \\ \displaystyle \frac{d}{dx}e^{tx}&=&te^{tx} \end{array}

でこれ、ちょっと簡単には説明し辛いので

とりあえずこの記事では飲み込んでください。

そうすれば後はただの計算なので

\begin{array}{llllll} \displaystyle E(e^{tX})&=&\displaystyle E\left( 1+tX+\frac{t^2}{2!}X^2+\frac{t^3}{3!}X^3+\cdots \right) \\ \\ &=&\displaystyle E(1)+E(tX)+E\left(\frac{t^2}{2!}X^2\right)+E\left(\frac{t^3}{3!}X^3\right)+\cdots \\ \\ &=&\displaystyle 1+tE(X)+\frac{t^2}{2!}E\left(X^2\right)+\frac{t^3}{3!}E\left(X^3\right)+\cdots \end{array}

これを微分して

\begin{array}{llllll} \displaystyle \frac{d}{dt}E(e^{tX})&=&\displaystyle E(X)+tE\left(X^2\right)+\frac{t^2}{2!}E\left(X^3\right)+\cdots \end{array}

邪魔な部分を消すために t=0 として計算すれば

\begin{array}{llllll} \displaystyle \left. \frac{d}{dt}E(e^{tX}) \right|_{t=0}&=&\displaystyle E(X) \end{array}

2次以降の係数には t が含まれることから

このようにモーメントを取り出すことができます。

\begin{array}{llllll} \displaystyle \frac{d^2}{dt^2}E(e^{tX})&=&\displaystyle E\left(X^2\right)+tE\left(X^3\right)+\cdots \end{array}

2次以降も同様

微分の回数だけ増やして t を消せば

同じような操作で2次のモーメントを取り出せます。

モーメント母関数の内容

関数の構成はちょっと複雑ですが

「マクローリン展開」を理解していれば

特に疑問に思う部分は無いと思います。

\begin{array}{llllll} \displaystyle \displaystyle e^x&=&\displaystyle 1+x+\frac{1}{2!}x^2+\frac{1}{3!}x^3+\cdots \end{array}

この形を使うことで

「あらゆる関数を表現できる」ようにする

\begin{array}{llllll} \displaystyle \displaystyle e^{tx}&=&\displaystyle 1+tx+\frac{t^2}{2!}x^2+\frac{t^3}{3!}x^3+\cdots \end{array}

その上で

このように最も単純な形として変数 t を使い

\begin{array}{llllll} \displaystyle E(e^{tX})&=&\displaystyle 1+tE(X)+\frac{t^2}{2!}E\left(X^2\right)+\frac{t^3}{3!}E\left(X^3\right)+\cdots \end{array}

更に「期待値」の操作で

あらゆる『確率を返す関数』に対応させ

最終的に目的のモーメントを取り出す。

\begin{array}{llllll} \displaystyle \frac{d}{dt}E(e^{tX})&=&\displaystyle E(X)+tE\left(X^2\right)+\frac{t^2}{2!}E\left(X^3\right)+\cdots \\ \\ \displaystyle \left. \frac{d}{dt}E(e^{tX}) \right|_{t=0}&=&\displaystyle E(X) \end{array}

これが積率母関数の一連の動作で

このようにしたおかげで

「 n 次のモーメント」を

『一定の手続き』で取り出せるようになった。

これが全容なので

他には特に語ることがありません。

正規分布のモーメント母関数

詳しい話は長くなるので別記事でやるとして

正規分布の確率密度関数は ↓ であることから

\begin{array}{llllll} \displaystyle \frac{1}{\sqrt{2πσ^2}}\exp{\left(-\frac{(x-μ)^2}{2σ^2}\right)} \\ \\ \displaystyle \frac{1}{\sqrt{2πσ^2}}e^{-\frac{(x-μ)^2}{2σ^2}} \end{array}

期待値の定義から

モーメント母関数は以下のような感じになります。

\begin{array}{llllll} \displaystyle E(e^{tX})&=&\displaystyle\int_{-\infty}^{\infty}e^{tx} \frac{1}{\sqrt{2πσ^2}}e^{-\frac{(x-μ)^2}{2σ^2}} \, dx \\ \\ &=&\displaystyle \frac{1}{\sqrt{2πσ^2}} \int_{-\infty}^{\infty}e^{tx} e^{-\frac{(x-μ)^2}{2σ^2}} \, dx \\ \\ &=&\displaystyle \frac{1}{\sqrt{2πσ^2}} \int_{-\infty}^{\infty} e^{-\frac{(x-μ)^2}{2σ^2}+tx} \, dx \end{array}

だいぶ複雑です。

\begin{array}{llllll} \displaystyle -\frac{(x-μ)^2}{2σ^2}+tx&=&\displaystyle -\frac{(x-μ)^2}{2σ^2}+\frac{2σ^2tx}{2σ^2} \\ \\ \\ (x-μ)^2-2σ^2tx&=&x^2-2μx+μ^2-2σ^2tx \\ \\ &=&x^2-2μx-2σ^2tx+μ^2 \\ \\ &=&x^2-2(μ+σ^2t)x+μ^2 \\ \\ &=&\displaystyle \Bigl(x-(μ+σ^2t) \Bigr)^2-(μ+σ^2t)^2+μ^2 \\ \\ \\ \displaystyle -(μ+σ^2t)^2+μ^2&=&-(μ^2+2μσ^2t+σ^4t^2)+μ^2 \\ \\ &=& -(2μσ^2t+σ^4t^2) \\ \\ \\ \displaystyle -\frac{(x-μ)^2}{2σ^2}+tx&=&\displaystyle -\frac{\Bigl(x-(μ+σ^2t) \Bigr)^2-(2μσ^2t+σ^4t^2)}{2σ^2} \\ \\ &=&\displaystyle -\frac{\Bigl(x-(μ+σ^2t) \Bigr)^2}{2σ^2}+\frac{2μσ^2t+σ^4t^2}{2σ^2} \\ \\ \displaystyle\frac{2μσ^2t+σ^4t^2}{2σ^2}&=&\displaystyle μt+\frac{σ^2t^2}{2}\end{array}

式変形は面倒ですが

ここまで整理できれば

\begin{array}{llllll} \displaystyle e^{-\frac{\left(x-(μ+σ^2t) \right)^2}{2σ^2}+μt+\frac{σ^2t^2}{2}} &=&e^{μt+\frac{σ^2t^2}{2}}e^{-\frac{\left(x-(μ+σ^2t) \right)^2}{2σ^2}} \end{array}

\begin{array}{llllll} \displaystyle E(e^{tX})&=&\displaystyle\int_{-\infty}^{\infty}e^{tx} \frac{1}{\sqrt{2πσ^2}}e^{-\frac{(x-μ)^2}{2σ^2}} \, dx \\ \\ &=&\displaystyle \frac{1}{\sqrt{2πσ^2}} \int_{-\infty}^{\infty} e^{μt+\frac{σ^2t^2}{2}}e^{-\frac{\left(x-(μ+σ^2t) \right)^2}{2σ^2}} \, dx \\ \\ &=&\displaystyle e^{μt+\frac{σ^2t^2}{2}}\frac{1}{\sqrt{2πσ^2}} \int_{-\infty}^{\infty} e^{-\frac{\left(x-(μ+σ^2t) \right)^2}{2σ^2}} \, dx \end{array}

後は「正規分布の確率密度関数」の定義

それと「ガウス積分」を考慮すれば

\begin{array}{llrllll} \displaystyle\int_{-\infty}^{\infty} e^{-ax^2} \,dx&=&\displaystyle \sqrt{\frac{π}{a}} \\ \\ \displaystyle \int_{-\infty}^{\infty} \frac{1}{\sqrt{2πσ^2}}e^{-\frac{(x-μ)^2}{2σ^2}} \, dx &=&1 \end{array}

式のほとんどが 1 になって消せると分かるので

\begin{array}{llllll} \displaystyle\int_{-\infty}^{\infty}e^{tx} \frac{1}{\sqrt{2πσ^2}}e^{-\frac{(x-μ)^2}{2σ^2}} \, dx&=&e^{μt+\frac{σ^2t^2}{2}} \end{array}

簡単にモーメント母関数が求められます。

ガウス積分が謎過ぎますが

これの証明はかなり手間なので別記事で。

二項分布のモーメント母関数

二項分布での確率は

「 X=k になる確率」として

\begin{array}{llllll} \displaystyle {}_n \mathrm{C}_k p^k(1-p)^{n-k} \end{array}

このように定義されていて

（余事象と二項定理）

期待値の定義から

モーメント母関数は ↓ のように定義されます。

\begin{array}{llllll} \displaystyle (1+1)^n&=&{}_n \mathrm{C}_0 1^n 1^{0}+{}_n \mathrm{C}_1 1^{n-1} 1^{1}+\cdots+{}_n \mathrm{C}_n 1^0 1^{n} \\ \\ (a+b)^n&=&{}_n \mathrm{C}_0 a^n b^{0}+{}_n \mathrm{C}_1 a^{n-1} b^{1}+\cdots+{}_n \mathrm{C}_n a^0 b^{n} \end{array}

\begin{array}{llllll} \displaystyle E(e^{tX})&=&\displaystyle\sum_{k=0}^{n}e^{tk} {}_n \mathrm{C}_k p^k(1-p)^{n-k} \\ \\ &=&\displaystyle\sum_{k=0}^{n} {}_n \mathrm{C}_k (e^tp)^k(1-p)^{n-k} \\ \\ &=&(e^tp+1-p)^n \end{array}

二項定理を理解しておく必要はありますが

そこさえ分かっていれば

後はすんなり求めることができて

\begin{array}{llllll} \displaystyle \frac{d}{dt}u^n&=&\displaystyle \frac{d}{du}\frac{du}{dt}u^n \\ \\ &=&\displaystyle \frac{du^n}{du}\frac{du}{dt} \\ \\ &=&\displaystyle nu^{n-1}\frac{du}{dt} \end{array}

\begin{array}{llllll} \displaystyle \frac{d}{dt} (e^tp+1-p)^n &=&n(e^tp+1-p)^{n-1}e^tp \\ \\ \displaystyle \left. \frac{d}{dt} (e^tp+1-p)^n \right|_{t=0} &=&n(e^0p+1-p)^{n-1}e^0p \\ \\ &=&n(p+1-p)^{n-1}p \\ \\ &=&n1^{n-1}p \\ \\ &=&np \end{array}

結果

よく分からない結論を導きます。

\begin{array}{llllll} \displaystyle {}_n \mathrm{C}_k p^k(1-p)^{n-k} \end{array}

この確率分布の期待値が np ってことらしいですけど

なんか実感し辛い。

特性関数 Characteristic function

|| 積率母関数を更に一般化したやつ

積率母関数より遥かに広い範囲をカバーできます。

\begin{array}{llllll} \displaystyle \phi_X(t)&=&\displaystyle E\left(e^{itX}\right) \\ \\ &=&\displaystyle \int e^{itx}f(x) \,dx \end{array}

\begin{array}{llllll} \displaystyle \left. (-i)^n\frac{d^n}{dt^n}\phi_X(t) \right|_{t=0}&=&E(X^n) \end{array}

こんな感じのやつです。

積率母関数と同様の手順で求めることができます。

（詳細は長くなるので別の記事で）