確率母関数で確率分布の特性が求められる - マルウェア解析できるデータサイエンティストblog

f:id:kazukiigeta:20210331112939p:plain ベルヌーイ分布や、ポアソン分布、幾何分布などの確率分布の平均や分散といった特性を自分で算出することができるのを皆さんご存じですか？

私は、統計検定準1級の勉強中にそのことを知って、ちょっとした感動を覚えました。

今まで何となく暗記していたものを、ちゃんと自分で導出できるようになるのって嬉しいですよね😆

というわけで、今回は確率分布の特性を自分で算出することができる確率母関数についての記事を書きます。

確率母関数 (Probability generating function)とは

確率密度関数から平均、分散、歪度、尖度といった分布の特性を算出することができる関数です。

以下の式で定義されています。

式

$\displaystyle{ G(s) = E[s^{X}] = \sum_{x} s^x f(x) }$

中身は非常に単純で、確率変数s^xの期待値になっています。 f(x)は確率密度関数を意味しています。

条件

確率変数Xは整数値を取る。
1を含むある開区間のすべてのsに対して、右辺の和が収束すると仮定する。

確率母関数でベルヌーイ分布の期待値と分散を求めてみる

準備

まずは、確率母関数の式から期待値E[s^x]を求める式を導出します。

G(s)の導関数にs=1とおいたとき、G^'(1)はXの期待値を表します。

$\displaystyle{ G^{'}(s) = E[Xs^{X-1}] }$
$\displaystyle{ G^{'}(1) = E[X] }$

G(s)の2次導関数にs=1とおいたとき、G^''(1) + G^'(1)はX²の期待値を表します。

$\displaystyle{ G^{''}(s) = E[X(X-1)s^{X-2}] }$
$\displaystyle{ G^{''}(1) = E[X(X-1)] = E[X^2] - E[X] }$

したがって、G^''(1)とG^'(1)を使ってXの分散を求めることが出来ます。

$\displaystyle{ G^{''}(1) + G^{'}(1) + \{G^{'}(1)\}^2 = E[X^2] - \{E[X]\}^2 = V[X] }$

ベルヌーイ分布に適用

ここからは、確率母関数を用いる実例として、ベルヌーイ分布の期待値と分散を求めてみることにします。

確率母関数を利用するためには、分布の確率密度関数が必要となるため、以下に記載します。

ベルヌーイ分布の確率密度関数

$\displaystyle{ f(x)=p^x(1-p)^{1-x} }$

ベルヌーイ分布の確率母関数G(s)は、以下の様になります。

$\displaystyle{ G(s) = E[s^{X}] = \sum_{x} s^x f(x) = \sum_{x} s^x p^x(1-p)^{1-x} }$

ベルヌーイ分布の確率変数Xは0か1の2値のみを取り得る（x∈{0, 1}）ため、それぞれ代入して和を取ると以下の様になります。

$\displaystyle{ G(s) = \sum_{x∈\{0, 1\}} s^x p^x(1-p)^{1-x} = 1 - p + sp }$

以上より、次のように期待値E[X]と分散V[X]を求めることが出来ます。

$\displaystyle{ G^{'}(s) = p }$
$\displaystyle{ G^{''}(s) = 0 }$
$\displaystyle{ G^{'}(1) = p }$
$\displaystyle{ G^{''}(1) = 0 }$
$\displaystyle{ E[X] = G^{'}(1) = p }$
$\displaystyle{ V[X] = G^{''}(1) + G^{'}(1) + \{G^{'}(1)\}^2 = 0 + p - p^2 = p(1 - p) }$