特別講義 III 2004 年 1 月 Rapid course on Probablity Theory ^{1}

1. \underline{確率空間}

定義 1.1 集合 Ω(≠ ∅) の部分集合の集まり F が次を満たすとき F を Ω 上の完全加法族 (または可算加法族, σ-加法族) という。

(1) Ω ∈ F

(2) A ∈ F ⟹ A^{c} ∈ F

(3) A_{1}, A_{2}, …, A_{n}, … ∈ F ⟹ ⋃_{n=1}^{∞} A_{n} ∈ F 注意: (2),(3) と de Morgan の法則より A_{1}, A_{2}, …, A_{n}, … ∈ F ⟹ ⋂_{n=1}^{∞} A_{n} ∈ F が従う。

定義 1.2 集合 Ω 上の完全加法族 F で定義された実数値関数 P : F → R が次を満たすとき P を確率という。

(1) 各 A ∈ F に対して P (A) ≥ 0

(2) P (Ω) = 1

(3) A_{1}, A_{2}, …, A_{n}, … ∈ F が互いに排反, i.e., A_{i} ∩ A_{j} = ∅ (i ≠ j) ならば P (⋃_{n=1}^{∞} A_{n}) = ∑_{n=1}^{∞} P (A_{n}) このとき、三つ組み (Ω, F, P) を確率空間といい、 Ω を標本空間、 F の元を事象、 P (A) (A ∈ F) を事象 A の起こる確率という。注意: 上記定義の (3) の性質を (F もしくは P の) 完全加法性という。

演習問題 1.1 事象 A, B, C ∈ F に対し次を示せ。

(1) P (A ∪ B) = P (A) + P (B) − P (A ∩ B)

(2) P (A ∪ B ∪ C) = P (A) + P (B) + P (C) − P (A ∩ B) − P (B ∩ C) − P (C ∩ A) + P (A ∩ B ∩ C)

2. \underline{確率変数}

以下、 (Ω, F, P) を確率空間とする。

定義 2.1 標本空間 Ω 上の実数値関数 X : Ω → R が任意の a ∈ R に対して { ω ∈ Ω | X(ω) ≤ a } ∈ F を満たすとき、 X を確率変数という。

注意: R の開集合すべてを含む最小の完全加法族を Borel 集合族という (以下 B と書く)。 X : Ω → R が確率変数であることと、任意の A ∈ B に対し { ω ∈ Ω | X(ω) ∈ A } ∈ F を満たすことは同値となる。

命題 2.2 X, Y は確率変数とし、 f(x, y) は連続関数とする。このとき、 Z(ω) = f(X(ω), Y (ω)) によって Z : Ω → R を定めると Z も確率変数となる。 (２変数でなく n 変数でも成立する。 )

特に、定数関数や aX +bY (a, b は実数), XY, 1/X (X ≠ 0 のとき), max{X, Y }, min{X, Y }, X^{+} = max{X, 0}, X^{−} = − max{−X, 0} はすべて確率変数となる。

演習問題 2.1 命題 2.2 の max{X, Y }, X + Y が確率変数であることを定義 2.2 から直接導け。

表 2.1: 代表的な確率分布

\begin{matrix}分布名 & 記 号 & 確率 (密度) 関数 & 定義域 & 備 考 \\ 二項分布 & B(n, p) & (\begin{matrix}n \\ k \end{matrix}) p^{k}q^{n−k} & k = 0, 1, 2, …, n & 0 < p < 1, p + q = 1, n ∈ N \\ ポアソン分布 & P o(λ) & e^{−λ} \frac{λ^{k}}{k!} & k = 0, 1, 2, … & λ > 0 \\ 正規分布 & N(μ, σ^{2}) & \frac{1}{\sqrt{2π}σ} e^{− \frac{(x−μ)^{2}}{2σ^{2}}} & −∞ < x < ∞ & σ > 0 \\ 指数分布 & e(λ) & \frac{1}{λ}e^{− \frac{x}{λ}} & x ≥ 0 & λ > 0 \\ 負の二項分布 & NB(α, p) & (\begin{matrix}−α \\ k \end{matrix}) p^{α}(−q)^{k} & k = 0, 1, 2, … & 0 < p < 1, p + q = 1, α > 0 \\ 一様分布 & U(a, b) & \frac{1}{b − a} & a < x < b & a < b \\ ガンマ分布 & Γ(α, β) & \frac{β}{Γ(α)}e^{−βx}(βx)^{α−1} & x > 0 & α, β > 0 \\ 幾何分布 & G(p) & pq^{k} & k = 0, 1, 2, … & 0 < p < 1, p + q = 1 \\ カイ 2 乗分布 & χ^{2}(n) & \frac{1}{2^{\frac{n}{2}} Γ(\frac{n}{2})}x^{\frac{n}{2} −1}e^{− \frac{x}{2}} & x > 0 & n: 自由度 (∈ N) \\ コーシー分布 & C(μ, σ) & \frac{1}{π} \frac{σ}{σ^{2} + (x − μ)^{2}} & −∞ < x < ∞ & σ > 0 \end{matrix}

1 「確率論の真の主題は、でたらめにおきる現象の中から一定の規則性を見出すことにある」 (舟木著「確率論」朝倉出版) が、ここでは統計学や損保数理を学ぶための確率論をできる限り簡潔に解説する。この文書の多くの部分は小寺著「明解演習数理統計」共立出版による。

確率変数 X の値域の型によって、次の２種を考える。 (２種に当てはまらない場合もある (cf . 演習問題 2.4(1))。 )

○離散型 X のとりうる値が高々可算個, x_{1}, x_{2}, …, x_{n}, … とする, であるとき、 X を離散型であるといい、 f(x_{n}) = P (X = x_{n})(> 0) (n = 1, 2, …) を確率関数という。以下、 f_{X} で表す。

○連続型任意の実数 a, b ∈ R に対して P (a < X ≤ b) = ∫_{a}^{b} f(x) dx となる関数 f が存在するとき、 X を (絶対)

連続型であるといい f を確率密度関数という。以下これも f_{X} で表す。

注意: (1) P (X ∈ A) は P ({ ω ∈ Ω | X(ω) ∈ A }) の意味である。確率論では通常この略記法を用いる。

(2) μ_{X}(A) = P (X ∈ A), A ∈ B は B 上の確率測度になる。この μ_{X} を X の分布という。

演習問題 2.2 前ページの表 2.1 でそれぞれが確率 (密度) 関数になることを確かめよ。

例題 2.3 X が正規分布 N(μ, σ^{2}) に従うとき、 Y = e^{X} の確率密度関数を求めよ。 (この Y の分布を対数正規分布という。 )

解答 P (Y ≤ t) = P (X ≤ log t) = ∫_{−∞}^{log t} \frac{1}{\sqrt{2π}σ} e^{− \frac{(x−μ)^{2}}{2σ^{2}}} dx = ∫_{0}^{t} \frac{1}{\sqrt{2π}σ} e^{− \frac{(log y−μ)^{2}}{2σ^{2}}} \frac{dy}{y} (x = log y とおいた) より、

求める確率密度関数は f_{Y} (x) = \frac{1}{\sqrt{2π}σx}e^{− \frac{(log x−μ)^{2}}{2σ^{2}}} , x > 0 となる。

演習問題 2.4 (1) X が指数分布 e(1) に従うとき、 Y = min{X, 10} の分布関数を計算せよ。

(2) X が指数分布 e(λ) に従うとき、次の確率変数の確率密度関数を求めよ。

(a) X^{2}  (b) log X  (c) e^{X}  (d) \sqrt{X}

定理 2.3 (1) 確率変数 X に対し F (x) = P (X ≤ x) とおく。 (この F を X の分布関数といい、 F_{X} で表す。 ) このとき、 F は次を満たす。

(a) F は広義単調増加で、右連続。 (b) lim_{x→−∞} F (x) = 0, lim_{x→+∞} F (x) = 1.

(2) 逆に、関数 F が上記の (a), (b) を満たすとき、適当な確率空間上に F を分布関数としてもつ確率変数が (無数に) 存在する。

証明 (1) 右連続性は ⋂_{n=1}^{∞}(−∞, x + \frac{1}{n}] = (−∞, x] を用いよ。 (他の性質は確率の定義より容易に示せる。 )

(2) Lebesgue 積分論に本質的のよるので略。 (Carathéodory の理論。無数とれることは Kolmogorov の拡張定理。 )

定義 2.4 確率変数 X と区分的に連続な関数 φ : R → R に対し φ(X) の期待値 E[φ(X)] を

E[φ(X)] = ∫_{−∞}^{∞} φ(x) dF_{X}(x) = \{ \begin{matrix}∫_{−∞}^{∞} φ(x)f_{X}(x) dx & (連続型) \\ ∑_{k=1}^{∞} φ(x_{k})P (X = x_{k}) & (離散型) \end{matrix}

と定める。ただし E[|φ(X)|] < ∞ の場合にのみ定義される。ここで、 F_{X}, f_{X} は確率変数 X のそれぞれ分布関数, 確率密度関数を表すものとする。 (注意：最初の “=” は測度論による定義と同値になっている。次の “=” は本来は定理とすべきものである。 )

特に、 E[X] を X の期待値 (平均), V (X) = E[X^{2}] − (E[X])^{2} = E[(X − E[X])^{2}] を分散, σ(X) = \sqrt{V (X)} を標準偏差, M_{X}(t) = E[e^{tX}] (t ∈ R) を積率母関数, φ_{X}(t) = E[e^{itX}] = E[cos(tX)] + iE[sin(tX)] (t ∈ R, i = \sqrt{−1}) を特性関数という。 (注意: 一般に、期待値, 分散, 積率母関数は必ずしも存在しない。特性関数は常に存在する。 )

表 2.2: 主な分布の平均、分散、積率母関数 (コーシー分布については特性関数)

\begin{matrix}分布と記号 & 平 均 & 分散 & 積率母関数 \\ 二項分布 B(n, p) & np & npq & (pe^{t} + q)^{n} \\ ポアソン分布 P o(λ) & λ & λ & e^{λ(e^{t}−1)} \\ 正規分布 N(μ, σ^{2}) & μ & σ^{2} & exp \{μt + \frac{1}{2}σ^{2}t^{2}\} \\ 指数分布 e(λ) & λ & λ^{2} & (1 − λt)^{−1} \\ 負の二項分布 NB(α, p) & \frac{αq}{p} & \frac{αq}{p^{2}} & p^{α}(1 − qe^{t})^{−α} \\ 一様分布 U(a, b) & \frac{a + b}{2} & \frac{(b − a)^{2}}{12} & \frac{e^{bt} − e^{at}}{(b − a)t} \\ ガンマ分布 Γ(α, β) & \frac{α}{β} & \frac{α}{β^{2}} & (\frac{β}{β − t})^{α} \\ 幾何分布 G(p) & \frac{q}{p} & \frac{q}{p^{2}} & p(1 − qe^{t})^{−1} \\ カイ 2 乗分布 χ^{2}(n) & n & 2n & (1 − 2t)^{− \frac{n}{2}} \\ コーシー分布 C(μ, σ) & 存在しない & 存在しない & e^{itμ−σ|t|} \end{matrix}

演習問題 2.5 前ページ表 2.2 の平均、分散、積率母関数等を確かめよ。 (Cauchy 分布の特性関数については関数論の留数定理を用いよ。 )

演習問題 2.6 演習問題 2.4 の確率変数についてその期待値を求めよ。 (注意：計算できないものもある。 )

定理 2.5 確率変数 X の積率母関数 M_{X}(t) = E[e^{tX}] に対し M_{X}(t) < ∞ (|t| < δ) となるとする。このとき、 M_{X}(t) は t = 0 の近くで無限回微分可能で M_{X}^{(n)}(0) = E[X^{n}] となる。 (E[X^{n}] を X の n 次の積率という。 )

定理 2.6 X, Y を確率変数とする。

(1) 積率母関数に関し M_{X}(t) < ∞ かつ M_{X}(t) = M_{Y} (t) (|t| < δ) となれば、 X, Y の分布は一致する。即ち、 P (X ≤ a) = P (Y ≤ a) (a ∈ R) となる。

(2) 特性関数に関し φ_{X}(t) = φ_{Y} (t) (t ∈ R) となれば、 X, Y の分布は一致する。

演習問題 2.7 前ページの表 2.2 でそれぞれの平均、分散を定理 2.5 を用いて積率母関数から導出せよ。

演習問題 2.8 X が正規分布 N(μ, σ^{2}) に従うとき、 Z = \frac{X−μ}{σ} が標準正規分布 N(0, 1) に従うことを (1) 確率密度関数を求めることにより、 (2) 積率母関数を比較することにより証明せよ。 (この Z を X の正規化という。 )

演習問題 2.9 一般に ∫_{a}^{b} \frac{1}{\sqrt{2π}} e^{− \frac{x^{2}}{2}} dx は計算できない。このため、 ε > 0 に対し ∫_{u(ε)}^{∞} \frac{1}{\sqrt{2π}} e^{− \frac{x^{2}}{2}} dx = ε となる

u(ε) を正規分布の ε 点というが、これを表とした正規分布表を用い正規分布に関する確率を計算する。

(1) X が正規分布 N(50, 8^{2}) に従うとき、 P (X ≥ 58), P (40 ≤ X ≤ 54) を求めよ。 (ヒント: X を正規化せよ。 )

(2) X が正規分布 N(μ, σ^{2}) に従うとし、 X を正規化したものを Z とする。 (a) P (Z ≤ a) = 0.1587, P (Z ≤ b) = 0.9332 となる a, b を求めよ。

(b) P (X ≤ 6) = 0.1587, P (X ≤ 16) = 0.9332 であるとき、 X の平均、分散を求めよ。

3. \underline{多次元分布}

一般の n 次元でも同様であるから、簡単のため主として 2 次元の場合を述べる。

2 つの確率変数 X, Y に対して、 (X, Y) なる形を 2 次元 (同時) 確率変数, 2 次元 (結合) 確率変数, 確率ベクトルなどとよぶ。

○離散型 (X, Y) のとりうる値が高々可算個, (x_{1}, y_{1}), (x_{2}, y_{2}), …, (x_{n}, y_{n}), … とする, であるとき、 (X, Y) を離散型であるといい、 f(x_{n}, y_{n}) = P (X = x_{n}, Y = y_{n})(> 0) (n = 1, 2, …) を確率関数という。

○連続型面積確定な領域 A ⊂ R^{2} に対して P ((X, Y) ∈ A) = ∫∫_{A} f(x, y) dxdy となる関数 f(x, y) が存在すると

き、 (X, Y) を (絶対) 連続型であるといい f を確率密度関数という。

2 次元確率変数 (X, Y) に対して分布関数, 周辺確率 (密度) 関数, 周辺分布関数は以下のように定まる。

(1) 同時分布関数: F (x, y) = P (X ≤ x, Y ≤ y)

離散型 ∑_{x_{i}≤x} ∑_{y_{j}≤y} f(x_{i}, y_{j}) , 連続型 ∫_{−∞}^{x} ∫_{−∞}^{y} f(s, t)dtds

(2) 周辺密度関数: X, Y の確率 (密度) 関数は次のように定まる。

離散型\{ \begin{matrix}f_{X}(x_{i}) = P (X = x_{i}) = ∑_{j} f(x_{i}, y_{j}) \\ f_{Y} (y_{i}) = P (Y = y_{i}) = ∑_{i} f(x_{i}, y_{j}) \end{matrix}  連続型\{ \begin{matrix}f_{X}(x) = ∫_{−∞}^{∞} f(x, y)dy \\ f_{Y} (y) = ∫_{−∞}^{∞} f(x, y)dx \end{matrix}

(3) 周辺分布関数: X, Y の分布関数は次のように定まる。

F_{X}(x) = P (X ≤ x) = \{ \begin{matrix}∑_{x_{i}≤x} ∑_{j} f(x_{i}, y_{j}) \\ ∫_{−∞}^{x} ds ∫_{−∞}^{∞} f(s, y)dy \end{matrix} , F_{Y} (y) = P (Y ≤ y) = \{ \begin{matrix}∑_{i} ∑_{y_{j}≤y} f(x_{i}, y_{j}) & (離散型) \\ ∫_{−∞}^{y} dt ∫_{−∞}^{∞} f(x, t)dx & (連続型) \end{matrix}

演習問題 3.1 確率密度関数 f が狭義正定値 n × n 対称行列 A = (a_{ij}), 定数ベクトル m = (m_{i}) ∈ R^{n} に対して

f(x_{1}, …, x_{n}) = (2π)^{−n/2}(det A)^{−1/2} exp \{−\frac{1}{2} ⟨x − m, A^{−1}(x − m)⟩\} x = (x_{i}) ∈ R^{n}

で与えられる n 次元の連続型確率変数を n 次元正規分布といい、 N(m, A) とかく。 (X, Y) が 2 次元正規分布に従うとき、 X, Y ともに (1 次元の) 正規分布に従うことを示せ。

演習問題 3.2 (X_{1}, X_{2}, X_{3}) が三項分布 P (X_{1} = n_{1}, X_{2} = n_{2}, X_{3} = n_{3}) = \frac{N!}{n_{1}!n_{2}!n_{3}!}p_{1}^{n_{1}}p_{2}^{n_{2}}p_{3}^{n_{3}} (ただし、 n_{1} + n_{2} + n_{3} = N, 0 ≤ n_{1}, n_{2}, n_{3} ≤ N, p_{1} + p_{2} + p_{3} = 1, p_{1}, p_{2}, p_{3} > 0) に従うとき、 X_{1} の確率分布を求めよ。 X_{2}, X_{3} についてはどうか調べよ。

命題 3.1 確率変数 (X, Y) の確率密度関数を f(x, y) とするとき、 X + Y, X − Y, XY, X/Y (Y ≠ 0) の確率密度関数はそれぞれ次で定まる。

f_{X+Y} (u) = ∫_{−∞}^{∞} f(x, u − x)dx,  f_{X−Y} (u) = ∫_{−∞}^{∞} f(x, x − u)dx,
f_{XY} (u) = ∫_{−∞}^{∞} f(x, \frac{u}{x})\frac{1}{|x|}dx,  f_{X/Y} (u) = ∫_{−∞}^{∞} f(uy, y)|y|dy.

証明 A = \{(x, y)|a ≤ x + y < b\} とおくと、 u = x + y, v = x により A は [a, b) × R に写され、|\frac{∂(x,y)}{∂(u,v)} | = 1 より

P (a ≤ X + Y < b) = ∫∫_{A} f(x, y)dxdy = ∫_{a}^{b}∫_{−∞}^{∞} f(v, u − v)dvdu より f_{X+Y} (u) は算出される。 □

演習問題 3.3 命題 3.1 の残りを証明せよ。

定理 3.2 2 次元確率変数 (X, Y) と (区分的に) 連続な関数 φ : R^{2} → R に対し

E[φ(X, Y)] = \{ \begin{matrix}∫_{−∞}^{∞}∫_{−∞}^{∞} φ(x, y)f(x, y) dxdy & (連続型) \\ ∑_{i=1}^{∞} ∑_{j=1}^{∞} φ(x_{i}, y_{j})P (X = x_{i}, Y = y_{j}) & (離散型) \end{matrix}

となる。ただし E[|φ(X, Y)|] < ∞ の場合にのみ定義される。注意: E[φ(X, Y)] は Z = φ(X, Y) を (1 次元) 確率変数とみなすことで、定義 2.4 によって定義される。定義 3.3 C(X, Y) = E[(X − E[X])(Y − E[Y])] = E[XY] − E[X]E[Y] を (X, Y) の共分散, ρ(X, Y) =

C(X, Y)/(\sqrt{V (X)}\sqrt{V (Y)}) を (X, Y) の相関係数という。

演習問題 3.4 (X_{1}, X_{2}, …, X_{n}) が n 次元正規分布 N(m, A) に従うとき、 E[X_{i}] = m_{i}, C(X_{i}, X_{j}) = a_{ij} となることを示せ。ただし、 m = (m_{1}, …, m_{n}), A = (a_{ij}) と各成分を表す。

定義 3.4 (1) 確率変数 X_{1}, …, X_{n} が独立であるとは任意の a_{i}, b_{i} ∈ R (i = 1, …, n) に対して P (a_{1} ≤ X_{1} < b_{1}, a_{2} ≤ X_{2} < b_{2}, …, a_{n} ≤ X_{n} < b_{n}) = P (a_{1} ≤ X_{1} < b_{1})P (a_{2} ≤ X_{2} < b_{2}) ⋯ P (a_{n} ≤ X_{n} < b_{n}) なるときにいう。

(2) 確率変数の無限列 {X_{n}} が独立であるとは、任意の n ∈ N に対して X_{1}, …, X_{n} が独立であるときにいう。

命題 3.5 確率変数 X_{1}, X_{2}, …, X_{n} が独立であることと、任意の (区分的) 連続関数 φ_{k}, k = 1, …, n に対して

E[φ_{1}(X_{1})φ_{2}(X_{2}) ⋯ φ_{n}(X_{n})] = E[φ_{1}(X_{1})]E[φ_{2}(X_{2})] ⋯ E[φ_{n}(X_{n})]

なることは同値。ただし、 E[|φ_{i}(X_{i})|] < ∞, i = 1, …, n, と仮定する。 (命題 3.6 は明らかに間違った主張だったので削除しました。 ) 命題 3.7 連続型確率変数 (X_{1}, …, X_{n}) に対しその確率密度関数を f(x_{1}, …, x_{n}) とする。このとき、 X_{1}, …, X_{n}

が独立であるための必要十分条件は f(x_{1}, …, x_{n}) = f_{X_{1}}(x_{1})f_{X_{2}}(x_{2}) ⋯ f_{X_{n}}(x_{n}), (x_{1}, …, x_{n}) ∈ R^{n}, となることである。ここで、 f_{X_{k}} は X_{k} の周辺密度関数を表す。

系 3.8 (X_{1}, X_{2}, …, X_{n}) が n 次元正規分布 N(m, A) に従うとき、 X_{1}, …, X_{n} が独立であるための必要十分条件は A が対角行列であることである。特に、 C(X_{i}, X_{j}) = 0 (1 ≤ i < j ≤ n) であれば X_{1}, …, X_{n} は独立。

命題 3.9 確率変数 X_{1}, X_{2}, …, X_{n} が独立とする。このとき、連続関数 φ; R^{k} → R に対して新しい確率変数を Y = φ(X_{1}, …, X_{k}) により定めると、 Y, X_{k+1}, …, X_{n} は独立となる。

命題 3.10 各 i = 1, …, n に対して確率変数 Y と X_{i} が独立とする。このとき、連続関数 φ; R^{n} → R に対して新しい確率変数を Z = φ(X_{1}, …, X_{k}) により定めると、 Y と Z は独立となる。

例題 3.5 X, Y が独立で、ともに標準正規分布 N(0, 1) に従うとき、 Z = X/Y がコーシー分布 C(0, 1) に従うことを示せ。

解答命題 3.1 と命題 3.7 より Z の確率密度関数を求める:

f_{Z}(u) = ∫_{−∞}^{∞} \frac{1}{\sqrt{2π}} e^{− \frac{1}{2} (uy)^{2}} \frac{1}{\sqrt{2π}} e^{− \frac{1}{2} y^{2}}|y|dy = \frac{2}{2π} ∫_{0}^{∞} e^{− \frac{1}{2} (u^{2}+1)y^{2}}ydy = \frac{1}{π(u^{2} + 1)}.

演習問題 3.6 (確率分布の再生性) X_{1}, X_{2}, …, X_{n} が独立とするとき以下を示せ。

\begin{matrix}分布名 & X_{i} の分布 & X_{1} + X_{2} + ⋯ + X_{n} の分布 \\ 二項分布 & B(m_{i}, p) & B(m_{1} + m_{2} + ⋯ + m_{n}, p) \\ ポアソン分布 & P o(λ_{i}) & P o(λ_{1} + ⋯ + λ_{n}) \\ 負の二項分布 & NB(α_{i}, p) & NB(α_{1} + ⋯ + α_{n}, p) \\ 正規分布 & N(μ_{i}, σ_{i}^{2}) & N(μ_{1} + ⋯ + μ_{n}, σ_{1}^{2} + ⋯ + σ_{n}^{2}) \\ ガンマ分布 & Γ(α_{i}, β) & Γ(α_{1} + ⋯ + α_{n}, β) \\ カイ 2 乗分布 & χ^{2}(m_{i}) & χ^{2}(m_{1} + ⋯ + m_{n}) \\ コーシー分布 & C(μ_{i}, σ_{i}) & C(μ_{1} + ⋯ + μ_{n}, σ_{1} + ⋯ + σ_{n}) \end{matrix}

(ヒント：例題 3.5 同様、命題 3.1(またはその離散型版) を用いる方法と、命題 3.5 により積率母関数 (特性関数) を計算する方法がある。できればその両方で計算せよ。 )

演習問題 3.7 X_{1}, …, X_{n} が i.i.d. (独立同分布) で、指数分布 e(λ) に従うとする。

(1) Y = max{X_{1}, …, X_{n}} の分布関数を求め、その積率母関数 M_{Y} (t) を求めよ。

(2) Z = X_{1} + \frac{1}{2}X_{2} + ⋯ + \frac{1}{n}X_{n} の積率母関数 M_{Z}(t) を求め、 Y と Z の分布が一致することを示せ。

(3) 確率変数としては Y ≠ Z である。これを確認せよ。

● §.6 にもこの章と同様の計算があります。参照下さい。

4. \underline{条件付確率}

定義 4.1 事象 A, B に対して P (B) > 0 となるとき、 P (A|B) = \frac{P (A∩B)}{P (B)} によって定義される確率 P (A|B) を、事象 B が与えられたときの事象 A の条件付確率という。 (通常 P (B) > 0 のときのみ定義される。 ) 確率変数 X に対して条件付平均値 E[X|B] は確率 P (·|B) による X の期待値のことである。

例題 4.1 ある病気の判定薬があり、病気の人に対して 90%の確率で陽性反応 (病気であると判定) を示し、健康者に対して 5%の確率で陽性反応を示す。この病気の罹病率は 1%であるとする。ある人がこの判定薬で陽性反応がでたとき、この人が本当にその病気に罹っている確率を求めよ。

解答事象 A をその人がその病気に罹っているという事象とし、事象 B を陽性反応がでた事象であるとする。病気の人に対して 90%の確率で陽性反応を示すから P (B|A) = 0.9. 健康者に対して 5%の確率で陽性反応から P (B|A^{c}) = 0.05. また、この病気の罹病率は 1%より P (A) = 0.01. 求める確率は P (A|B) である。

以上の式より、 P (A ∩ B) = P (B|A)P (A) = 0.009, P (A^{c} ∩ B) = P (B|A^{c})P (A^{c}) = 0.0495 で P (B) = P (A ∩ B) + P (A^{c} ∩ B) = 0.0585. よって、 P (A|B) = \frac{P (A∩B)}{P (B)} = \frac{0.009}{0.0585} = 0.1538 . . ..

演習問題 4.2 ある工場では機械 M_{1}, M_{2}, M_{3} で前製品のそれぞれ 60%, 30%, 10%を製造していて、これらの機械で生じる不良品の割合は 2%, 3%, 4%である。いま、 1 個の不良品が見つかったとき、それが機械 M_{1} で製造されたものである確率を求めよ。

定義 4.2 確率変数 X, Y に対し、 P (y ≤ Y < y + h) > 0 (∀h > 0) なる任意の y に対し E[X|Y = y] = lim_{h→0} E[X|y ≤ Y < y + h] が存在するとき、条件付平均値 E[X|Y] を E[X|Y](ω) = E[X|Y = y], ω ∈ Ω : Y (ω) = y と定義する。

注意: 条件付平均値 E[X|Y] は確率変数である。厳密な定義は測度論の Radon-Nikodym の定理を用いる。

命題 4.3 3 章冒頭の記号を用いると、確率変数 (X, Y) が離散型のとき Y = y の条件の下での X の条件付確率関数 f_{X|Y} (x_{i}|y) = P (X = x_{i}, Y = y)/P (Y = y) を用いて E[φ(X)|Y = y] = ∑_{i} φ(x_{i})f_{X|Y} (x_{i}|y) と表せる。連続型のとき Y = y の条件の下での X の条件付確率密度関数 f_{X|Y} (x|y) = f(x, y)/f_{Y} (y) を用いて E[φ(X)|Y = y] = ∫_{−∞}^{∞} φ(x)f_{X|Y} (x|y)dx と表せる。ここで、 φ : R → R は区分的に連続とする。

演習問題 4.3 (1) E[E[X|Y]] = E[X], (2) V (X) = V (E[X|Y]) + E[V (X|Y)] を (X, Y) が離散型のとき、連続型のときそれぞれで示せ。ただし、 E[X^{2}] < ∞ を仮定し、 V (X|Y) = E[X^{2}|Y] − E[X|Y]^{2} (Y の条件の下での X の条件付分散) とする。

演習問題 4.4 ある銀行の窓口に並んでいる客の数 N が幾何分布 Ge(p) に従い、客が窓口でサービスを受ける時間は互いに独立で、ともに指数分布 e(λ) に従うとする。このとき、新たに窓口にきた人がサービスを受けるまでに待つ時間 S の分布関数 P (S ≤ t) を求めよ。

演習問題 4.5 確率変数 N, Λ について、 Λ はガンマ分布 Γ(α, β) に従い、 N は Λ = λ の条件付でポアソン分布 P o(λ) に従うとする: P (N = n|Λ = λ) = e^{−λ} \frac{λ^{n}}{n!} . このとき、 N が負の二項分布 NB(α, p), p = \frac{β}{β+1} に従うことを示せ。

演習問題 4.6 N は {0} ∪ N 値の確率変数、 {X_{n}} は連続型 (または離散型) の X と同じ分布をもつ確率変数で、 N, X_{1}, X_{2}, … は独立とする。 S = X_{1} + X_{2} + ⋯ + X_{N} とおく。ただし、 N = 0 の事象の上では S = 0 と解釈する。このとき、

(1) E[S] = E[N]E[X], (2) V (S) = V (X)E[N] + E[X]^{2}V (N), (3) M_{S}(t) = E[e^{tS}] = M_{N}(log M_{X}(t)) を示せ。 (特に N がポアソン分布のとき、このような表示をもつ確率変数 S の分布を複合ポアソン分布という。 )

[参考文献] 黒田耕嗣「生保年金数理 I」培風館小暮雅一・東出純「損害保険数理」共立出版小寺平治「明解演習数理統計」共立出版松本裕行・宮原孝夫「数理統計入門」学術図書

演習問題解答 1.1 (1) A_{1} = A ∩ B, A_{2} = A ∩ B^{c}, A_{3} = A^{c} ∩ B とおくと A_{k} ∈ F で互いに排反であるから

(左辺) = P (A_{1} ∪ A_{2} ∪ A_{3}) = P (A_{1}) + P (A_{2}) + P (A_{3}) = P (A_{1} ∪ A_{2}) + P (A_{1} ∪ A_{3}) − P (A_{3}) = (右辺).

(2) (1) と同様にやればできるから略。

2.1 {max{X, Y } ≤ a} = {X ≤ a} ∩ {Y ≤ a} (cf . 定義 1.1 の注意).

\{X + Y ≤ a\} = ⋂_{n∈N}\{X + Y < a + \frac{1}{n}\}, \{X + Y < a\} = ⋃_{r∈Q}\{X < a + r\} ∩ \{Y < r\} よりわかる。

2.2 正規分布と負の二項分布以外は明らかであろう。正規分布は二重積分を用いて得られる ∫_{0}^{∞} e^{−x^{2}}dx = \frac{\sqrt{π}}{2} を変数変換すれば得られる。

負の二項分布については (\begin{matrix}−α \\ n \end{matrix}) p^{α}(−q)^{n} = \frac{(−α)(−α−1)···(−α−n+1)}{n!}p^{α}(−q)^{n} = \frac{α(α+1)···(α+n−1)}{n!}p^{α}q^{n} > 0 と

∑_{n=0}^{∞} (\begin{matrix}−α \\ n \end{matrix}) (−q)^{n} = (1 − q)^{−α} (|q| < 1) に注意すればよい。

2.4 (1) P (Y ≤ t) = 0 (t < 0), = 1 − e^{−t} (0 ≤ t < 10), = 1 (10 ≤ t).

(2) (a) f_{X^{2}}(t) = \frac{d}{dt}P (X^{2} ≤ t) = \frac{d}{dt}P (X ≤ \sqrt{t}) (t > 0) より f_{X^{2}}(t) = 0 (t ≤ 0), = \frac{1}{2λ\sqrt{t}}e^{−λ^{−1}\sqrt{t}} (t > 0). (以下同様だから解のみ。 ) (b) f_{log X}(t) = λ^{−1} exp{t − λ^{−1}e^{t}}.

(c) f_{e^{X}} (t) = 0 (t ≤ 1), = \frac{1}{λt^{1+1/λ}} (t > 1). (d) f\sqrt{X}(t) = 0 (t ≤ 0), = 2tλ^{−1}e^{−λ^{−1}t^{2}} (t > 0).

2.5 二項分布: k (\begin{matrix}n \\ k \end{matrix}) = n (\begin{matrix}n − 1 \\ k − 1 \end{matrix}) , k(k − 1) (\begin{matrix}n \\ k \end{matrix}) = n(n − 1) (\begin{matrix}n − 2 \\ k − 2 \end{matrix}) より X が B(n, k) に従うとき E[X] =

np, E[X(X − 1)] = n(n − 1)p^{2} となることから容易。幾何分布: ∑_{k=0}^{∞} x^{k} = \frac{1}{1−x} より収束半径に注意して、両辺を微分すれば ∑_{k=1}^{∞} kx^{k−1} = \frac{1}{(1−x)^{2}} , ∑_{k=2}^{∞} k(k − 1)x^{k−2} = \frac{2}{(1−x)^{3}} を得る。これより平均、分散はすぐわかる。コーシー分布: これは次週配るプリントに書きます。他の部分は (比較的) 容易であろう。

2.6 (1) E[min{X, 10}] = ∫_{0}^{∞} min{t, 10}e^{−t}dt = ∫_{0}^{10} te^{−t}dt + ∫_{10}^{∞} 10e^{−t}dt = 1 − e^{−10}.

(2) (a) E[X^{2}] = ∫_{0}^{∞} t^{2} \frac{1}{λ}e^{−t/λ}dt = 2λ^{2}, (b) (多分) 計算できない (c) \frac{1}{1−λ} (λ < 1), 存在しない (λ ≥ 1), (d) \frac{\sqrt{λπ}}{2}

2.7 略

2.8 (1) P (Z ≤ t) = P (X ≤ \frac{t−μ}{σ}) = ∫−∞^{\frac{t−μ}{σ}} \frac{1}{\sqrt{2π}σ} e^{− \frac{(x−μ)^{2}}{2σ^{2}}} dx = ∫_{−∞}^{t} \frac{1}{\sqrt{2π}} e^{− \frac{z^{2}}{2}} dz より従う。 (z = \frac{x−μ}{σ} とした。 )

(2) M_{Z}(t) = E[e^{t \frac{X−μ}{σ}}] = e^{− \frac{tμ}{σ}} E[e^{\frac{t}{σ} X}] = e^{− \frac{tμ}{σ}} e^{μ \frac{t}{σ} + \frac{1}{2} σ^{2}( \frac{t}{σ})^{2}} = e^{\frac{1}{2} t^{2}} より従う。

2.9 (1) Z = \frac{X−50}{8} とおくと Z は N(0, 1) に従うから P (X ≥ 58) = P (Z ≥ 1) = 0.159, P (40 ≤ X ≤ 54) = P (−1.25 ≤ Z ≤ 0.5) = 1 − P (Z ≥ 0.5) − P (Z ≤ −1.25) = 1 − P (Z ≥ 0.5) − P (Z ≥ 1.25) = 0.586.

(2) (a) P (Z ≤ a) = P (Z ≥ −a) より a = −1. P (Z ≤ b) = 1 − P (Z > b) より b = 1.5.

(b) Z = \frac{X−μ}{σ} なる μ, σ を探すと、\frac{6−μ}{σ} = −1, \frac{16−μ}{σ} = 1.5 より μ = 10, σ = 4.

3.1 A = (\begin{matrix}a & b \\ b & c \end{matrix}), d = det A, m = (m_{1}, m_{2}) とおくと、 f_{X}(x) = ∫_{−∞}^{∞} \frac{1}{2π\sqrt{d}}e^{− \frac{1}{2d} (cx′^{2}−2bx′y′+ay′^{2})}dy

= ∫_{−∞}^{∞} \frac{1}{2π\sqrt{d}}e^{− \frac{1}{2d} \{a(y′− \frac{b}{a} x′)^{2}+ \frac{d}{a} x′^{2}\}}dy′ = \frac{1}{2π\sqrt{d}} \sqrt{\frac{2πd}{a}}e^{− \frac{x′^{2}}{2a}} = \frac{1}{\sqrt{2πa}}e^{− \frac{(x−m_{1})^{2}}{2a}}. これより X は正規分布 N(m_{1}, a) に従う。ただし、 x′ = x − m_{1}, y′ = y − m_{2} と書いた。同様に Y が正規分布 N(m_{2}, c) に従うことも示せる。

3.2 P (X_{1} = n_{1}) = ∑_{n_{2}=0}^{N−n_{1}} \frac{N!}{n_{1}!n_{2}!(N−n_{1}−n_{2})!}p_{1}^{n_{1}}p_{2}^{n_{2}}p_{3}^{N−n_{1}−n_{2}} = \frac{N!}{n_{1}!(N−n_{1})!}p_{1}^{n_{1}} ∑_{n_{2}=0}^{N−n_{1}} (\begin{matrix}N − n_{1} \\ n_{2} \end{matrix}) p_{2}^{n_{2}}p_{3}^{N−n_{1}−n_{2}} =

\frac{N!}{n_{1}!(N−n_{1})!}p_{1}^{n_{1}}(p_{2} + p_{3})^{N−n_{1}} より二項分布 B(N, p_{1}) に従う。同様に、 X_{2}, X_{3} はそれぞれ二項分布 B(N, p_{2}), B(N, p_{2}) に従うことがわかる。

3.3 略 3.4 以下、 x′_{i} = x_{i} − m_{i}, x = (x_{i}), x′ = (x′_{i}), m = (m_{i}) とあらわす。

E[X_{i}] = ∫_{R^{n}} x_{i} \frac{1}{(2π)^{\frac{n}{2}} (det A)^{1/2}} e^{− \frac{1}{2}⟨(x−m),A^{−1}(x−m)⟩}dx = ∫_{R^{n}}(x′_{i} + m_{i})\frac{1}{(2π)^{\frac{n}{2}} (det A)^{1/2}} e^{− \frac{1}{2}⟨x′,A^{−1}x′⟩}dx

= m_{i}, ここで最後の “=” で ⟨x′, A^{−1}x′⟩ が x_{i} に関して遇関数であることを用いた。 A を対角化する直行行列を P とし、 D = ^{t}P AP, Q = P D^{1/2} とかくと^{t}QA^{−1}Q = I に注意する。ここで、 I は単位行列, D^{1/2} は D の成分をすべて 1/2 乗して得られる行列とする。 Qy = x′ とすると、

C(X_{i}, X_{j}) = ∫_{R^{n}}(x_{i} − m_{i})(x_{j} − m_{j})\frac{1}{(2π)^{\frac{n}{2}} (det A)^{1/2}} e^{− \frac{1}{2}⟨(x−m),A^{−1}(x−m)⟩}dx

= ∫_{R^{n}} ∑_{k} q_{ik}y_{k} ∑_{l} q_{jl}y_{l} \frac{1}{(2π)^{\frac{n}{2}}} e^{− \frac{|y|^{2}}{2}} dy = ∑_{k} q_{ik}q_{jk} = (Q^{t}Q)_{ij} = a_{ij}.

ただし、 Q, Q^{t}Q の ij-成分をそれぞれ q_{ij}, (Q^{t}Q)_{ij} と表した。 3.6 M_{X_{1}+···+X_{n}}(t) = M_{X_{1}}(t) ⋯ M_{X_{n}}(t) を用いれば容易なので略。 (命題 3.1 を用いる方法は難しいことも

ある。 ) 3.7 (1) P (Y ≤ x) = P (X_{1} ≤ x, …, X_{n} ≤ x) = P (X_{1} ≤ x) ⋯ P (X_{n} ≤ x) = (1 − e^{−x/λ})^{n},

M_{Y} (t) = ∫_{0}^{∞} e^{tx} \frac{d}{dx} \{(1 − e^{−x/λ})^{n}\} dx = \frac{n}{λ} ∫_{0}^{∞} e^{−( \frac{1}{λ} −t)x}(1 − e^{−x/λ})^{n−1}dx = \frac{n(n−1)}{λ(1−tλ)} ∫_{0}^{∞} e^{−( \frac{2}{λ} −t)x}(1 − e^{−x/λ})^{n−2}dx = ⋯ = \frac{n!}{(1−tλ)(2−tλ)···(n−tλ)}. (部分積分を用いよ。 )

(2) M_{Z}(t) = E[e^{tX_{1}}]E[e^{\frac{1}{2} tX_{2}}] ⋯ E[e^{\frac{1}{n} tX_{n}}] = \frac{1}{1−λt} \frac{1}{1−λt/2} ⋯ \frac{1}{1−λt/n} = \frac{n!}{(1−tλ)(2−tλ)···(n−tλ)}. よって、 M_{Y} (t) = M_{Z}(t) (t < \frac{1}{λ}) より Y, Z の分布は一致する。

(3) X_{1}(ω) = X_{2}(ω) = … = X_{n}(ω) = 1 なる ω ∈ Ω をとると Y (ω) = max{X_{1}(ω), …, X_{n}(ω)} = 1, Z(ω) = X_{1}(ω) + \frac{1}{2}X_{2}(ω) + ⋯ + \frac{1}{n}X_{n}(ω) > 1 より明らかに Y (ω) ≠ Z(ω). (P (Y ≠ Z) = 1 か?)

4.2 12/25

4.3 (1) (連続型のときのみ) E[E[X|Y]] = ∫_{R} (∫_{R} xf_{X|Y} (x|y)dx) f_{Y} (y)dy = ∫_{R} ∫_{R} xf(x, y)dxdy

= ∫_{R} x (∫_{R} f(x, y)dy) dx = ∫_{R} xf_{X}(x)dx = E[X],

(2) V (E[X|Y]) + E[V (X|Y)] = E[E[X|Y]^{2}] − E[E[X|Y]]^{2} + E[E[X^{2}|Y] − E[X|Y]^{2}] = E[E[X^{2}|Y]] − E[E[X|Y]]^{2} = E[X^{2}] − E[X]^{2} = V (X) (後から 2 つ目の = は (1) を用いた。 )

4.4 i 番目の客のサービス時間を X_{i} とすると、 X_{i} は指数分布 e(λ) に従う確率変数で、 N, X_{1}, X_{2}, … は独立で、 S = X_{1} + ⋯ + X_{N} となる. ここで、 E[e^{t(X_{1}+···+X_{n})}] = (1 − λt)^{−n} より X_{1} + ⋯ + X_{n} はガンマ分布 Γ(n, 1/λ) に従うことに注意する。よって、 P (S ≤ t) =

= ∑_{n=0}^{∞} P (S ≤ t, N = n) = ∑_{n=0}^{∞} P (X_{1} + ⋯ + X_{n} ≤ t, N = n) = ∑_{n=0}^{∞} P (X_{1} + ⋯ + X_{n} ≤ t)P (N = n)

= p + ∑_{n=1}^{∞} pq^{n} ∫_{0}^{t} \frac{1}{λ^{n}(n − 1)!}x^{n−1}e^{−x/λ}dx = p + \frac{pq}{λ} ∫_{0}^{t} e^{− \frac{p}{λ} x}dx = p + q(1 − e^{−pt/λ}) = 1 − qe^{−pt/λ}.

4.5 P (N = n) = ∫_{0}^{∞} P (N = n|Λ = λ)f_{Λ}(λ)dλ = ∫_{0}^{∞} e^{−λ} \frac{λ^{n}}{n!} \frac{β^{α}}{Γ(α)}λ^{α−1}e^{−βλ}dλ = \frac{β^{α}}{n!Γ(α)} \frac{Γ(n + α)}{(β + 1)^{n+α}}

= \frac{(n + α − 1)(n + α − 2) ⋯ α}{n!} (\frac{β}{β + 1})^{α} (\frac{1}{β + 1})^{n} = (\begin{matrix}−α \\ n \end{matrix}) (\frac{β}{β + 1})^{α} (−\frac{1}{β + 1})^{n}

4.6 E[X; A] = E[X1_{A}] とかく。ただし、 1_{A} は事象 A 上で 1, それ以外で 0 をとる確率変数を表す。

(1) E[S] = ∑_{n=0}^{∞} E[S; N = n] = ∑_{n=0}^{∞} E[X_{1} + X_{2} + ⋯ + X_{n}; N = n] = ∑_{n=0}^{∞} E[X_{1} + X_{2} + ⋯ + X_{n}]P (N = n) =

∑_{n=0}^{∞} nE[X]P (N = n) = E[X]E[N].

(2) E[S^{2}] = ∑_{n=0}^{∞} E[S^{2}; N = n] = ∑_{n=0}^{∞} E[(X_{1} +X_{2} +⋯+X_{n})^{2}; N = n] = ∑_{n=0}^{∞} E[(X_{1} +X_{2} +⋯+X_{n})^{2}]P (N =

n) = ∑_{n=0}^{∞}(nE[X^{2}] + n(n − 1)E[X]^{2})P (N = n) = V (X)E[N] + E[X]^{2}E[N^{2}]. よって、

V (S) = E[S^{2}] − E[S]^{2} = V (X)E[N] + E[X]^{2}E[N^{2}] − (E[X]E[N])^{2} = V (X)E[N] + E[X]^{2}V (N).

(3) E[e^{tS}] = ∑_{n=0}^{∞} E[e^{tS}; N = n] = ∑_{n=0}^{∞} E[e^{t(X_{1}+X_{2}+···+X_{n})}; N = n] = ∑_{n=0}^{∞} E[e^{t(X_{1}+X_{2}+···+X_{n})}]P (N = n) =

∑_{n=0}^{∞} E[e^{tX}]^{n}P (N = n) = ∑_{n=0}^{∞} e^{n log M_{X}(t)}P (N = n) = M_{N}(log M_{X}(t)).