特別講義 IV 2004 年 1 月 Rapid course on Probablity Theory 2 ^{1}

5. \underline{極限定理} X_{1}, X_{2}, …, X_{n}, … を独立な確率変数列とし、その和 S_{n} = X_{1} + ⋯ + X_{n} の漸近挙動について調べる。定理 5.1 {X_{n}} が独立同分布 (i.i.d. と略記する) で、 E[|X_{1}|] < ∞ と仮定する。

(1) (大数の弱法則) \{\frac{1}{n}S_{n}\} は E[X_{1}] に確率収束する: ∀δ > 0 に対し、 lim_{n→∞} P (|\frac{1}{n}S_{n} − E[X_{1}]| > δ) = 0.

(2) (大数の強法則) \{\frac{1}{n}S_{n}\} は E[X_{1}] に概収束する: P ( lim_{n→∞} \frac{1}{n}S_{n} = E[X_{1}]) = 1.

注意: 上の定理で E[|X_{1}|] < ∞ の仮定ははずせない。実際、 {X_{n}} が i.i.d. でコーシー分布 C(0, 1) に従うとき、その特性関数を計算すれば任意の n ∈ N に対して\frac{1}{n}S_{n} もコーシー分布 C(0, 1) に従うことがわかる。

演習問題 5.1 (1) 確率変数 T と a > 0 に対し P (|T | > a) ≤ \frac{E[|T |]}{a} を示せ。 (チェビシェフの不等式という。 )

(2) \{X_{n}\} が独立で E[X_{i}] = m, V (X_{i}) ≤ v, i = 1, 2, … のとき、 \{\frac{1}{n}S_{n}\} は m に確率収束する: ∀δ > 0 に対し、 lim_{n→∞} P (|\frac{1}{n}S_{n} − m| > δ) = 0 ことを示せ。ヒント: T = |\frac{1}{n}S_{n} − m|^{2} に対しチェビシェフの不等式を用いよ。

演習問題 5.2 (1) 事象列 {A_{n}} が ∑_{n=1}^{∞} P (A_{n}) < ∞ を満たすとき P (⋂_{n=1}^{∞} ⋃_{k=n}^{∞} A_{k}) = 0 を示せ。 (Borel-Cantelli の補題という。 )

(2) {X_{n}} が独立で E[X_{i}] = m, E[|X_{i} − m|^{4}] ≤ c, i = 1, 2, … を満たすとする。 (a) E[|\frac{1}{n}S_{n} − m|^{4}] ≤ \frac{C}{n^{2}} を示せ。 (C は c のみに依存する定数。 )

(b) A_{n} = \{ω ∈ Ω; |\frac{1}{n}S_{n}(ω) − m| ≥ n^{−1/8}\} に対して Borel-Cantelli の補題を用いることにより、 \{\frac{1}{n}S_{n}\} は m に概収束することを示せ。

演習問題 5.3 (Wierstrass の多項式近似定理) {X_{n}} が独立同分布で P (X_{1} = 1) = p, P (X_{1} = 0) = 1 − p に従うとき、 S_{n} = X_{1} + ⋯ + X_{n} に大数の弱法則を適用することにより、 [0, 1] 上の連続関数 f に対して

lim_{n→∞} max_{0≤p≤1}|f(p) − ∑_{k=0}^{n} f(\frac{k}{n})\binom{n}{k}p^{k}(1 − p)^{n−k}| = 0 を示せ。

定理 5.2 (中心極限定理) \{X_{n}\} が独立同分布で、 E[X_{1}] = m, V (X_{1}) = σ^{2} と仮定する。このとき、 Y_{n} = \frac{S_{n}−nm}{\sqrt{n}σ} は標準正規分布に法則収束する:

lim_{n→∞} P (\frac{S_{n} − nm}{\sqrt{n}σ} ≤ a) = ∫_{−∞}^{a} \frac{1}{\sqrt{2π}} e^{− \frac{x^{2}}{2}} dx, a ∈ R.

証明の概要この証明には確率変数列 {Y_{n}} が Z に法則収束すること「P (Z = a) = 0 なる a ∈ R に対して lim_{n→∞} P (Y_{n} ≤ a) = P (Z ≤ a)」と特性関数の収束「lim_{n→∞} φ_{Y_{n}}(t) = φ_{Z}(t) (t ∈ R)」が同値であることを用いる。詳しくは、西尾 [5] などを参照のこと。 □

系 5.3 (de Moivre-Laplace の定理) S_{n} が二項分布 B(n, p) に従うとき、

lim_{n→∞} P (\frac{S_{n} − np}{\sqrt{np(1 − p)}} ≤ a) = ∫_{−∞}^{a} \frac{1}{\sqrt{2π}} e^{− \frac{x^{2}}{2}} dx, a ∈ R.

証明 {X_{n}} が独立同分布で P (X_{1} = 1) = p, P (X_{1} = 0) = 1 − p とすると、 S_{n} = X_{1} + ⋯ + X_{n} は二項分布 B(n, p) に従い、また、 E[X_{1}] = p, V (X_{1}) = p(1 − p) より主張は中心極限定理の特別な場合として得られる。 (スターリングの公式 n! ∼ \sqrt{2nπ}n^{n}e^{−n} から直接証明することもできる。ただし、かなり hard ではある。 ) □

1前回配布の表題に誤りがありました。特別講義 III は特別講義 IV の誤りです。訂正下さい。

例題 5.4 大手予備校の模試で、数学の成績を 10 点きざみの度数分布に整理して平均点を計算する。平均点の誤差が 0.1 点以内に収まる確率が 0.95 以上にしたい。およそ、何名以上の受験生が必要か。中心極限定理を用いて求めよ。

解答受験生を n 人とする。各受験生の得点と階級差との差 X_{1}, X_{2}, …, X_{n} は独立で、各 X_{i} は一様分布 U(−5, 5) に従うから、 E[X_{i}] = 0, V (X_{i}) = 10^{2}/12 (i = 1, …, n). 中心極限定理より Y_{n} = S_{n}/\sqrt{10^{2}n/12} は漸近的に N(0, 1) に従う。 P (|\frac{1}{n}S_{n}| ≤ 0.1) = P (|Y_{n}| ≤ \frac{0.1}{\sqrt{10^{2}/12n}}) ≥ 0.95. ∴\frac{0.1}{\sqrt{10^{2}/12n}} ≥ 1.96. これを解いて n ≥ 3201.33 · · ·. よって、\underline{3,202 名以上}.

演習問題 5.5 サイコロを 1000 回投げたとき、 1 が 160 回以上出る確率の近似値を中心極限定理を用いて求めよ。また、 1 が l 回以上出る確率を 1%以下とするためには、 l の値はどの程度大きくすればよいか。

演習問題 5.6 サイコロを n 回投げたとき、 1 が出る回数とその平均の差が 10 以下である確率が 0.95 以上であるには n はどの位であればよいか。

演習問題 5.7 (ポアソンの少数の法則) 単位時間 [0, 1] を n 等分し、それぞれの小区間では交通事故が起こる回数は 1 回または 0 回であり、起こる確率は λ/n(λ は正の定数) とする。また、異なる小区間で交通事故が起こるかどうかは互いに独立であるとする。このとき、 [0, 1] に起こった交通事故の件数 Z_{n} は二項分布 B(n, λ/n) に従い、分割を細かくすると Z_{n} の分布はポアソン分布 P o(λ) に近づく: lim_{n→∞} P (Z_{n} = k) = e^{−λ} \frac{λ^{k}}{k!} (k = 0, 1, …) を示せ。

6. \underline{数理統計に必要な分布に関する知識} (注：この章の結果は主に 8 章以降で用いる。 )

命題 6.1 確率変数 X_{1}, …, X_{n} が独立で標準正規分布 N(0, 1) に従うとする。 Z = X_{1}^{2} + … + X_{n}^{2} は自由度 n のカイ二乗分布に従う。

証明 |t| < 1/2 に対し E[e^{tX_{1}^{2}}] = ∫_{−∞}^{∞} e^{tx^{2}} \frac{1}{\sqrt{2π}} e^{− \frac{x^{2}}{2}} dx = (1 − 2t)^{−1/2} より E[e^{tZ}] = E[e^{tX_{1}^{2}}] ⋯ E[e^{tX_{n}^{2}}] =

(1 − 2t)^{−n/2} となるから定理 2.2 より Z は自由度 n のカイ二乗分布に従う (cf . 表 2.2)。 □

命題 6.2 (1) X, Y が独立で、それぞれ標準正規分布 N(0, 1), 自由度 n のカイ二乗分布 χ_{n}^{2} に従うとする。このとき、 U = X /\sqrt{\frac{Y}{n}} は自由度 n の t 分布に従う。即ち、 U は確率密度関数 f_{U}(x) = \frac{Γ( \frac{n+1}{2} )}{\sqrt{nπ}Γ( \frac{n}{2} )} (1 + \frac{x^{2}}{n} )^{− \frac{n+1}{2}} で与えられる確率変数となる。

(2) X, Y が独立でそれぞれ自由度 m, n のカイ二乗分布に従うとき、 U = \frac{X}{m} /\sqrt{\frac{Y}{n}} は自由度 (m, n) の F 分布に従う。即ち、 U は確率密度関数

f_{U}(x) = \{ \begin{matrix}(\frac{m}{n})^{\frac{m}{2}} \frac{1}{B(\frac{m}{2}, \frac{n}{2})}x^{\frac{m}{2} −1} (1 + \frac{m}{n}x)^{− \frac{m+n}{2}} & x > 0 \\ 0 & x ≤ 0 \end{matrix}

で与えられる確率変数となる。証明命題 3.1 を用いて計算すればよいので略す。 □

命題 6.3 (正規母集団の母平均, 母分散に関する基本的事項) X_{1}, …, X_{n} が i.i.d. で、正規分布 N(μ, σ^{2}) に従うとき、

標本平均\overline{X} = \frac{1}{n} ∑_{i=1}^{n} X_{i}, 標本分散 S^{2} = \frac{1}{n} ∑_{i=1}^{n} (X_{i} − \overline{X})^{2}

に関して次の (1)–(3) が成立する。

(1) \overline{X} は正規分布 N(μ, \frac{σ^{2}}{n}) に従い、 nS^{2}/σ^{2} は自由度 n − 1 のカイ二乗分布に従う。また、 S^{2} と\overline{X} は独立となる。 (2) S^{∗2} = \frac{1}{n} ∑_{i=1}^{n} (X_{i} − μ)^{2} とおく。\frac{nS^{∗2}}{σ^{2}} は自由度 n のカイ二乗分布に従う。

(3) T = \frac{\overline{X} − μ}{\sqrt{S^{2}/(n − 1)}} は自由度 n − 1 の t 分布に従う。証明 (1) が証明されれば (2), (3) は命題 6.2 から明らかである。 (1) の証明： s, t ∈ R に対して

E[e^{s\overline{X}}e^{t(X_{i}−\overline{X})}] = E[e^{∑_{j≠i} \frac{s−t}{n} X_{j}}e^{(t+ \frac{s−t}{n})X_{i}}] = (e^{μ \frac{s−t}{n} + \frac{1}{2} σ^{2}( \frac{s−t}{n})^{2}})^{n−1}e^{μ(t+ \frac{s−t}{n})+ \frac{1}{2} σ^{2}(t+ \frac{s−t}{n})^{2}}
= e^{μs+ \frac{σ^{2}}{2n} s^{2}}e^{\frac{σ^{2}}{2} \frac{n−1}{n^{2}} t^{2}} = E[e^{s\overline{X}}]E[e^{t(X_{i}−\overline{X})}].

命題 3.6 より\overline{X}, X_{i} − \overline{X} は独立でそれぞれ N(μ, \frac{σ^{2}}{n}), N(0, \frac{(n−1)σ^{2}}{n}) に従う。簡単な計算で

\frac{n(\overline{X} − μ)^{2}}{σ^{2}} + \frac{nS^{2}}{σ^{2}} = ∑_{i=1}^{n} \frac{(X_{i} − μ)^{2}}{σ^{2}} .

命題 3.10 より\overline{X}, S^{2} は独立で、左辺第 1 項と右辺はそれぞれ自由度 1, n のカイ二乗分布に従うから、

E [exp \{t\frac{n(\overline{X} − μ)^{2}}{σ^{2}} \}] E [exp \{t\frac{nS^{2}}{σ^{2}} \}] = E [exp \{t ∑_{i=1}^{n} \frac{(X_{i} − μ)^{2}}{σ^{2}} \}] ,

E [exp \{t\frac{n(\overline{X} − μ)^{2}}{σ^{2}} \}] = (1 − 2t)^{− \frac{1}{2}} , E [exp \{t ∑_{i=1}^{n} \frac{(X_{i} − μ)^{2}}{σ^{2}} \}] = (1 − 2t)^{− \frac{n}{2}} , (|t| < 1/2).

故に、 E [exp \{t\frac{nS^{2}}{σ^{2}} \}] = (1 − 2t)^{− \frac{n−1}{2}} . これは nS^{2}/σ^{2} は自由度 n − 1 のカイ二乗分布に従うことを意味する。 □

命題 6.4 (二つの正規母集団に関する基本的事項) 二つの母集団 N(μ_{1}, σ_{1}^{2}), N(μ_{2}, σ_{2}^{2}) からのサンプルをそれぞれ X_{1}, …, X_{n_{1}}; Y_{1}, …, Y_{n_{2}} とする。 (即ち、 X_{1}, …, X_{n_{1}}; Y_{1}, …, Y_{n_{2}} は独立で、 X_{1}, …, X_{n_{1}} は N(μ_{1}, σ_{1}^{2}) に、 Y_{1}, …, Y_{n_{2}} は N(μ_{2}, σ_{2}^{2}) に従うとする。 ) ここで、次のように定義する:

\overline{X} = \frac{1}{n_{1}} ∑_{i=1}^{n_{1}} X_{i}, S_{1}^{2} = \frac{1}{n_{1}} ∑_{i=1}^{n_{1}} (X_{i} − \overline{X})^{2} ; \overline{Y} = \frac{1}{n_{2}} ∑_{i=1}^{n_{2}} Y_{i}, S_{2}^{2} = \frac{1}{n_{2}} ∑_{i=1}^{n_{2}} (Y_{i} − \overline{Y} )^{2} .

このとき、統計量 F, U, T を次で与える:

F = \frac{\frac{n_{1}S_{1}^{2}}{(n_{1}−1)σ_{1}^{2}}}{\frac{n_{2}S_{2}^{2}}{(n_{2}−1)σ_{2}^{2}}} , U = \frac{\overline{X} − \overline{Y} − (μ_{1} − μ_{2})}{\sqrt{\frac{σ_{1}^{2}}{n_{1}} + \frac{σ_{2}^{2}}{n_{2}}}}, T = \frac{\overline{X} − \overline{Y} − (μ_{1} − μ_{2})}{\sqrt{\frac{n_{1}S_{1}^{2}+n_{2}S_{2}^{2}}{n_{1}+n_{2}−2} (\frac{1}{n_{1}} + \frac{1}{n_{2}} )}}

(1) F は自由度 (n_{1} − 1, n_{2} − 1) の F 分布に従う。

(2) U は標準正規分布 N(0, 1) に従う。

(3) σ_{1}^{2} = σ_{2}^{2} のとき、 T は、自由度 n_{1} + n_{2} − 2 の t 分布に従う。証明命題 6.3(1) の結果に注意すれば命題 6.2 から従う。 □

7. \underline{点推定}

本節以降、 X_{1}, …, X_{n}: i.i.d. であるとし、 X_{1}, …, X_{n} は統計データを表わしていると考える。このとき、 X_{1}, …, X_{n} を、母集団からのサンプルであるというときもある。 (以下、 n ≥ 2 として考える。 )

X_{i} の確率分布の中に未知のパラメータ θ が含まれているとき、 θ の値をサンプル X_{1}, …, X_{n} から推定することを考える。

定義 7.1 (1) 統計量 T = T (X_{1}, ⋯, X_{n}) が θ の不偏推定量であるとは E[T] = θ が成り立つことである。

(2) 二つの θ の不偏推定量 T_{1} = T_{1}(X_{1}, ⋯, X_{n}), T_{2} = T_{2}(X_{1}, ⋯, X_{n}) に対し、 V [T_{1}] < V [T_{2}] が成り立つとき T_{1} は T_{2} より有効であるという。

(3) θ の不偏推定量の中で分散が最小となるものが存在するとき、これを θ の有効推定量という。

例題 7.1 母集団 U(0, θ) からのサンプルを X_{1}, …, X_{n} とする。 (θ が未知のパラメータであるとする。 )

(1) (a) T_{1} = 2\overline{X}, (b) T_{2} = \frac{n+1}{n} max\{X_{1}, ⋯, X_{n}\} がともに θ の不偏推定量となることを示せ。ここで、 \overline{X} = (X_{1} + ⋯ + X_{n})/n とする。

(2) T_{1} と T_{2} のどちらが有効か調べよ。解答 (1) E[T_{1}] = θ, E[T_{2}] = θ を証明すればよいから略す。

(2) V [T_{1}] = \frac{θ^{2}}{3n}, V [T_{2}] = \frac{θ^{2}}{n(n+2)} より、 V [T_{1}] > V [T_{2}] (n ≥ 2) であるから T_{2} は T_{1} より有効。

命題 7.2 (Cramér-Rao の不等式) 不偏推定量 T = T (X_{1}, ⋯, X_{n}) に対して次が成立する:

V [T] ≥ \frac{1}{nE[(\frac{∂}{∂θ} log f(X; θ))^{2}]}.

ここで、 f(x; θ) は θ という未知のパラメータが含まれている X_{i} の確率密度関数 (または確率関数) を表わし、正則条件 (ここでは詳しく述べないが微分と積分との交換条件など) を満たすとする。また、右辺の分母の X は X_{i} と同じ分布をもつ確率変数を表わす。

系 7.3 Cramér-Rao の不等式の等号が成立する不偏推定量 T = T (X_{1}, ⋯, X_{n}) は有効推定量となっている。

例題 7.2 正規母集団 N(μ, 1) からのサンプルを X_{1}, …, X_{n} とする。 (μ が未知のパラメータであるとする。 ) このとき、標本平均\overline{X} = (X_{1} + ⋯ + X_{n})/n は有効推定量であることを示せ。

解答 E[\overline{X}] = μ より\overline{X} が不偏推定量であることに注意する。これより、\overline{X} が μ の有効推定量であることを示すには Cramér-Rao の不等式において等号が成立することを示せばよい。

ここで、簡単な計算で V [\overline{X}] = \frac{1}{n}. 一方、\frac{∂ log f(x;μ)}{∂μ} = \frac{∂}{∂μ}(− log \sqrt{2π} − \frac{1}{2}(x − μ)^{2}) = −(x − μ) より、

Cramér-Rao の不等式の右辺= \frac{1}{nE[\{−(X − μ)\}^{2}]} = \frac{1}{nV [X]} = \frac{1}{n}

となるから一致する。 □

演習問題 7.3 正規母集団 N(μ_{0}, σ^{2}) からのサンプルを X_{1}, …, X_{n} とする。 (μ_{0} は既知であり、 σ^{2} が未知のパラメータであるとする。 ) このとき、 S^{∗2} = \frac{1}{n} ∑_{i=1}^{n}(X_{i} − μ_{0})^{2} は σ^{2} の有効推定量であることを示せ。

演習問題 7.4 正規母集団 N(μ, σ^{2}) からのサンプルを X_{1}, …, X_{n} とする。このとき、不偏分散 U^{2} = \frac{1}{n−1} ∑_{i=1}^{n}(X_{i}− \overline{X})^{2} は σ^{2} の有効推定量であるか調べよ。

演習問題 7.5 ポアソン母集団 P o(λ) からのサンプルを X_{1}, …, X_{n} とする。このとき、標本平均\overline{X} = (X_{1} + ⋯ + X_{n})/n は母平均 λ の有効推定量であることを示せ。

演習問題 7.6 二項母集団 B(m, p) からのサンプルを X_{1}, …, X_{n} とする。このとき、\overline{X}/m は母比率 p の有効推定量であることを示せ。

定義 7.4 統計量 T = T (X_{1}, ⋯, X_{n}) が θ の一致推定量であるとは任意の ε > 0 に対して P (|T − θ| > ε) → 0 (n → ∞) となるときにいう。

例 7.5 θ が母平均であるとき、すなわち E[X_{i}] = θ のとき、 V [X_{i}] = σ^{2} < ∞ なら、標本平均\overline{X} = (X_{1} + ⋯ + X_{n})/n は θ の一致推定量である。これは、大数の弱法則より明らかである。 (cf . 定理 5.1, 演習問題 5.2.)

定義 7.6 (1) f(x; θ) を母集団の分布の確率密度関数 (または確率関数)、 n を標本の大きさとするとき、 L(θ) = ∏_{i=1}^{n} f(x_{i}; θ) を尤度関数という。

(2) 尤度関数 L(θ) を最大とする θ を θ̂(x_{1}, ⋯, x_{n}) とするとき、この θ̂(X_{1}, ⋯, X_{n}) を θ の最尤推定量という。例題 7.7 X_{1}, …, X_{n} を指数分布の母集団 e(λ) からの無作為標本とするとき、 λ の最尤推定量を求めよ。解答 L(λ) = λ^{−n}e^{−(x_{1}+···+x_{n})/λ} より\frac{∂ log L(λ)}{∂λ} = −\frac{n}{λ} + \frac{x_{1}+···+x_{n}}{λ^{2}} , \frac{∂^{2} log L(λ)}{∂λ^{2}} = \frac{n}{λ^{2}} − \frac{2(x_{1}+···+x_{n})}{λ^{3}}. \frac{∂ log L(λ)}{∂λ} = 0

より λ̂ = \frac{x_{1}+···+x_{n}}{n}, \frac{∂^{2} log L(λ̂)}{∂λ^{2}} < 0 となるから L(λ) は λ̂ = \frac{x_{1}+···+x_{n}}{n} で最大値となる。以上より、最尤推定量は標本平均 λ̂ = \overline{X} である。 □

演習問題 7.8 X_{1}, …, X_{n} をポアソン母集団 P o(λ) からの無作為標本とするとき、 λ の最尤推定量を求めよ。

演習問題 7.9 X_{1}, …, X_{n} を正規母集団 N(μ, σ^{2}) からの無作為標本とすると、母平均、母分散に対する最尤推定量はそれぞれ標本平均、標本分散であることを示せ。

演習問題 7.10 X_{1}, …, X_{n} を一様分布の母集団 U(0, θ) からの無作為標本とするとき、 λ の最尤推定量を求めよ。

8. \underline{推定区間}^{2}

7 章では未知のパラメータ θ に対して、統計量 T = T (X_{1}, ⋯, X_{n}) を定め、 T をもって θ を推定するとい点推定について述べた。この章では、 θ を点で推定するのではなく、 2 つの統計量 T_{1}, T_{2} を

P (θ ∈ (T_{1}, T_{2})) ≥ 1 − ε

となるように定める区間推定法について述べる。この区間 (T_{1}, T_{2}) を θ の信頼係数 1 − ε の信頼区間といい、 ε を危険率という。

1. 正規母集団の平均 μ の推定区間 X_{1}, …, X_{n} を正規母集団 N(μ, σ^{2}) からの無作為標本とするき、 μ の信頼係数 1 − ε の信頼区間を求める。

(i) σ^{2} が既知のとき: 命題 6.3 より標本平均\overline{X} = \frac{1}{n} ∑_{i=1}^{n} X_{i} は正規分布 N(μ, \frac{σ^{2}}{n}) に従うので、 Z = \frac{\sqrt{n}}{σ}(\overline{X} − μ) は標準正規分布に従う。よって、

P (\frac{\sqrt{n}}{σ}|\overline{X} − μ| < u(ε/2)) = 1 − ε

となるから^{3} 、不等式\frac{\sqrt{n}}{σ}|\overline{X} − μ| < u(ε/2) を解いて

\overline{X} − \frac{σ}{\sqrt{n}}u(ε/2) < μ < \overline{X} + \frac{σ}{\sqrt{n}}u(ε/2)

となる。従って、信頼係数 1 − ε の信頼区間は (\overline{x} − \frac{σ}{\sqrt{n}}u(ε/2), \overline{x} + \frac{σ}{\sqrt{n}}u(ε/2)) となる。^{4}

(ii) σ^{2} が未知のとき: この場合 σ^{2} の推定量である標本分散: S^{2} = \frac{1}{n} ∑_{i=1}^{n} (X_{i} − \overline{X})^{2} を導入して統計量 T = \frac{\overline{X}−μ}{\sqrt{S^{2}/(n−1)}} を用いると、これは命題 6.3 より自由度 n − 1 の t 分布に従う。

t_{n}(ε) で自由度 n の t 分布の上側 ε 点を表わすと、

P (|\frac{\overline{X} − μ}{\sqrt{S^{2}/(n − 1)}}| < t_{n−1}(\frac{ε}{2})) = 1 − ε

となるから、 (i) と同様にすれば、信頼係数 1 − ε の信頼区間 (\overline{x} − t_{n−1}(\frac{ε}{2})\sqrt{\frac{s^{2}}{n−1}}, \overline{x} + t_{n−1}(\frac{ε}{2})\sqrt{\frac{s^{2}}{n−1}}) を得る。 2. 正規母集団の母分散の推定区間 X_{1}, …, X_{n} を正規母集団 N(μ, σ^{2}) からの無作為標本とする。

2注：ここでは正規母集団に関してのみ述べる。従って F 分布は登場しない。 F 分布は指数分布やポアソン分布に関する母集団、標本数が少ない場合の母比率 p の推定区間に登場する。詳しくは参考文献 [1], [2], [4] などを見よ。

3u(ε) で標準正規分布 N(0, 1) の上側 ε 点を表わした: P (X > u(ε)) = ∫_{u(ε)}^{∞} \frac{1}{\sqrt{2π}} e^{− \frac{x2}{2}} dx = ε, ここで、 X は標準正規分布 N(0, 1) に従う確率変数である。 (cf . 演習問題 2.9)

4確率変数は X などの大文字、サンプルデータの数値は x などの小文字で書くのが慣習である。ここでは、\overline{x} = (x_{1} + ⋯ + x_{n})/n の意味。また、以下用いる記号で s^{2} = \frac{1}{n} ∑_{i=1}^{n} (x_{i} − \overline{x})^{2}, s^{∗2} = \frac{1}{n} ∑_{i=1}^{n} (x_{i} − μ)^{2} である。

(i) μ, σ^{2} が未知のとき: 標本分散: S^{2} = \frac{1}{n} ∑_{i=1}^{n} (X_{i} − \overline{X})^{2} について命題 6.3 より nS^{2}/σ^{2} は自由度 n − 1 のカイ自乗分布に従うから、

P (χ_{n−1}^{2}(1 − \frac{ε}{2}) < \frac{nS^{2}}{σ^{2}} < χ_{n−1}^{2}(\frac{ε}{2})) = 1 − ε

となり、括弧内を σ^{2} について解いて

\frac{nS^{2}}{χ_{n−1}^{2}(\frac{ε}{2})} < σ^{2} < \frac{nS^{2}}{χ_{n−1}^{2}(1 − \frac{ε}{2})}

となる。ここで、 χ_{n}^{2}(ε) は自由度 n の上側 ε 点を表わす (0 < ε < 1 なら 0 < χ_{n−1}^{2}(1 − \frac{ε}{2}) < χ_{n−1}^{2}(\frac{ε}{2}) に注意)。以上より、 σ^{2} の信頼係数 1 − ε の信頼区間は (\frac{ns^{2}}{χ_{n−1}^{2}( \frac{ε}{2} )}, \frac{ns^{2}}{χ_{n−1}^{2}(1− \frac{ε}{2} )}) となる。

(ii) μ が既知のとき: S^{∗2} = \frac{1}{n} ∑_{i=1}^{n}(X_{i} − μ)^{2} を考えると、 χ^{2} = nS^{∗2}/σ^{2} は自由度 n のカイ自乗分布に従うから (i) と同様にすれば、 σ^{2} の信頼係数 1 − ε の信頼区間は (\frac{ns^{∗2}}{χ_{n}^{2}( \frac{ε}{2} )}, \frac{ns^{∗2}}{χ_{n}^{2}(1− \frac{ε}{2} )}) となる。

3. 母比率 p の推定区間 X_{1}, …, X_{n} を P (X_{i} = 1) = p, P (X_{i} = 0) = 1 − p なる母集団からの無作為標本とし、 n が十分大きいとき^{5}の

p の信頼係数 1 − ε の信頼区間を求める。

この場合、中心極限定理より S_{n} = ∑_{i=1}^{n} X_{i} とすると E[X_{1}] = p, V (X_{1}) = p(1 − p) より\frac{S_{n}−np}{\sqrt{np(1−p)}} は近似的に標準正規分布に従う (de Moivre-Laplace の定理)。これより、

P (−u(\frac{ε}{2}) < \frac{S_{n} − np}{\sqrt{np(1 − p)}} < u(\frac{ε}{2})) = 1 − ε

となるから\frac{S_{n}}{n} − u(\frac{ε}{2})\sqrt{\frac{p(1−p)}{n}} < p < \frac{S_{n}}{n} + u(\frac{ε}{2})\sqrt{\frac{p(1−p)}{n}}. ここで根号内の p を標本平均\overline{X} に置き換え、信頼係数 1 − ε の信頼区間 (\overline{x} − u(\frac{ε}{2})\sqrt{\frac{\overline{x}(1−\overline{x})}{n}}, \overline{x} + u(\frac{ε}{2})\sqrt{\frac{\overline{x}(1−\overline{x})}{n}}) を得る。

以下の演習問題では次の数値を用いよ。 u(0.025) = 1.96, u(0.005) = 2.58, χ_{24}^{2}(0.975) = 12.40, χ_{24}^{2}(0.025) = 39.36, χ_{25}^{2}(0.975) = 13.12, χ_{24}^{2}(0.025) = 40.65.

演習問題 8.1 標準偏差 2.6 の正規母集団から 16 個の標本を任意抽出し標本平均を計算したら 17.3 であった。信頼度 95%で母平均 μ を推定せよ。また、信頼度 99%ではどうか。

演習問題 8.2 中学 1 年生の男子 25 人を無作為に抽出し、身長を測定したら、平均値 152.1cm、標準偏差 4.4cm であった。

(1) 母分散 σ^{2} を信頼区間 95%で推定せよ。

(2) 母平均が 151.9cm であることが判明した。母分散 σ^{2} を信頼区間 95%で推定せよ。

演習問題 8.3 ある選挙区における 1 人の候補者の支持率を信頼度 95%の信頼区間の幅が 2%以下であるように推定するにはどの位の大きさの標本を抽出すればよいか。

9. \underline{仮説の検定} 10. \underline{回帰分析}

重要であるが時間的余裕がないので略す。参考文献の教科書 [2], [7] や問題集 [4], [1] を用いて各自勉強された

い。 (時間があれば「仮説検定」については作りたいが、多分無理だろう。 )

5[1] では n\overline{X} ≥ 5 のときとある。 [4] では目安として n ≥ 30 くらいとある。 n が小さいときは直接 2 項分布を考える必要がある。

演習問題解答 (続き) 2.5 (コーシー分布の特性関数) ∫_{−∞}^{∞} \frac{e^{itx}}{1+x^{2}} dx = πe^{−t}, (t > 0) を示せばあとは変数変換すればよい。

積分路 C_{R} : z = t(t : −R → R), z = Re^{iθ}(θ : 0 → π) をとれば、 R > 1 のとき f(z) = \frac{e^{itz}}{1+z^{2}} は C_{R} の内側 z = i に 1 位の極をもつから留数定理より ∫_{C_{R}} f(z)dz = 2πi\frac{e^{iti}}{i+i} = πe^{−t}. ∫_{C_{R}} f(z)dz = ∫_{−R}^{R} \frac{e^{itx}}{1+x^{2}} dx + ∫_{0}^{π} \frac{e^{itRe^{iθ}}}{1+(Re^{iθ})^{2}} Rie^{iθ}dθ, R → ∞ のとき ∫_{−R}^{R} \frac{e^{itx}}{1+x^{2}} dx → ∫_{−∞}^{∞} \frac{e^{itx}}{1+x^{2}} dx, |∫_{0}^{π} \frac{e^{itRe^{iθ}}}{1+(Re^{iθ})^{2}} Rie^{iθ}dθ| ≤ ∫_{0}^{π} \frac{e^{−tR sin^{2} θ}}{R^{2}−1} Rdθ ≤ \frac{Rπ}{R^{2}−1} → 0. 以上より従う。

5.1 (1) P (|T | > a) = E[1_{|T |>a}] ≤ E[\frac{|T |}{a}1_{|T |>a}] ≤ \frac{1}{a}E[|T |].

(2) X′_{i} = X_{i} − m とかく。このとき、 i ≠ j なら E[X′_{i}X′_{j}] = E[X′_{i}]E[X′_{j}] = 0 に注意すると、 E[(S_{n} − nm)^{2}] =

E[(∑_{i=1}^{n} X′_{i})^{2}] = ∑_{i} E[X′_{i}^{2}] + ∑_{i≠j} E[X′_{i}X′_{j}] ≤ nv. よって、 P (|\frac{1}{n}S_{n} − m| > δ) ≤ \frac{1}{n^{2}} E[(S − nm)^{2}] ≤ \frac{v}{n} → 0.

5.2 (1) 仮定より lim_{n→∞} ∑_{k=n}^{∞} P (A_{k}) = 0 で {⋃_{k=n}^{∞} A_{k}} は事象の列として単調減少だから、

P (⋂_{n=1}^{∞} ⋃_{k=n}^{∞} A_{k}) = lim_{n→∞} P (⋃_{k=n}^{∞} A_{k}) ≤ lim_{n→∞} ∑_{k=n}^{∞} P (A_{k}) = 0.

(2) (a) Hölder の不等式より |E[(X_{i} − m)^{p}]| ≤ E[|X_{i} − m|^{4}]^{p/4} ≤ c^{p/4}, 1 ≤ p ≤ 4 に注意する。 5.1 の記号の

もと、 i ≠ j, k, l のとき E[X′_{i}X′_{j}X′_{k}X′_{l}] = E[X′_{i}]E[X′_{j}X′_{k}X′_{l}] = 0 だから E[(S_{n} − nm)^{4}] = E[(∑_{i} X′_{i})^{4}] =

∑_{i} E[X′_{i}^{4}] + 3 ∑_{i≠j} E[X′_{i}^{2}X′_{j}^{2}] + ∑_{i≠j,k,l} E[X′_{i}X′_{j}X′_{k}X′_{l}] = ∑_{i} E[X′_{i}^{4}] + 3 ∑_{i≠j} E[X′_{i}^{2}]E[X′_{j}^{2}] ≤ 3cn^{2}.

よって E[|\frac{1}{n}S_{n} − m|^{4}] ≤ \frac{3c}{n^{2}} .

(b) チェビシェフの不等式より P (A_{n}) ≤ \frac{1}{n^{1/2}} E[|\frac{1}{n}S_{n} − m|^{4}] ≤ \frac{c}{n^{3/2}} より ∑_{n=1}^{∞} P (A_{n}) < ∞ だから Borel-Cantelli の補題より P (⋂_{n=1}^{∞} ⋃_{k=n}^{∞} A_{k}) = 0. ω ∈ ⋃_{n=1}^{∞} ⋂_{k=n}^{∞} A_{k}^{c} とすると、ある n が存在して k ≥ n ⇒ |\frac{1}{k} S_{k}(ω) − m| < k^{−1/8}, 即ち、任意の ε > 0 に対し k ≥ max\{n, ε^{−8}\} とすれば |\frac{1}{k} S_{k}(ω) − m| < ε となり lim_{n→∞} \frac{1}{n}S_{n}(ω) = m. 以上より、 ⋃_{n=1}^{∞} ⋂_{k=n}^{∞} A_{k}^{c} ⊂ \{ω; lim_{n→∞} \frac{1}{n}S_{n}(ω) = m\}. よって、 1 = P (⋃_{n=1}^{∞} ⋂_{k=n}^{∞} A_{k}^{c}) ≤ P (lim_{n→∞} \frac{1}{n}S_{n} = m)(≤ 1) より主張を得る。

5.3 ∥f∥ = sup_{x∈[0,1]} |f(x)| と書く。 ε > 0 を任意にとると、 f は一様連続より δ > 0 が存在して |x − y| < δ ⟹ |f(x) − f(y)| < ε/2 とできる。 E[X_{i}] = p, V [X_{i}] = p(1 − p) ≤ \frac{1}{4} より演習問題 5.1(2) と同様に A_{n} = \{|\frac{S_{n}}{n} − p| < δ\} とおくと P (A_{n}) ≤ 1/(4δ^{2}n) だから、 n ≥ N = ∥f∥/(δ^{2}ε) ならば P (A_{n}^{c}) < ε/(4∥f∥). よって、 |f(p)−E[f(\frac{S_{n}}{n})]| ≤ E[|f(p)−f(\frac{S_{n}}{n})|; A_{n}]+E[|f(p)−f(\frac{S_{n}}{n})|; A_{n}^{c}] ≤ (ε/2)P (A_{n})+2∥f∥P (A_{n}^{c}) < ε. (ここで、 N は p に依存しないことに注意する。 ) 一方、 S_{n} は二項分布 B(n, p) に従うので E[f(\frac{S_{n}}{n})] = ∑_{k=0}^{n} f(\frac{k}{n})\binom{n}{k}p^{k}(1 − p)^{n−k} となるから主張を得る。

5.5 サイコロを 1000 回投げたときの 1 の出る回数を S とすると二項分布 B(1000, \frac{1}{6}) に従うから、 de Moivre-Laplace の定理より Y = \frac{S− \frac{1000}{6}}{\sqrt{1000 \frac{1}{6} \frac{5}{6}}} は標準正規分布に従うと見なせる。よって、 P (S ≥ 160) = P (Y ≥ \frac{160− \frac{1000}{6}}{\sqrt{1000 \frac{1}{6} \frac{5}{6}}} ) = P (Y ≥ −0.5657) = 1 − P (Y > 0.5657) = 0.714. 1 が n 回以上出る確率が 1%以下であるから P (S ≥ l) = P (Y ≥ \frac{l− \frac{1000}{6}}{\sqrt{1000 \frac{1}{6} \frac{5}{6}}} ) ≤ 0.01. よって、\frac{l− \frac{1000}{6}}{\sqrt{1000 \frac{1}{6} \frac{5}{6}}} ≥ 2.326 を解いて l ≥ 194.079 より n = 195 とすればよい。

5.6 サイコロを n 回投げたときの 1 の出る回数 S_{n} は二項分布 B(n, \frac{1}{6}) に従うから、 de Moivre-Laplace の定理より Y = (S_{n} − \frac{n}{6})/\sqrt{n\frac{1}{6} \frac{5}{6}} は標準正規分布に従うと見なせる。よって、 P (|S_{n} − \frac{n}{6}| ≤ 10) = P (|Y | ≤ 10/\frac{\sqrt{5n}}{6}) ≥ 0.95. よって、 10/\frac{\sqrt{5n}}{6} ≥ 1.96 を解いて n ≤ 187.4 より n ≤ 187 とすればよい。

5.7 Z_{n} が B(n, λ/n) に従うことは明らかであろう。

P (Z_{n} = k) = \binom{n}{k}(\frac{λ}{n})^{k}(1 − \frac{λ}{n})^{n−k} = \frac{n(n − 1) ⋯ (n − k + 1)}{k!}(\frac{λ}{n})^{k}(1 − \frac{λ}{n})^{n−k}

= \frac{λ^{k}}{k!} (1 − \frac{1}{n}) ⋯ (1 − \frac{k − 1}{n})(1 − \frac{λ}{n})^{n}(1 − \frac{λ}{n})^{−k} → \frac{λ^{k}}{k!} · 1 ⋯ 1 · e^{−λ} · 1 = e^{−λ} \frac{λ^{k}}{k!} , (n → ∞).

7.3 E[S^{∗2}] = σ^{2} より S^{∗2} が不偏推定量であることに注意する。 V [S^{∗2}] = \frac{2}{n}(σ^{2})^{2}. 一方、\frac{∂ log f(x;σ^{2})}{∂(σ^{2})} = −\frac{1}{2σ^{2}} + \frac{(x−μ_{0})^{2}}{2(σ^{2})^{2}} より、 E[(\frac{∂}{∂(σ^{2})} log f(X; σ^{2}))^{2}] = \frac{1}{4(σ^{2})^{2}} − \frac{1}{2(σ^{2})^{3}} E[(X−μ_{0})^{2}]+ \frac{1}{4(σ^{2})^{4}} E[(X−μ_{0})^{4}] = \frac{1}{2(σ^{2})^{2}} . ここで、 E[(X − μ_{0})^{4}] = 3(σ^{2})^{2} を用いた。以上より、 Cramér-Rao の不等式の等号が成立することがわかるから S^{∗2} は σ^{2} の有効推定量である。

7.4 命題 6.3 より (n − 1)U^{2}/σ^{2} は自由度 n − 1 のカイ二乗分布に従うから、 E[U^{2}] = σ^{2}, V [U^{2}] = \frac{2(σ^{2})^{2}}{n−1} >

\frac{2(σ^{2})^{2}}{n} = V (S^{∗2}) (cf . 問題 7.3). よって、 U^{2} は不偏推定量であるが有効推定量ではない。 7.5 E[\overline{X}] = λ より\overline{X} は不偏推定量。 P o(λ) の確率関数は f(x; λ) = e^{−λ} \frac{λ^{x}}{x!} , \frac{∂ log f(x;λ)}{∂λ} = −1 + \frac{x}{λ} より、

E[(\frac{∂}{∂λ} log f(X; λ))^{2}] = E[(\frac{λ−X}{λ} )^{2}] = \frac{1}{λ}, V (\overline{X}) = \frac{λ}{n}. よって、 Cramér-Rao の不等式の等号が成立するから\overline{X} は λ の有効推定量である。

7.6 E[\frac{\overline{X}}{m}] = p より\frac{\overline{X}}{m} は不偏推定量。確率関数は f(x; p) = \binom{m}{x}p^{x}(1 − p)^{m−x}, \frac{∂ log f(x;p)}{∂p} = \frac{x−mp}{p(1−p)} より、 E[(\frac{∂}{∂p} log f(X; p))^{2}] = E[(\frac{X−mp}{p(1−p)})^{2}] = \frac{m}{p(1−p)}, V (\frac{\overline{X}}{m}) = \frac{p(1−p)}{nm}. よって、 Cramér-Rao の不等式の等号が成立するから\frac{\overline{X}}{m} は p の有効推定量である。

7.8 尤度関数は L(λ) = e^{−nλ}λ^{(x_{1}+···+x_{n})}/(x_{1}! ⋯ x_{n}!) で例題 7.7 と同様に log L(λ) の最大値を求めると λ̂ =

\frac{x_{1}+···+x_{n}}{n} で最大値となることがわかるから、最尤推定量は標本平均 λ̂ = \overline{X} となる。 7.9 v = σ^{2} とおく。尤度関数は L(μ, v) = (2πv)^{−n/2} exp\{− ∑_{i=1}^{n} \frac{(x_{i}−μ)^{2}}{2v} \} で例題 7.7 と同様に log L(μ, v) は

μ̂ = \overline{x} = \frac{x_{1}+···+x_{n}}{n} , v̂ = \frac{1}{n} ∑_{i=1}^{n}(x_{i} − \overline{x})^{2} で最大値となるから、最尤推定量は標本平均、標本分散である。 7.10 f(x; θ) = 1/θ (0 ≤ x ≤ θ), = 0 (その他) だから、尤度関数は L(θ) = 1/θ^{n} (0 ≤ x_{1}, …, x_{n} ≤ θ), = 0 (そ

の他) . これより、 L(θ) を最大にするには θ を最小にすればよい、即ち、 θ = max{x_{1}, …, x_{n}} ととればよいから、最尤推定量は θ̂ = max{X_{1}, …, X_{n}} である。

8.1 95%では\frac{\sqrt{16}}{2.6}|\overline{X} − μ| ≤ u(\frac{0.05}{2}) で\overline{x} = 17.3 より信頼区間は [16.0, 18.6]. 99%では [15.6, 19.0]. 8.2 (1) χ_{24}^{2}(1 − \frac{0.05}{2}) ≤ \frac{25·4.4^{2}}{σ^{2}} ≤ χ_{24}^{2}(\frac{0.05}{2}) より信頼区間は [12.30, 39.03].

(2) s^{∗2} = \frac{1}{n} ∑_{i=1}^{n}(x_{i} − μ)^{2} = \frac{1}{n} ∑_{i=1}^{n}(x_{i} − \overline{x} + \overline{x} − μ)^{2} = s^{2} + (\overline{x} − μ)^{2} = \frac{485.00}{25} より χ_{25}^{2}(1 − \frac{0.05}{2}) ≤ \frac{485.00}{σ^{2}} ≤ χ_{25}^{2}(\frac{0.05}{2}) より信頼区間は [11.93, 36.97].

8.3 支持率の推定区間の幅 (\overline{x} + u(\frac{ε}{2})\sqrt{\frac{\overline{x}(1−\overline{x})}{n}}) − (\overline{x} − u(\frac{ε}{2})\sqrt{\frac{\overline{x}(1−\overline{x})}{n}}) = \frac{2u( \frac{ε}{2} )}{\sqrt{n}} \sqrt{\frac{1}{4} − (\overline{x} − \frac{1}{2})^{2}} ≤ \frac{u( \frac{ε}{2} )}{\sqrt{n}} より \frac{u(0.025)}{\sqrt{n}} ≤ 0.02 であればよい。よって、 n ≥ 9604.

[参考文献] （五十音順。 () 内は著者の独断と偏見による超短い解説。）

[1] 国沢清典編「確率統計演習 1,2」培風館 (確率統計の演習書で解答も詳しい。アクチュアリー試験の教科書に指定されている。数学的に難しい内容もあるが、実際それがアクチュアリー試験で出題されたりもする。 )

[2] 黒田耕嗣「生保年金数理 I 理論編」培風館 (確率統計の部分だけでなく生保の部分も数学的に定義と命題を区別して書かれており読みやすい。確率統計の部分は [4] や [1] とあわせて読むとよい。 )

[3] 小暮雅一・東出純「損害保険数理」共立出版 (確率統計がどのように使われるかが読める。確率統計を一通り勉強してから読むとよい。損保数理の問題集だがアクチュアリー会の教科書より理解しやすい。 )

[4] 小寺平治「明解演習数理統計」共立出版 (コンパクトな演習書。解答が詳しい。 )

[5] 西尾真喜子「確率論」実教出版 (測度論的確率論の名著。簡単ではない。 )

[6] 舟木直久「確率論」朝倉出版 (測度論的確率論の教科書。確率論において測度論が不可欠である理由が詳しく述べられている。 [5] よりはやさしく書かれている。\underline{未刊}。 )

[7] 松本裕行・宮原孝夫「数理統計入門」学術図書 (数学的にしっかり書かれており、共通教育レベルの確率統計

を勉強するために読むのに適当な教科書。これを勉強後、 [1] を読むのがよいであろう。 ) 注意: [7] と同様の確率統計の良い入門書は他にも多くあります。 [7] をここで挙げたのは推薦するためではなく、たまたま著者の手許にあったからです。