発展｜ベイズ推定（確率シリーズ第8章）

ベイズ推定

確率が分からないとき、データで見立てを更新して真の値に迫る方法。ベイズの定理を"くり返し使う"と何ができるのかを体験します。

ここから発展編！　むずかしい式は出てくるけど、やってることは"考えを更新する"だけ。実験しながら進めよ！

✦✦

1. ベイズ推定とは：信念をデータで更新する

発展これまでは「確率が分かっている」コインやサイコロを扱ってきました。現実には、確率そのものが分からないことのほうが普通です。このコインは本当に公平？　この広告のクリック率は？　新しい薬の有効率は？

ベイズ推定は、「分からない量」について、最初の見立て（事前分布）をデータで更新し、確信の度合い（事後分布）を作る方法です。道具は、条件付き確率とベイズで学んだベイズの定理だけ。

事後確率 ∝ 事前確率 × 尤度

尤度（ゆうど）は「その仮説が正しいとして、今回のデータが出る確率」。∝ は「比例する」（最後に合計が1になるよう割る）という意味です。

2. 3つの仮説で試す

このコインの表が出る確率 p は、0.3、0.5、0.7 のどれか。最初はどれも同じくらい怪しい（各 1/3）とします。表が1回出たらどうなるでしょう。

仮説 p	事前	尤度（表が出る確率）	事前×尤度	事後
0.3	1/3	0.3	0.1000	0.200
0.5	1/3	0.5	0.1667	0.333
0.7	1/3	0.7	0.2333	0.467
合計	1		0.5	1

「事前×尤度」の合計 0.5 で割ると事後が求まります。そしてもう一度表が出たら、この事後を新しい事前として同じ計算をします。

仮説 p	事前（さっきの事後）	×尤度	事後（2回連続表）
0.3	0.200	0.0600	0.108
0.5	0.333	0.1667	0.301
0.7	0.467	0.3267	0.590

「表に偏っているコイン」への確信が、0.333 → 0.467 → 0.590 と、データのたびに更新されました。

3. p を連続な値として扱う

仮説を 0 から 1 までのすべての値にしたのが、ふつうのベイズ推定です。最初に「どの p も同じくらいありうる」（一様な事前分布）と考え、表が h 回、裏が t 回出たとき、p の事後分布の形は次のとおりです。

事後分布の形 ∝ pʰ × (1−p)ᵗ

二項分布の確率 ₙCₖ pᵏ qⁿ⁻ᵏ の、p に関する部分だけを取り出した形です（ベータ分布と呼ばれます）。

山の頂上（最もありそうな p）：h ÷ (h＋t)。つまり表の割合。
事後平均：(h＋1) ÷ (h＋t＋2)（ラプラスの継起則）。
山の幅：データが増えるほどせまくなる＝確信が強くなる。

例：3回投げて3回とも表。頻度だけで考えると「表の確率 100%」ですが、ベイズ的な事後平均は (3＋1)÷(3＋2)＝0.8。3回では「絶対に表しか出ない」とは言い切れないので、極端な結論を避けてくれます。

コインの偏りを推定しよう

本当の p（隠れた真実）
最初の見立て

緑の山が、p の"ありそうさ"です。データが増えるにつれて山が細くなり、本当の値（ピンク線）に近づきます。強い信念だと最初は動きにくいのも観察してみて。

4. 実用例：迷惑メールフィルタ

例題：メールの40%は迷惑メール。迷惑メールの50%、通常メールの5%に「無料」の語が含まれる。「無料」を含むメールが迷惑メールである確率は？

迷惑かつ「無料」：0.4 × 0.5 ＝ 0.20

通常かつ「無料」：0.6 × 0.05 ＝ 0.03

事後確率＝ 0.20 ÷ (0.20＋0.03) ≒ 0.87

ここに「当選」という語も含まれていたら？　迷惑メールの30%、通常メールの2%に含まれるとします。これをオッズ（迷惑 : 通常の比）で計算すると楽です。

事前オッズ＝ 0.4 : 0.6 ＝ 2/3

「無料」の尤度比＝ 0.5 ÷ 0.05 ＝ 10、「当選」の尤度比＝ 0.3 ÷ 0.02 ＝ 15

事後オッズ＝ 2/3 × 10 × 15 ＝ 100 → 確率＝ 100 ÷ 101 ≒ 0.99

事後オッズ＝事前オッズ × 尤度比 × 尤度比 × …

証拠が1つ見つかるごとに、オッズに尤度比を掛けるだけ。ただし2つの語が独立に現れるという仮定を置いています（ナイーブベイズ）。現実には、この仮定は完全には成り立たないが、実用上とても強力です。

5. 統計学の別の流派との違い（ちょっとだけ）

ベイズ流は、確率を「信念の強さ」として扱い、「pが0.6〜0.8にある確率が95%」と言えます（信用区間）。一方、伝統的な統計（頻度論）では、p は固定された値で、「同じ調査を何度も繰り返せば95%の区間が真の値を含む」という言い方をします（信頼区間）。目的によってどちらも使われます。ベイズが強みなのは、データが少ないとき、事前の知識を使いたいとき、逐次的に更新したいときです。

6. 練習問題

p＝0.3、0.5、0.7 の3仮説（事前は各1/3）で、裏が1回出た。各仮説の事後確率は？
一様な事前分布から、表7回・裏3回のとき、頂上と事後平均は？
迷惑メールが50%で、ある語を含む割合が迷惑メール40%・通常メール10%のとき、その語を含むメールが迷惑メールである確率は？
事前オッズ1:4（確率0.2）、尤度比8のとき、事後の確率は？
5回投げて表が0回のとき、事後平均は？　なぜ0にならないのか？

答えと途中式を確認する

1：裏の尤度は 0.7、0.5、0.3。合計1.5で割ると 0.467、0.333、0.200。

2：頂上 7÷10＝0.7。事後平均 (7＋1)÷(10＋2)＝2/3≒0.667。

3：0.5×0.4＝0.20、0.5×0.1＝0.05。0.20÷0.25＝0.8。

4：事後オッズ 1/4 × 8 ＝ 2（2:1）。確率＝2÷3＝2/3。

5：(0＋1)÷(5＋2)＝1/7≒0.143。5回だけでは「表が出ない」コインだと断定できないため。