假設檢定與兩種錯誤 — α、β、檢定力
這章讀完,你會:把型一錯誤(Type I error, α)和型二錯誤(Type II error, β)的方向固定住。 記法很簡單:α 像偽陽性(false positive),β 像偽陰性(false negative),檢定力(power)就是 1 - β。
先想 30 秒再往下讀
一個新藥其實有效,但研究樣本太小,p>0.05,所以作者不拒絕 H0 並說「沒有顯著差異」。這是型一錯誤還是型二錯誤?先用「偽陽性/偽陰性」想一次。
檢定先假設 H0 為真
虛無假設(null hypothesis, H0)通常是無差異、無關聯;對立假設(alternative hypothesis, H1)是有差異、有關聯。檢定的語言是:先假設 H0 為真,再問目前資料有多罕見。
不要把檢定想成法官直接知道真相。它比較像先採取「沒有差」的預設立場,除非資料在這個預設下罕見到不合理,才拒絕 H0。拒絕 H0 不是證明 H1 百分之百為真,只是證據足夠不支持 H0。
α:H0 真的,卻被你拒絕
型一錯誤(Type I error, α)是 H0 為真卻拒絕 H0。翻成診斷語言,就是其實沒病卻判陽性,所以 α 像偽陽性(false positive)。常見設定 α = 0.05。
這是 Andrew 最容易搞反的地方:α 不是「漏掉真的效果」,而是「明明沒效果卻說有效」。把它想成檢驗誤報陽性,方向就固定了。
β:H0 是假的,卻沒有拒絕
型二錯誤(Type II error, β)是 H0 為假卻不拒絕 H0。翻成診斷語言,就是其實有病卻驗陰性,所以 β 像偽陰性(false negative)。檢定力(power)是:
power = 1 - beta
真有差異時抓得到的機率,就是 power。增加樣本數 n、效果量、α 都能提升 power,並降低 β。
β 的故事是「有差但沒抓到」。所以當題目說研究其實有效、H0 其實為假,但 p 值不顯著、未拒絕 H0,方向就是型二錯誤,不是型一。
p 值不是 H0 為真的機率
p 值(p-value)是:在 H0 為真時,觀察到目前或更極端結果的機率。p < α 時拒絕 H0;p > α 時不拒絕 H0。p 值不是 H0 為真的機率,也不是效果大小。
把 p 值讀成「這個治療沒效的機率」會翻車。它其實問的是「如果真的沒效,現在這種資料有多稀有?」所以 p 很小代表資料和 H0 不合,不代表效果一定大。
統計史 · Fisher 與 Neyman-Pearson
Fisher 的品茶夫人實驗讓 p 值與 0.05 門檻成為統計教學的經典入口;Neyman-Pearson 則把決策錯誤拆成兩類:α 與 β。對考試最有用的結論是:p 值、型一錯誤、型二錯誤與 power 是同一套決策語言,不是四個孤立名詞。
Type I vs Type II — 用偽陽性固定方向
| 看這個 | Type I error | Type II error | power |
|---|---|---|---|
| 真實狀態 | H0 為真 | H0 為假 | H0 為假 |
| 你的決策 | 拒絕 H0 | 不拒絕 H0 | 拒絕 H0 |
| 診斷類比 | 偽陽性 FP | 偽陰性 FN | 真陽性 TP |
| 符號 | α | β | 1 - β |
| 題幹訊號 | 實際無差卻說有差 | 實際有差卻沒驗出 | 真有效時抓得到 |
破題關鍵字
看到「H0 為真卻拒絕」或「實際無差異卻推翻虛無假說」→ 想 型一錯誤 α,像偽陽性;看到「H0 為假卻不拒絕」或「實際有差異卻未偵測到」→ 想 型二錯誤 β,像偽陰性;看到「真有效抓得到的機率」→ 想 power = 1 - β;看到「固定 α 增樣本數」→ 想 β 下降、power 上升。
調 n、效果量、α,看 β 與 power 怎麼動
拖動效果量、樣本數與 α,注意 α 區、β 區與 power 區如何此消彼長。
你剛剛看到了什麼
樣本數變大或效果量變大時,兩個分布分得更開,β 會下降,power 會上升。若放寬 α,較容易拒絕 H0,也會提高 power,但代價是型一錯誤風險增加。
案例檔案 · 新藥沒效,還是 power 不足?
一個小型研究可能觀察到方向正確的效果,卻因樣本太少而 p>0.05。這種「沒達顯著」不能直接翻譯成「確定沒效」;它可能是 H0 為假卻沒有拒絕 H0,也就是型二錯誤。一句教訓:不顯著不是證明無效,先看 power 與 β。
大家都搞錯
型一與型二最穩的記法是診斷類比:α 像偽陽性,β 像偽陰性。另一個坑是把 p 值當成 H0 為真的機率;正確是 H0 為真時,資料至少這麼極端的機率。
國考考過長這樣
型一/型二錯誤何者對?固定型一錯誤機率、增加樣本數可降低型二錯誤機率。
逐句解碼:固定 α 時,n 增加會讓估計更精準、分布更容易分開,所以 β 下降、power 上升。
df=18 t 檢定,α=0.01,power=0.27;正確解讀為對立假說為真下 p<1% 的機率為 0.27。
逐句解碼:power 是 H1 為真時拒絕 H0 的機率。α=0.01 表拒絕門檻是 p<1%;power=0.27 表真有差時抓到的機率只有 27%,β=0.73。
已知抽菸對肺活量有因果影響,研究卻 p>0.05 不拒絕 H0,這是型二錯誤。
逐句解碼:題目先告訴你真相是「有因果影響」,所以 H0 其實為假;結果研究未拒絕 H0,就是有差卻沒抓到,等同偽陰性 β。
你來當審稿人
某研究寫:「p=0.08,表示 H0 有 8% 機率為真。因為沒有拒絕 H0,所以若真有效,這屬於型一錯誤;若想增加 power,必須降低樣本數。」
我挑好毛病了,看解答
坑一:p 值不是 H0 為真的機率。坑二:真有效卻沒拒絕 H0 是型二錯誤 β,不是型一。坑三:增加樣本數通常會降低 β、提高 power,不是降低樣本數。
還記得嗎 · CH 15
CH15 的 SE 會隨 n 增加而縮小;CH16 的 power 也因此常隨 n 增加而上升。10 秒小題:固定 α,n 增加時 β 通常往哪個方向?
看答案
β 下降,power = 1 - β 上升。