05 進階

模型評估:別只看準確率

『準確率 95%』可能是個騙局。學會用交叉驗證估得更穩,用混淆矩陣、precision / recall、ROC / AUC 看清模型真正的能力。

模型評估:別只看準確率 範例輸出

這堂課的完整程式碼在 Jupyter notebook 裡。點下面按鈕在 Colab 開啟,就能直接執行、修改、實驗——你的修改不會動到原檔。

100 個病人裡只有 5 個生病,模型全猜沒病也有 95% 準確率——但它毫無用處。準確率會騙人。這堂課給你一整組更誠實的評估工具。

這堂課你會學到

  • 交叉驗證(cross-validation) 得到更可靠、附帶波動範圍的分數
  • 讀懂 混淆矩陣——錯誤的型態,不只一個總分
  • 理解 precision(喊得準不準)/ recall(抓得全不全)/ F1(兩者平衡)
  • ROC 曲線 並算 AUC,跨所有門檻評估模型

為什麼需要這麼多指標?

預覽圖左邊的混淆矩陣,揭露的是準確率藏起來的東西:在醫療、詐欺場景,「把生病的誤判成健康」遠比反過來嚴重——這種錯誤的代價不對稱,只看一個總分永遠看不到。

右邊的 ROC 曲線則跳脫了「0.5 當門檻」的預設:分類器其實輸出的是機率,把門檻從 0 掃到 1,就能看出模型在各種取捨下的表現,AUC 用一個數字總結(越接近 1 越好,0.5 等於亂猜)。

👉 在 Colab 裡把分類門檻從 0.5 改成 0.3,看 recall 和 precision 怎麼此消彼長——並想想醫療場景該往哪邊調。

#scikit-learn #evaluation #cross-validation #confusion-matrix #roc-auc

留言 0

留言載入中…