[Kaggle 專題研究分享] 糖尿病預測:血液檢測資料之機器學習分析


編輯製作
:洪翊綺、蔡豐聲

出品團隊:中國醫藥大學 醫療資訊學系 程式俱樂部

YT:https://youtu.be/WSeCyoF3RKE

📌 參考文獻與資料來源 (References & Datasets)

  1. Model evaluation metrics deep dive 🔥 (Silver Medal Notebook)

    • 探討重點:深入剖析醫療分類模型各項評估指標(Accuracy, Precision, Recall, F1-Score, ROC-AUC)之選用時機與權衡。
  2. Comparative Analysis of ML - Acc = 0.9981 (Gold Medal Notebook)

    • 探討重點:針對血液檢測數值進行多演算法橫向比較分析與超參數調校技術。
  3. Health test by blood (Bronze Medal Notebook)

    • 探討重點:臨床血液特徵分布探索、缺失值檢視與基礎機器學習流程實作。

💡 專題簡介 (Introduction)

糖尿病是全球盛行率極高的慢性代謝疾病,若未及早發現與介入,常伴隨嚴重的心血管疾病與腎功能損害。本研究以 Kaggle 的血液與臨床檢驗資料集(Health Test by Blood Dataset)為基礎,透過標準的 醫療 AI 專案全流程,建立具備高準確率與高可解釋性的分類模型。

本報告的核心精神在於:不單看最終指標,更注重嚴謹、具可重現性的端到端(End-to-End)分析流程——從資料品質檢驗、探索性資料分析(EDA)、醫學特徵工程,到多模型評估、超參數最佳化與 SHAP 模型解釋。

🗺️ 專案八大分析階段與工作流程

[資料讀取與品質檢查] ➔ [探索性資料分析 (EDA)] ➔ [相關性與共線性分析] ➔ [醫學特徵工程]
        ➔ [資料切分與標準化] ➔ [多模型訓練與評估] ➔ [GridSearchCV 調參] ➔ [SHAP 特徵解釋]

本專案規劃為 44 個具體實作指令步驟,涵蓋機器學習專案的八大關鍵階段:

  1. 資料品質檢查 (Data Quality Check):維度檢視、型態確認、缺失值與重複值清查。

  2. 探索性資料分析 (EDA):標籤平衡度、直方圖、KDE 密度圖、箱型圖(Boxplot)與小提琴圖(Violin Plot)。

  3. 相關性分析 (Correlation Analysis):Pearson 矩陣、熱力圖、目標關聯性與多重共線性檢驗。

  4. 特徵工程 (Feature Engineering):臨床指標分組、互動項特徵建構、生理不合理 0 值校正。

  5. 資料切分與標準化 (Data Split & Scaling):避免 Data Leakage、特徵縮放。

  6. 模型建立與評估 (Modeling & Evaluation):五大經典分類器訓練、ROC-AUC、混淆矩陣對比。

  7. 模型調參與最佳化 (Hyperparameter Tuning):GridSearchCV 超參數搜尋。

  8. 特徵重要度與可解釋性 (SHAP Analysis):SHAP Summary Plot、特徵方向性解析與臨床建議。

🔍 44 步驟實作細節深入拆解

階段一:資料品質檢查(Step 01 – Step 06)

  • Step 01–03:讀取 Diabetes Classification.csv,檢視前五筆與欄位型態,區分連續型數值與類別特徵,統計缺失值比例。

  • Step 04–06:檢查重複資料列並評估是否剔除;產出描述性統計(Count, Mean, Std, IQR, Min/Max),評估資料完整度與建模適應性。

階段二:探索性資料分析 EDA(Step 07 – Step 14)

  • Step 07–08:繪製 Outcome 的 Count Plot 與圓餅圖,評估類別不平衡(Class Imbalance)對後續模型訓練的可能影響。

  • Step 09–10:針對數值欄位繪製直方圖(Histogram)與 KDE 密度圖,觀察偏態(Skewness)與多峰分布。

  • Step 11–13:利用 Boxplot 篩查極端值,並依據 Outcome 分組繪製 Boxplot 與 Violin Plot,比較罹病與健康組群的數值中位數與密度差異。

  • Step 14:計算偏態係數與峰度(Kurtosis),判斷是否需進行對數轉換(Log Transform)。

階段三:相關性分析(Step 15 – Step 19)

  • Step 15–17:計算 Pearson 相關係數矩陣並繪製 Correlation Heatmap,依特徵對 Outcome 之相關性進行降冪排序,鎖定高預測潛力特徵(如 Glucose)。

  • Step 18–19:檢驗特徵間是否存在高度共線性(Multicollinearity),避免資訊重複干擾線性模型之權重判讀。

階段四:特徵工程 Feature Engineering(Step 20 – Step 28)

特徵工程是醫療 AI 最能體現「領域知識(Domain Knowledge)」的環節:

  1. 臨床切點分組特徵:

    • BMI 分組:過輕、正常、過重、肥胖。

    • Age 分組:年齡層級距劃分。

    • Glucose 分組:正常、前期糖尿病(Pre-diabetes)、高血糖。

  2. 醫學生理交互項(Interaction Terms):

    • BMI$\times$Age:觀察年齡老化與肥胖對胰島素抗性的加乘效應。

    • BMI$\times$Glucose:結合代謝負荷與血糖水平。

    • Pregnancies$\times$Age:評估妊娠次數與年齡交互風險。

  3. 異常 0 值修復:檢查血壓(BloodPressure)、皮膚摺疊厚度(SkinThickness)、胰島素(Insulin)與 BMI 之不合理數值 0,視為生理缺失值進行補值或處理。

  4. 特徵編碼:類別變數執行 Label / One-Hot Encoding,確保演算法能有效處理。

階段五:資料切分與標準化(Step 29 – Step 33)

  • Step 29–31:設定 Outcome 為標籤,使用 train_test_split 進行切分,並透過分層抽樣(Stratified Split)維持標籤比例一致。

  • Step 32–33:使用 StandardScaler 進行標準化,嚴格遵循「僅以訓練集 Fit,再 Transform 測試集」的原則,杜絕資料外洩(Data Leakage)。

階段六:模型建立與多元評估(Step 34 – Step 41)

評估五大機器學習模型在測試集上的分類效能:

  • 模型範疇:

    1. Logistic Regression (LR)

    2. Decision Tree (DT)

    3. Random Forest (RF)

    4. K-Nearest Neighbors (KNN)

    5. Support Vector Machine (SVM)

  • 全方位指標評估:Accuracy、Precision、Recall、F1-Score 及 ROC-AUC。

  • 視覺化比較:繪製五大模型的混淆矩陣(Confusion Matrix)及合繪 ROC 曲線(ROC Curve),客觀比較模型判別能力。

階段七與八:調參最佳化與 SHAP 解釋(Step 42 – Step 44)

  • Step 42:針對表現最優異的模型使用 GridSearchCV,以 ROC-AUC 為目標指標進行網格搜尋,找出最佳超參數組合。

  • Step 43–44:

    • 計算 Feature Importance 與 Permutation Importance,量化各特徵貢獻度。

    • 導入 SHAP (SHapley Additive exPlanations):繪製 SHAP Summary Plot,拆解每個特徵對預測機率是正向提升或負向抑制,徹底打開醫療 AI 的「黑盒子」,提供臨床端可信賴的決策支持。

📊 階段成果總結表

階段 (Step)分析核心 (Objective)主要動作與指令重點產出成果 (Output) 
01Data Quality Check

缺失值、重複值、資料型態檢驗

資料品質報告 (Data Quality Report)

02EDA

變數分布、類別比例、箱型圖與偏態檢視

探索性分析報告 (EDA Report)

03Correlation Analysis

計算 Pearson 矩陣、共線性與熱力圖

相關性矩陣圖 (Correlation Matrix)

04Feature Engineering

BMI/Glucose 分組、生理交互項、0 值修正

衍生新特徵清單 (New Features)

05Data Split & Scaling

訓練/測試切分、標準化、避免 Leakage

標準化資料集 (Training/Test Dataset)

06Modeling & Evaluation

訓練 LR, DT, RF, KNN, SVM 五大分類器

效能指標與 ROC/混淆矩陣 (Model Metrics)

07Hyperparameter Tuning

使用 GridSearchCV 進行超參數最佳化

最佳參數組合 (Best Parameters)

08SHAP Analysis

SHAP Summary Plot、特徵貢獻方向與總結

模型可解釋性報告 (SHAP Report)

💡 結語與臨床啟發

透過本專案 44 個步驟的完整梳理,我們重現了血液檢測特徵在糖尿病預測上的高準確性。更重要的是,結合醫學領域知識進行特徵工程(如年齡與 BMI 的交互作用)以及藉由 SHAP 模型解釋,能使 AI 預測結果轉化為具備臨床意義的洞見,為臨床早期篩檢與精準醫療輔助診斷提供堅實依據。