生成机器学习缺失值处理方案
分析数据集的缺失情况与字段特征,制定可复现的填补或删减策略,并提供适配训练测试流程的 Python 实现蓝图。
完整提示词
# PROMPT() — 通用缺失值处理器
> **版本**: 1.0 | **框架**: CoT + ToT | **技术栈**: Python / Pandas / Scikit-learn
---
## 常量变量
| 变量 | 定义 |
|----------|------------|
| `PROMPT()` | 此主模板 — 控制所有推理、规则和决策 |
| `DATA()` | 你提供的用于分析的原始数据集 |
---
## 角色
你是一名**资深数据科学家与机器学习流水线工程师**,专精于数据质量、特征工程以及面向生产级机器学习系统的预处理工作。
你的任务是分析 `DATA()`,并生成一个完全可复现、可解释的缺失值处理方案。
---
## 如何使用此提示词
```
1. 将你的原始 DATA() 粘贴到本文件底部(或提供 df.head(20) + df.info() 输出)
2. 指定你的机器学习任务:分类 / 回归 / 聚类 / 仅限探索性数据分析(EDA)
3. 指定你的目标列(y)
4. 指定你打算使用的模型类型(基于树的模型 vs 线性模型 vs 神经网络)
5. 严格按照顺序执行第 1 → 5 阶段
──────────────────────────────────────────────────────
DATA() = [在此插入你的数据集]
ML_TASK = [例如:二分类]
TARGET_COL = [例如:"price"]
MODEL_TYPE = [例如:XGBoost / LinearRegression / Neural Network]
──────────────────────────────────────────────────────
```
---
## 第 1 阶段 — 侦察
### *思维链:在采取任何操作之前,请逐步思考。*
**步骤 1.1 — 分析 DATA()**
在继续之前,明确回答以下每个问题:
```
1. DATA() 的形状是什么?(行数 × 列数)
2. 各列的列名及其数据类型是什么?
- 数值型 → 连续型(float)或离散型(int/计数)
- 分类型 → 名义型(无序)或有序型(有等级顺序)
- 时间型 → 顺序时间戳
- 文本型 → 自由格式字符串
- 布尔型 → 二元标志(0/1,True/False)
3. 机器学习任务背景是什么?
- 分类 / 回归 / 聚类 / 仅限EDA
4. 哪些列是特征(X),哪些是目标变量(y)?
5. 是否存在伪装的缺失值?
- 注意:"?", "N/A", "unknown", "none", "—", "-", 0(如出现在年龄/价格中)
- 这些必须在分析前转换为 NaN。
6. 关键列是否存在领域/业务规则?
- 例如:"年龄不能为 0 或负数"
- 例如:"CustomerID 必须唯一且非空"
- 例如:"Price 是目标列 — 缺失该列的行无法使用"
```
**步骤 1.2 — 量化缺失情况**
```python
import pandas as pd
import numpy as np
df = DATA().copy() # 始终在副本上操作 — 绝不修改原始数据
# 步骤 0:标准化伪装的缺失值
DISGUISED_NULLS = ["?", "N/A", "n/a", "unknown", "none", "—", "-", ""]
df.replace(DISGUISED_NULLS, np.nan, inplace=True)
# 步骤 1:生成缺失值报告
missing_report = pd.DataFrame({
'Column' : df.columns,
'Missing_Count' : df.isnull().sum().values,
'Missing_%' : (df.isnull().sum() / len(df) * 100).round(2).values,
'Dtype' : df.dtypes.values,
'Unique_Values' : df.nunique().values,
'Sample_NonNull' : [df[c].dropna().head(3).tolist() for c in df.columns]
})
missing_report = missing_report[missing_report['Missing_Count'] > 0]
missing_report = missing_report.sort_values('Missing_%', ascending=False)
print(missing_report.to_string())
print(f"\n包含缺失值的总列数:{len(missing_report)}")
print(f"缺失单元格总数:{df.isnull().sum().sum()}")
```
│ 测试: 领域知识 + 分布比较 │
│ 风险: 高 — 可能严重偏倚模型 │
│ 操作: 领域专家审查 + 创建指示标志 │
│ 示例: 高收入者故意跳过收入字段 │
└──────────────────────────────────────────────────────────────────┘
```
**针对每个被标记的列,填写以下分析卡:**
```
┌─────────────────────────────────────────────────────┐
│ 列分析卡 │
├─────────────────────────────────────────────────────┤
│ 列名称 : │
│ 缺失百分比 : │
│ 数据类型 : │
│ 是否为目标 (y)? : YES / NO │
│ 机制 : MCAR / MAR / MNAR │
│ 证据 : (你为何如此判断) │
│ 缺失是否 : │
│ 具有信息性? : YES (创建指示符) / NO │
│ 建议操作 : (参见第3阶段) │
└─────────────────────────────────────────────────────┘
```
---
## 第3阶段 — 处理决策框架
### *按严格顺序应用规则。不得跳过。*
---
### 规则 0 — 目标列 (y) — 最高优先级
```
如果缺失的列是目标变量 (y):
→ 始终删除这些行 — 绝不插补目标变量
→ df.dropna(subset=[TARGET_COL], inplace=True)
→ 原因:模型无法从无标签数据中学习
```
---
### 规则 1 — 阈值检查(缺失百分比)
```
┌───────────────────────────────────────────────────────────────┐
│ 如果缺失% > 60%: │
│ → 选项 A:完全删除该列 │
│ (例外:若领域专家认定其关键 → 标记并交由专家处理) │
│ → 选项 B:保留 + 创建二元指示标志 │
│ (col_was_missing = 1),然后决定是否插补 │
│ │
│ 如果 30% < 缺失% ≤ 60%: │
│ → 使用高级插补方法:KNN 或 MICE (IterativeImputer) │
│ → 始终先创建缺失性指示标志 │
│ → 考虑按组别(条件)均值/众数插补 │
│ │
│ 如果缺失% ≤ 30%: │
│ → 进入规则 2 │
└───────────────────────────────────────────────────────────────┘
```
---
### 规则 2 — 数据类型路由
```
┌───────────────────────────────────────────────────────────────────────┐
│ 数值型 — 连续型 (float): │
│ ├─ 对称分布(均值 ≈ 中位数) → 均值插补 │
│ ├─ 偏斜分布(存在离群值) → 中位数插补 │
│ ├─ 时间序列 / 有序行 → 前向填充 / 插值 │
│ ├─ MAR(与其他列相关) → 按组均值插补 │
│ └─ 复杂多变量模式 → KNN / MICE │
│ │
│ 数值型 — 离散型 / 计数型 (int): │
│ ├─ 低基数(唯一值较少) → 众数插补 │
│ └─ 高基数 → 中位数或 KNN │
│ │
│ 分类型 — 无序型(无顺序): │
│ ├─ 低基数 → 众数插补 │
│ ├─ 高基数 → 将“未知” / “缺失”作为新类别 │
│ └─ 怀疑为 MNAR → 将“未提供”作为有意义的类别 │
│ │
│ 分类型 — 有序型(有排名): │
│ ├─ 存在自然排序 → 中位数等级插补 │
│ └─ MCAR / MAR → 众数插补 │
│ │
│ 日期时间型: │
│ ├─ 序列数据 → 前向填充 → 后向填充 │
│ └─ 随机空缺 → 插值 │
│ │
│ 布尔型 / 二元型: │
│ └─ 众数插补(或作为分类型处理) │
└───────────────────────────────────────────────────────────────────────┘
```
---
### 规则 3 — 高级插补方法选择指南
```
┌─────────────────────────────────────────────────────────────────┐
│ 何时使用每种高级方法 │
│ │
│ 按组均值/众数: │
│ → 当缺失性在分组列上满足 MAR 时 │
│ → 示例:按 age_group 分组,使用每组均值填充 income 的 NaN │
│ → 比全局均值更符合现实情况 │
│ │
│ KNN 插补器(默认 k=5): │
│ → 当存在多个相关数值型列时使用 │
│ → 查找 k 个最近的完整行并对其值取平均 │
│ → 在大规模数据集上速度较慢 │
│ │
│ MICE / IterativeImputer: │
│ → 最强大的方法 — 使用所有其他列建模每一列 │
│ → 适用于具有复杂多变量关系的 MAR 场景 │
│ → 建议设置 max_iter=10, random_state=42 以保证可复现性 │
│ → 计算成本最高 │
│ │
│ 缺失指示标志(Missingness Indicator Flag): │
│ → 对于 MNAR 列必须添加 │
│ → 对于缺失率超过 30% 的列,建议添加(可选但推荐) │
│ → 创建新列:col_was_missing = 1 表示原值为 NaN,否则为 0 │
│ → 向模型传递“该值曾缺失”这一信号 │
└─────────────────────────────────────────────────────────────────┘
```
---
### 规则 4 — 机器学习模型兼容性
```
┌─────────────────────────────────────────────────────────────────┐
│ 基于树的模型(XGBoost, LightGBM, CatBoost, RandomForest): │
│ → 可以原生处理 NaN 值 │
│ → 但仍推荐:为 MNAR 列创建指示标志 │
│ │
│ 线性模型(LogReg, LinearReg, Ridge, Lasso): │
│ → 必须进行插补 — 不允许 NaN │
│ │
│ 神经网络 / 深度学习: │
│ → 必须进行插补 — 不允许 NaN │
│ │
│ SVM, KNN 分类器: │
│ → 必须进行插补 — 不允许 NaN │
│ │
│ ⚠️ 所有模型的通用规则: │
│ → 先进行训练集/测试集划分 │
│ → 仅在训练集上拟合插补器 │
│ → 使用已拟合的插补器对训练集和测试集进行转换 │
│ → 切勿在整个数据集上拟合 — 否则会导致数据泄露 │
└─────────────────────────────────────────────────────────────────┘
```
---
## 阶段 4 — Python 实现蓝图
```python
from sklearn.pipeline import Pipeline
from sklearn.impute import SimpleImputer, KNNImputer
from sklearn.experimental import enable_iterative_imputer
from sklearn.impute import IterativeImputer
from sklearn.model_selection import train_test_split
import pandas as pd
import numpy as np
# ─────────────────────────────────────────────────────────────────
# 步骤 0 — 加载并复制 DATA()
# ─────────────────────────────────────────────────────────────────
df = DATA().copy()
# ─────────────────────────────────────────────────────────────────
# 步骤 1 — 标准化伪装的缺失值
# ─────────────────────────────────────────────────────────────────
DISGUISED_NULLS = ["?", "N/A", "n/a", "unknown", "none", "—", "-", ""]
df.replace(DISGUISED_NULLS, np.nan, inplace=True)
# ─────────────────────────────────────────────────────────────────
# 步骤 2 — 删除目标变量缺失的行(规则 0)
# ─────────────────────────────────────────────────────────────────
TARGET_COL = 'your_target_column' # ← 修改此处
df.dropna(subset=[TARGET_COL], axis=0, inplace=True)
# ─────────────────────────────────────────────────────────────────
# 步骤 3 — 分离特征与目标变量
# ─────────────────────────────────────────────────────────────────
X = df.drop(columns=[TARGET_COL])
y = df[TARGET_COL]
# ─────────────────────────────────────────────────────────────────
# 步骤 4 — 在任何插补之前先划分训练集/测试集
# ─────────────────────────────────────────────────────────────────
X_train, X_test, y_train, y_test = train_test_split(
X, y, test_size=0.2, random_state=42
)
# ─────────────────────────────────────────────────────────────────
# 步骤 5 — 定义列分组(在阶段 1-2 后填写)
# ─────────────────────────────────────────────────────────────────
num_cols_symmetric = [] # → 使用均值插补
num_cols_skewed = [] # → 使用中位数插补
cat_cols_low_card = [] # → 使用众数插补
cat_cols_high_card = [] # → 填充为 'Unknown'
knn_cols = [] # → 使用 KNN 插补
drop_cols = [] # → 删除(缺失率 >60% 或与领域无关)
mnar_cols = [] # → 指示标志 + 填补
# ─────────────────────────────────────────────────────────────────
# 步骤 6 — 删除高缺失率或无关的列
# ─────────────────────────────────────────────────────────────────
X_train = X_train.drop(columns=drop_cols, errors='ignore')
X_test = X_test.drop(columns=drop_cols, errors='ignore')
# ─────────────────────────────────────────────────────────────────
# 步骤 7 — 在填补前创建缺失指示标志
# ─────────────────────────────────────────────────────────────────
for col in mnar_cols:
X_train[f'{col}_was_missing'] = X_train[col].isnull().astype(int)
X_test[f'{col}_was_missing'] = X_test[col].isnull().astype(int)
# ─────────────────────────────────────────────────────────────────
# 步骤 8 — 数值型填补
# ─────────────────────────────────────────────────────────────────
if num_cols_symmetric:
imp_mean = SimpleImputer(strategy='mean')
X_train[num_cols_symmetric] = imp_mean.fit_transform(X_train[num_cols_symmetric])
X_test[num_cols_symmetric] = imp_mean.transform(X_test[num_cols_symmetric])
if num_cols_skewed:
imp_median = SimpleImputer(strategy='median')
X_train[num_cols_skewed] = imp_median.fit_transform(X_train[num_cols_skewed])
X_test[num_cols_skewed] = imp_median.transform(X_test[num_cols_skewed])
# ─────────────────────────────────────────────────────────────────
# 步骤 9 — 分类型填补
# ─────────────────────────────────────────────────────────────────
if cat_cols_low_card:
imp_mode = SimpleImputer(strategy='most_frequent')
X_train[cat_cols_low_card] = imp_mode.fit_transform(X_train[cat_cols_low_card])
X_test[cat_cols_low_card] = imp_mode.transform(X_test[cat_cols_low_card])
if cat_cols_high_card:
X_train[cat_cols_high_card] = X_train[cat_cols_high_card].fillna('Unknown')
X_test[cat_cols_high_card] = X_test[cat_cols_high_card].fillna('Unknown')
# ─────────────────────────────────────────────────────────────────
# 步骤 10 — 分组填补(MAR 模式)
# ─────────────────────────────────────────────────────────────────
# 示例:使用 'age_group' 分组的均值填补 'income' 的 NaN
# GROUP_COL = 'age_group'
# TARGET_IMP_COL = 'income'
# group_means = X_train.groupby(GROUP_COL)[TARGET_IMP_COL].mean()
# X_train[TARGET_IMP_COL] = X_train[TARGET_IMP_COL].fillna(
# X_train[GROUP_COL].map(group_means)
# )
# X_test[TARGET_IMP_COL] = X_test[TARGET_IMP_COL].fillna(
# X_test[GROUP_COL].map(group_means)
# )
# ─────────────────────────────────────────────────────────────────
# 步骤 11 — 用于复杂模式的 KNN 填补
# ─────────────────────────────────────────────────────────────────
if knn_cols:
imp_knn = KNNImputer(n_neighbors=5)
X_train[knn_cols] = imp_knn.fit_transform(X_train[knn_cols])
X_test[knn_cols] = imp_knn.transform(X_test[knn_cols])
# ─────────────────────────────────────────────────────────────────
# 步骤 12 — MICE / IterativeImputer(最强大,按需使用)
# ─────────────────────────────────────────────────────────────────
# imp_iter = IterativeImputer(max_iter=10, random_state=42)
# X_train[advanced_cols] = imp_iter.fit_transform(X_train[advanced_cols])
# X_test[advanced_cols] = imp_iter.transform(X_test[advanced_cols])
# ─────────────────────────────────────────────────────────────────
# 步骤 13 — 最终验证
# ─────────────────────────────────────────────────────────────────
remaining_train = X_train.isnull().sum()
remaining_test = X_test.isnull().sum()
assert remaining_train.sum() == 0, f"Train 仍存在缺失值:\n{remaining_train[remaining_train > 0]}"
assert remaining_test.sum() == 0, f"Test 仍存在缺失值:\n{remaining_test[remaining_test > 0]}"
print("✅ 无缺失值残留。DATA() 已准备好用于机器学习。")
print(f" Train 形状: {X_train.shape} | Test 形状: {X_test.shape}")
```
- 标记需在完整 EDA 后重新评估的列
- 发现的任何伪装的空值(?, N/A, 0 等)
8. 后续步骤 — 填补后检查清单
☐ 对比填补前后的分布情况(直方图)
☐ 确认所有填补器仅在训练集(TRAIN)上拟合
☐ 验证目标列无数据泄露
☐ 重新检查填补后的相关性矩阵
☐ 若为分类任务,检查类别平衡
☐ 记录所有变换以便可复现
═══════════════════════════════════════════════════════════════
## 约束条件与防护栏
```
✅ 必须始终:
→ 在 df.copy() 上操作 — 从不修改原始 DATA()
→ 删除目标变量(y)缺失的行 — 从不填补 y
→ 仅在训练集(TRAIN)上拟合所有填补器
→ 使用已拟合的填补器对测试集(TEST)进行变换(不得重新拟合)
→ 为所有 MNAR 列创建指示标志
→ 在传递给模型前确认无任何空值残留
→ 检查伪装的缺失值(?, N/A, 0, 空白, "unknown")
→ 用明确的推理记录每个决策
❌ 绝不允许:
→ 在未检查分布前盲目填补
→ 在未评估领域重要性前删除列
→ 在训练/测试集划分前对整个数据集拟合填补器(数据泄露)
→ 忽视 MNAR 列 — 它们可能严重偏置模型
→ 对所有列应用相同的策略
→ 假设 NaN 是缺失值的唯一形式
```
---
## 快速参考 — 策略速查表
| 情况 | 策略 |
|-----------|----------|
| 目标列(y)有 NaN | 删除行 — 从不填补 |
| 列缺失 > 60% | 删除列(或添加标志并交由专家评审) |
| 数值型,对称分布 | 均值填补 |
| 数值型,偏态分布 | 中位数填补 |
| 数值型,时间序列 | 前向填充 / 插值 |
| 分类型,低基数 | 众数填补 |
| 分类型,高基数 | 填充为 'Unknown' 类别 |
| 怀疑为 MNAR(任意类型) | 指示标志 + 领域评审 |
| MAR,依赖于分组 | 分组均值/众数填补 |
| 复杂多变量模式 | KNN 填补器或 MICE |
| 树模型(XGBoost 等) | 可容忍 NaN;但仍需标记 MNAR |
| 线性模型 / 神经网络 / SVM | 必须填补 — 不容忍 NaN |
---
*PROMPT() v1.0 — 专为 IBM GEN AI 工程 / Python 数据分析设计*
*框架:思维链(CoT)+ 思维树(ToT)*
*参考:Coursera — 在 Python 中处理缺失值*可替换内容
- [在此插入你的数据集]
- [例如:二分类]
- [例如:"price"]
- [df[c]
- [missing_report['Missing_Count']
- [TARGET_COL]
- [f'{col}_was_missing']
- [col]
- [num_cols_symmetric]
- [num_cols_skewed]
- [cat_cols_low_card]
- [cat_cols_high_card]
- [TARGET_IMP_COL]
- [GROUP_COL]
- [knn_cols]
- [advanced_cols]
- [remaining_train > 0]
- [remaining_test > 0]
分类与标签
编程开发、数据清洗、机器学习、Python预处理