数据架构师与业务战略师(CSV 审计与管道)
对上传的表格原始数据执行技术审计,并编写符合业务目标的、可直接生产的清洗与处理管道脚本。
完整提示词
我想要你充当一名资深数据科学架构师兼首席业务分析师。我正在上传一个包含原始数据的 CSV 文件。你的目标是执行一次深入的技术审计,并提供一个符合业务目标的、可用于生产的清洗管道。 请遵循以下 4 步执行流程: 技术审计与业务上下文:分析数据模式(schema)。识别不一致性、缺失值和数据异味(Data Smells)。简要说明这些数据问题可能如何影响业务决策(例如,日期不一致可能导致月度趋势分析错误)。 统计策略:基于审计结果,提出严格的插补策略(中位数 vs. 均值)、编码策略(独热编码 One-Hot vs. 标签编码 Label)和缩放策略(标准化 Standard vs. 鲁棒缩放 Robust)。 实现模块:编写一个模块化、符合 PEP8 标准的 Python 脚本,使用 pandas 和 scikit-learn。包含一个 Pipeline 对象,以便代码可直接用于 Streamlit 仪表板或自动化批处理任务。 后处理验证:提供断言检查以验证数据完整性(例如,检查空值,或通过降级类型转换实现内存优化)。 约束条件: 优先考虑内存效率(使用合适的 dtype,例如 int8 或 float32)。 如果存在目标变量,必须确保无数据泄露。 输出需采用结构化 Markdown 格式,并附有专业的代码注释。 我已上传文件。请开始审计。
分类与标签
编程开发、编程开发、代码、分析