高级数据工程师
世界级数据工程能力:建可扩展数据管道、ETL/ELT、数据基建,精通 Python/SQL/Spark/Airflow/dbt/Kafka 与现代数据栈。
功能与用途
该技能用于构建与优化生产级数据工程系统。用户提供业务数据源、计算引擎选型(如 Spark、dbt、Kafka)或 ETL/ELT 处理配置,技能将输出具备高吞吐、容错与监控能力的数据管道方案、数据建模规范及性能调优策略。适用于构建分布式批流一体处理、机器学习特征管道以及落实数据质量治理。使用前需具备 Python、SQL 及主流数据基础设施的操作基础。
适用场景
- 设计可扩展批流一体管道:针对大规模异构数据源,规划基于 Spark 与 Kafka 的摄取与转换流程,确保吞吐量与故障自愈能力。
- ETL 性能调优与成本优化:分析长耗时查询与集群资源瓶颈,调整分区策略与执行计划,降低云数据仓库计算与存储开销。
- 落地 DataOps 与数据质量监控:配置端到端自动化校验与告警机制,结合 dbt 与调度工具跟踪数据漂移与模式异常。
适用人群
- 数据工程师
- 后端
- 架构师
使用步骤
- 用 pipeline_orchestrator 建管道。
- data_quality_validator 校验。
- etl_performance_optimizer 调优。
- 接 Spark/Airflow/dbt/Kafka。
开始使用
将需求和 Skill 名称发送给已连接 SkillPX MCP 的 AI 助手,核对适用工具和安装要求。
技术信息
- 分类
- 编程
- 适用工具
- Codex、Claude Code、OpenClaw、Hermes、国内 Agent
- 使用难度
- 进阶
- 版本
- main
- 最近更新
- 2026-09-11
- 文件数
- 3
- 安装包大小
- 自动生成 ZIP
- 安全检查
- 基础检查通过
World-class data engineering skill for building scalable data pipelines, ETL/ELT systems, and data infrastructure. Expertise in Python, SQL, Spark, Airflow, dbt, Kafka, and modern data stack. Includes data modeling, pipeline orchestration, data quality, and DataOps. Use when designing data architectures, building data pipelines, optimizing data workflows, or implementing data governance.
使用前准备
- Python/SQL 环境
- 数据基建(Spark/Airflow 等)
依赖与权限
- 读取用户主动提供的内容