数据管道与数仓搭建
提供数据源、数据规模和时效要求,设计并编写采集、转换、校验与调度流程,产出数据管道和数仓方案。
功能与用途
适合将数据库、业务接口或事件流中的数据汇集到数据仓库、数据湖和实时分析平台。提供数据源结构、数据量、更新频率、目标存储及现有平台后,可获得架构方案、采集与转换代码、任务调度配置、数据质量检查和运维说明。既可搭建定时批处理,也可实现数据库变更同步、实时聚合,或改进已有管道的性能与成本。实际实施需要具备相关数据源和存储系统的访问权限,并在目标环境中验证。
适用场景
- 搭建业务分析数仓:将订单、用户和支付数据汇入数仓,编写增量转换与维度模型,为业务报表提供稳定数据。
- 建设实时事件管道:为 Kafka 事件流设计窗口聚合、乱序处理和目标库写入流程,支撑实时分析。
- 实现数据库变更同步:设计数据库变更捕获与增量同步流程,将业务数据持续同步到分析存储。
- 治理已有数据管道:针对任务失败、数据异常和运行成本问题,补充质量校验、监控告警及性能优化方案。
适用人群
- 数据工程师
- 数仓开发工程师
- 数据平台架构师
- 负责数据基础设施的后端工程师
使用步骤
- 说明数据来源、规模、时效和交付目标。
- 提供表结构、样例数据及现有平台信息。
- 确定存储架构、转换逻辑与调度方式。
- 生成管道代码、质量检查和监控配置。
- 在验证环境运行,检查数据正确性与性能。
开始使用
将需求和 Skill 名称发送给已连接 SkillPX MCP 的 AI 助手,核对适用工具和安装要求。
技术信息
- 分类
- 编程
- 适用工具
- Codex、Claude Code、OpenClaw、Hermes Agent、国内 Agent
- 使用难度
- 专业
- 版本
- main
- 最近更新
- 2026-11-03
- 文件数
- 3
- 安装包大小
- 自动生成 ZIP
- 安全检查
- 基础检查通过
Build scalable data pipelines, modern data warehouses, and real-time streaming architectures. Implements Apache Spark, dbt, Airflow, and cloud-native data platforms.
使用前准备
- 具备 SQL、Python 和数据库基础,能够阅读并运行数据处理代码。
- 准备数据源结构、样例数据、数据规模、更新频率和目标存储信息。
- 实际实施需有数据源、存储及调度平台的访问权限和验证环境。