AI Skill 大全

数据管道与数仓搭建

提供数据源、数据规模和时效要求,设计并编写采集、转换、校验与调度流程,产出数据管道和数仓方案。

功能与用途

适合将数据库、业务接口或事件流中的数据汇集到数据仓库、数据湖和实时分析平台。提供数据源结构、数据量、更新频率、目标存储及现有平台后,可获得架构方案、采集与转换代码、任务调度配置、数据质量检查和运维说明。既可搭建定时批处理,也可实现数据库变更同步、实时聚合,或改进已有管道的性能与成本。实际实施需要具备相关数据源和存储系统的访问权限,并在目标环境中验证。

适用场景

  • 搭建业务分析数仓:将订单、用户和支付数据汇入数仓,编写增量转换与维度模型,为业务报表提供稳定数据。
  • 建设实时事件管道:为 Kafka 事件流设计窗口聚合、乱序处理和目标库写入流程,支撑实时分析。
  • 实现数据库变更同步:设计数据库变更捕获与增量同步流程,将业务数据持续同步到分析存储。
  • 治理已有数据管道:针对任务失败、数据异常和运行成本问题,补充质量校验、监控告警及性能优化方案。

适用人群

  • 数据工程师
  • 数仓开发工程师
  • 数据平台架构师
  • 负责数据基础设施的后端工程师

使用步骤

  1. 说明数据来源、规模、时效和交付目标。
  2. 提供表结构、样例数据及现有平台信息。
  3. 确定存储架构、转换逻辑与调度方式。
  4. 生成管道代码、质量检查和监控配置。
  5. 在验证环境运行,检查数据正确性与性能。

开始使用

将需求和 Skill 名称发送给已连接 SkillPX MCP 的 AI 助手,核对适用工具和安装要求。

查看 MCP 接入说明

技术信息

分类
编程
适用工具
Codex、Claude Code、OpenClaw、Hermes Agent、国内 Agent
使用难度
专业
版本
main
最近更新
2026-11-03
文件数
3
安装包大小
自动生成 ZIP
安全检查
基础检查通过

Build scalable data pipelines, modern data warehouses, and real-time streaming architectures. Implements Apache Spark, dbt, Airflow, and cloud-native data platforms.

使用前准备

  • 具备 SQL、Python 和数据库基础,能够阅读并运行数据处理代码。
  • 准备数据源结构、样例数据、数据规模、更新频率和目标存储信息。
  • 实际实施需有数据源、存储及调度平台的访问权限和验证环境。

同类 Skill