超大Excel数据高性能分析
针对万行至百万行Excel文件,采用流式读取与Parquet加速,完成低内存占用下的高效清洗、聚合与图表输出。
功能与用途
专门解决大规模Excel表格(1万至100万行以上)在读取与分析时容易遭遇的内存溢出(OOM)和超时问题。通过openpyxl流式分块读取、自动转换为Parquet列式存储以及字段类型降维优化,将原本沉重的超大表格快速转化为轻量结构,支持矢量化筛选、统计汇总及安全导出,大幅提升海量业务数据的处理速度与稳定性。
适用场景
- 百万行交易记录筛选:对百万级订单日志进行流式分块解析与矢量化筛选,快速导出高价值订单明细。
- 十万行销售数据汇总分析:将十万行以上的销售报表转为Parquet格式加速计算,生成区域分布聚合图表。
- 超大报表内存降维与导出:对海量列与行的文本数值进行类型压缩,以write_only模式安全导出结果。
适用人群
- 数据分析师
- 财务与运营人员
- Python开发者
- 商业智能(BI)工程师
使用步骤
- 调用轻量探测函数快速检查Excel结构与总行数,无需载入全量数据
- 依据行数策略选择普通转换或openpyxl流式分块转为Parquet缓存
- 通过字段类型自动降维优化内存,并执行矢量化数据过滤与统计
- 利用write_only模式或分块机制将分析结果安全写入新文件或输出图表
开始使用
将需求和 Skill 名称发送给已连接 SkillPX MCP 的 AI 助手,核对适用工具和安装要求。
技术信息
- 分类
- 办公
- 适用工具
- Codex、Claude Code、OpenClaw、Hermes Agent、国内 Agent
- 使用难度
- 进阶
- 版本
- main
- 最近更新
- 2026-09-30
- 文件数
- 3
- 安装包大小
- 自动生成 ZIP
- 安全检查
- 基础检查通过
万行以上 Excel 数据集的高性能分析引擎。提供 openpyxl read_only 流式读取(iter_rows 支持 10 万行以上)、Parquet 转换加速、内存优化、分块处理和大文件写入模式。**遇到以下任一情况就主动使用本 skill**:①数据行数 ≥ 10k(由 sn-da-excel-workflow 的行数评估步骤触发);②用户出现触发词:大文件 / 大数据量 / 性能优化 / 内存不足 / OOM / 百万行 / 十万行 / 流式读取 / Parquet / 分块处理 / large file / big data / streaming read / chunked processing;③直接使用 pd.read_excel() 导致超时或内存溢出;④用户明确要求对大规模数据集进行高性能处理。仅不用于:小于 10k 行的常规 Excel 分析(使用 sn-da-excel-workflow 即可)。