网页内容抓取
零依赖、免密钥地抓取网页正文并转成文本,带安全校验。
功能与用途
这是一个轻量网页抓取工具,仅依赖 Python 标准库即可抓取公开网页并转为 Markdown 纯文本。它内置安全防护机制,自动阻断本地内网地址与敏感系统路径写入。你只需提供目标网址与可选保存路径,即可快速提取内容或批量保存。无需 API 密钥与第三方依赖包,但不适用于需 JavaScript 动态渲染的页面。
适用场景
- 网页正文预览与提取:无需安装第三方依赖,直接在终端快速抓取目标网页正文并转换成基础 Markdown 文本,用于查阅和临时分析。
- 公开网页资料本地存档:提供安全路径校验,将网络文章或技术文档抓取并保存到本地工作区,防范敏感系统目录写入与恶意请求。
- 多页面静态内容批量抓取:通过脚本循环抓取多个公开网址并保存为结构化文件,用于无 API 预算时的公开资讯汇总与知识沉淀。
适用人群
- 开发者
- 产品经理
- 内容运营
使用步骤
- 确认目标页面是静态可访问的
- 调用抓取并得到转换后的文本
- 写入到允许的存储路径
- 对动态渲染页面换用其他方案
- 批量抓取时自行加上限速
开始使用
将需求和 Skill 名称发送给已连接 SkillPX MCP 的 AI 助手,核对适用工具和安装要求。
技术信息
- 分类
- 编程
- 适用工具
- Codex、Claude Code、OpenClaw、Hermes、国内 Agent
- 使用难度
- 简单
- 版本
- 1.0.0
- 最近更新
- 2026-05-11
- 文件数
- 3
- 安装包大小
- 自动生成 ZIP
- 安全检查
- 基础检查通过
Fetch and save web content using only Python stdlib with URL and path validation, basic HTML-to-markdown conversion, and no API keys or external dependencies.
使用前准备
- 可运行标准库脚本的环境
- 目标页面的公开访问地址
依赖与权限
- 读取用户主动提供的内容