AI Skill 大全

网页内容抓取

零依赖、免密钥地抓取网页正文并转成文本,带安全校验。

功能与用途

这是一个轻量网页抓取工具,仅依赖 Python 标准库即可抓取公开网页并转为 Markdown 纯文本。它内置安全防护机制,自动阻断本地内网地址与敏感系统路径写入。你只需提供目标网址与可选保存路径,即可快速提取内容或批量保存。无需 API 密钥与第三方依赖包,但不适用于需 JavaScript 动态渲染的页面。

适用场景

  • 网页正文预览与提取:无需安装第三方依赖,直接在终端快速抓取目标网页正文并转换成基础 Markdown 文本,用于查阅和临时分析。
  • 公开网页资料本地存档:提供安全路径校验,将网络文章或技术文档抓取并保存到本地工作区,防范敏感系统目录写入与恶意请求。
  • 多页面静态内容批量抓取:通过脚本循环抓取多个公开网址并保存为结构化文件,用于无 API 预算时的公开资讯汇总与知识沉淀。

适用人群

  • 开发者
  • 产品经理
  • 内容运营

使用步骤

  1. 确认目标页面是静态可访问的
  2. 调用抓取并得到转换后的文本
  3. 写入到允许的存储路径
  4. 对动态渲染页面换用其他方案
  5. 批量抓取时自行加上限速

开始使用

将需求和 Skill 名称发送给已连接 SkillPX MCP 的 AI 助手,核对适用工具和安装要求。

查看 MCP 接入说明

技术信息

分类
编程
适用工具
Codex、Claude Code、OpenClaw、Hermes、国内 Agent
使用难度
简单
版本
1.0.0
最近更新
2026-05-11
文件数
3
安装包大小
自动生成 ZIP
安全检查
基础检查通过

Fetch and save web content using only Python stdlib with URL and path validation, basic HTML-to-markdown conversion, and no API keys or external dependencies.

使用前准备

  • 可运行标准库脚本的环境
  • 目标页面的公开访问地址

依赖与权限

  • 读取用户主动提供的内容

同类 Skill