多模态音视频图文解析与生成
输入音频、视频、图像或PDF文件,借助Gemini多模态能力完成长音视频转写摘要、图表与表格结构化提取、物体检测及文生图,输出分析报告与结构化数据。
功能与用途
该能力基于 Google Gemini 2.0/2.5 系列模型的多模态 API,提供对音频、图像、视频和多页文档的一站式解析与生成能力。它支持最长 9.5 小时音频带时间戳转写与说话人分析、最长 6 小时长视频或 YouTube 链接的分段理解与问答、上千页复杂 PDF 的表格图表结构化提取(导出为 JSON/Markdown),以及目标检测、像素级分割与高画质文生图。配套提供了多媒体预处理、文档转换与批量调用脚本,能够帮助用户高效构建多模态内容处理流。
适用场景
- 长会议音视频转写与议程复盘:输入长达数小时的团队会议录音或远程会议视频录像,自动识别说话人并生成带时间戳的完整逐字稿与按议题归纳的要点决议。
- 跨页PDF财报与图表结构化提取:输入包含复杂嵌套表格、财务数据与图表的上百页行业报告PDF,通过视觉识别解析跨页数据并严格按JSON Schema输出结构化指标。
- 视频镜头拆解与多图视觉比对分析:输入长视频文件或多张现场检测图像,自动进行分镜检测、关键画面目标边界框定位、OCR文本提取及同构对比。
适用人群
- AI应用开发者
- 音视频创作者与自媒体运营者
- 多媒体数据分析师
- 需要批量处理复杂PDF的专业研究人员
使用步骤
- 在系统环境变量或项目根目录 .env 文件中配置 GEMINI_API_KEY
- 使用 media_optimizer.py 或 document_converter.py 对大体积音视频进行压缩分段,或将文档统一转为符合要求的 PDF
- 运行 gemini_batch_process.py 脚本并指定输入文件、处理任务类型(transcribe/analyze/extract/generate)与目标模型
- 指定输出格式(JSON/Markdown/CSV),从指定输出目录中获取解析出的文字结构化数据或生成的新图像
开始使用
将需求和 Skill 名称发送给已连接 SkillPX MCP 的 AI 助手,核对适用工具和安装要求。
技术信息
- 分类
- AI工作流
- 适用工具
- Codex、Claude Code、OpenClaw、Hermes、国内 Agent
- 使用难度
- 进阶
- 版本
- main
- 最近更新
- 2026-09-24
- 文件数
- 3
- 安装包大小
- 自动生成 ZIP
- 安全检查
- 基础检查通过
Process and generate multimedia content using Google Gemini API. Capabilities include analyze audio files (transcription with timestamps, summarization, speech understanding, music/sound analysis up to 9.5 hours), understand images (captioning, object detection, OCR, visual Q&A, segmentation), process videos (scene detection, Q&A, temporal analysis, YouTube URLs, up to 6 hours), extract from documents (PDF tables, forms, charts, diagrams, multi-page), generate images (text-to-image, editing, composition, refinement). Use when working with audio/video files, analyzing images or screenshots, processing PDF documents, extracting structured data from media, creating images from text prompts, or implementing multimodal AI features. Supports multiple models (Gemini 2.5/2.0) with context windows up to 2M tokens.
依赖与权限
- GEMINI_API_KEY
- 读取用户主动提供的内容