用 Rube MCP 与 Composio Zenrows 工具包自动化网页抓取：awesome-codex-skills 技能实战指南

用 Rube MCP 与 Composio Zenrows 工具包自动化网页抓取awesome-codex-skills 技能实战指南【免费下载链接】awesome-codex-skillsA curated list of practical Codex skills for automating workflows across the Codex CLI and API.项目地址: https://gitcode.com/GitHub_Trending/aw/awesome-codex-skills本文是 awesome-codex-skills 仓库中 zenrows-automation 技能的完整技术指南。该技能通过 Rube MCP由 Composio 提供把 Zenrows 网页抓取 API 的能力接入 Codex 会话让 Agent 在几轮对话内完成发现工具 → 校验连接 → 执行抓取的完整自动化流程。读完本文你将掌握 Rube MCP 的接入方法、RUBE_SEARCH_TOOLS/RUBE_MANAGE_CONNECTIONS/RUBE_MULTI_EXECUTE_TOOL等核心工具的调用范式以及避免踩坑的关键约束。技能定位在 Codex 中给抓取能力装上协议Zenrows 是面向网页抓取场景的 API 服务而zenrows-automation技能解决的核心问题是如何让 Codex 稳定、安全、可复用地调用 Zenrows 工具。答案不是把工具写死在提示词里而是通过 MCPModel Context Protocol网关动态发现和执行工具——这正是本仓库中数百个 composio-skills 的通用架构如 composio-automation、composio-search-automation 均采用同一套 Rube 协议。技能声明frontmatter揭示了它的触发契约--- name: zenrows-automation description: Automate Zenrows tasks via Rube MCP (Composio). Always search tools first for current schemas. requires: mcp: [rube] ---name技能唯一标识安装后 Codex 以此识别。descriptionCodex 触发该技能的匹配依据——只要任务涉及自动化 Zenrows 操作该描述就会被命中。requires.mcp声明运行时依赖的 MCP 服务器为rube缺少它将无法工作。这与仓库 README.md 描述的 Codex 技能机制一致技能是模块化指令包Codex 只根据元数据决定何时触发加载正文后才展开详细步骤从而保持上下文精简。前置条件两条连接缺一不可在使用任何 Zenrows 工具之前需要同时满足两个前提Rube MCP 已连接确认会话中存在RUBE_SEARCH_TOOLS工具它是所有后续调用的入口。Zenrows 连接为 ACTIVE通过RUBE_MANAGE_CONNECTIONS建立并确认 Zenrows 工具包的连接状态为ACTIVE。此外技能反复强调一条铁律任何时候都要先调用RUBE_SEARCH_TOOLS获取最新工具 schema因为工具 schema 会随服务端演进而变化绝不能凭记忆硬编码。设置接入 Rube MCP 的四步接入过程非常简单无需申请任何 API Key在客户端配置中将https://rube.app/mcp添加为 MCP 服务器即可无需 API keys——只需添加端点即可工作。随后按顺序执行验证 Rube MCP 可用确认RUBE_SEARCH_TOOLS能正常响应。发起连接调用RUBE_MANAGE_CONNECTIONS工具包指定为zenrows。完成授权如果连接状态不是ACTIVE跟随返回的认证链接完成授权设置。确认状态在运行任何工作流之前确认连接状态显示为ACTIVE。工具发现一切从RUBE_SEARCH_TOOLS开始执行任何工作流之前必须先用自然语言用例去问出可用工具RUBE_SEARCH_TOOLS queries: [{use_case: Zenrows operations, known_fields: }] session: {generate_id: true}调用后会返回可用的工具 slug如抓取页面、提取结构化数据等操作的标识各工具的输入 schema推荐执行计划已知陷阱known pitfalls。注意session: {generate_id: true}首次调用生成新的会话 ID供后续所有步骤复用。如果已有会话则在后续调用中改为session: {id: existing_session_id}。核心工作流模式三步走技能的实操骨架是一个标准的三步工作流适用于任意 Zenrows 抓取任务。第一步发现可用工具用具体任务语义替换 use_case复用已有会话RUBE_SEARCH_TOOLS queries: [{use_case: your specific Zenrows task}] session: {id: existing_session_id}第二步检查连接状态RUBE_MANAGE_CONNECTIONS toolkits: [zenrows] session_id: your_session_id确认返回的 Zenrows 连接为ACTIVE后再进入执行阶段避免因连接失效导致整批调用失败。第三步执行工具RUBE_MULTI_EXECUTE_TOOL tools: [{ tool_slug: TOOL_SLUG_FROM_SEARCH, arguments: {/* schema-compliant args from search results */} }] memory: {} session_id: your_session_id执行要点tool_slug必须取自RUBE_SEARCH_TOOLS的搜索结果不能手写猜测arguments必须严格符合搜索结果返回的 schema字段名与类型逐一对应memory参数必须始终携带即使为空也要传{}session_id沿用工作流内部的同一会话 ID。已知陷阱清单六条实战红线技能明确列出的六条经验教训是自动化稳定性最关键的保障陷阱正确做法工具 schema 会变化永远先调用RUBE_SEARCH_TOOLS不要硬编码工具 slug 或参数连接状态未知执行前用RUBE_MANAGE_CONNECTIONS确认状态为ACTIVE参数类型不匹配严格使用搜索结果中的精确字段名和类型遗漏memory参数每次RUBE_MULTI_EXECUTE_TOOL调用都包含memory空则传{}会话管理混乱同一工作流内复用会话 ID新工作流再生成新 ID忘记翻页检查响应中的分页令牌持续拉取直到数据完整最后一条对抓取类任务尤其重要Zenrows 的列表类接口通常分页返回Agent 必须主动检查分页令牌并循环取完否则会静默丢失数据。快速参考表操作方式查找工具RUBE_SEARCH_TOOLS携带 Zenrows 相关 use case建立连接RUBE_MANAGE_CONNECTIONS工具包指定zenrows执行工具RUBE_MULTI_EXECUTE_TOOL使用搜索得到的工具 slug批量操作RUBE_REMOTE_WORKBENCH配合run_composio_tool()获取完整 schemaRUBE_GET_TOOL_SCHEMAS用于返回schemaRef引用的工具其中两条补充能力值得展开RUBE_REMOTE_WORKBENCHrun_composio_tool()适合需要编排多步抓取、批量处理 URL 列表的场景把多次工具调用收敛为一次远程工作台执行减少往返开销。RUBE_GET_TOOL_SCHEMAS当搜索结果中工具以schemaRef形式引用 schema 时用它拉取完整定义确保复杂参数结构如抓取配置、代理选项、渲染设置按最新格式传参。与仓库生态的关联同一协议千种工具包zenrows-automation并非孤立技能。在本仓库的 composio-skills 目录下数百个形如*-automation的技能如 amazon-automation、firecrawl-automation、apify-automation共享完全相同的 Rube MCP 协议。这意味着学会本技能即可举一反三掌握整个工具包家族的操作范式每个技能只是替换了toolkits名称与 use case 语义协议层完全一致底层的工具执行、连接管理、schema 发现逻辑均由 Rube MCP 统一承载Agent 无需感知各 API 的认证差异。从仓库 README.md 可以确认这套技能的安装方式将技能目录复制到$CODEX_HOME/skills/默认~/.codex/skills/后重启 Codex或在会话中直接描述任务Codex 会依据description元数据自动触发匹配的技能。结合 connect 技能可知Composio 生态还提供 CLI 形态的composio search/composio execute/composio link命令作为终端侧替代方案——MCP 网关与 CLI 是通往同一批工具包的两种通道。结语zenrows-automation展示了 Codex 技能与 MCP 网关组合的典型范式用声明式技能描述做什么用 Rube MCP 动态解决怎么做。对于抓取类自动化任务坚持先搜索、再校验连接、后执行、勤翻页的纪律即可在 Codex 会话中稳定复用 Zenrows 能力并将其无缝扩展到仓库中数百个同构的自动化技能上。本文依据仓库 composio-skills/zenrows-automation/SKILL.md 编写并参考 README.md 与 connect 等仓库文档佐证。【免费下载链接】awesome-codex-skillsA curated list of practical Codex skills for automating workflows across the Codex CLI and API.项目地址: https://gitcode.com/GitHub_Trending/aw/awesome-codex-skills创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考