fastCRW CLI完全指南：用5个常用命令把网页变成干净的Markdown

【免费下载链接】crwFast, lightweight Firecrawl/Tavily alternative in Rust. Web scraper, crawler search API with MCP server for AI agents. Drop-in Firecrawl-compatible API (/scrape, /crawl, /search). 2.3x faster than Tavily, 1.5x faster than Firecrawl in 1K-URL benchmarks. 6 MB RAM, single binary. Self-host or use managed cloud.项目地址https://gitcode.com/gh_mirrors/cr/crw点击查看免费下载fastCRW 是一款用 Rust 编写的轻量级网页抓取工具它的fastCRW CLI是一个单二进制文件无需安装 Python 环境或启动服务器就能把任意网页一键转换成干净的 Markdown还能搜索、发现 URL 和整站爬取非常适合 AI Agent 和 RAG 数据管道。本文用 5 个最常用命令带你从零上手。为什么选 fastCRW快到离谱的网页抓取器在官方公开的 1000 URL 基准测试中fastCRW 的内容真实召回率Truth-Recall达到 63.74%超过了 Crawl4AI 和 Firecrawl同时 p90 延迟只有 4348ms空闲内存仅约 14 MB——这就是6 MB RAM、单二进制宣传背后的底气。召回率Truth-Recall单看这一项fastCRW 也领先两个主要对手测试的完整方法见 BENCHMARKS.md。一键安装 fastCRW CLI安装只需一条命令macOS / Linux、Intel / ARM 都支持curl -fsSL https://fastcrw.com/install | sh或者用 Rust 工具链安装cargo install crw-cli装好后运行任意命令验证比如crw --help 安装完成即可本地免费使用无需账号搜索等进阶能力可通过crw setup连接 Cloud 或本地后端。命令一直接传 URL网页秒变 Markdown这是使用频率最高的用法——不带任何子命令直接把 URL 丢给crw默认就会抓取页面并输出干净的 Markdown 到终端crw https://example.com它默认会自动剥离导航栏、页脚、广告等样板内容只保留正文。常用进阶参数参数作用--format json输出含元数据的 JSON7 种格式可选markdown / json / html / rawhtml / text / links / images-o page.md直接写入文件而不是打印到终端--js强制 JavaScript 渲染对付 SPA 单页应用--stealth隐身模式轮换 User-Agent 并注入浏览器样式请求头--raw关闭正文提取返回完整页面一条命令把网页存成本地 Markdown 文件crw https://example.com -o page.md下图是 fastCRW 在终端中的实际演示效果网页抓取与内容转换全过程一个很实用的细节crw采用两阶段抓取——先用纯 HTTP 快速请求如果发现返回的是空壳页面比如 JS 渲染的 SPA会自动升级到 JS 渲染器普通静态页面则完全省去启动浏览器的开销。这个逻辑可以查看 crates/crw-cli/src/commands/scrape.rs 中的实现。命令二crw scrape精确抓取你需要的部分显式的scrape子命令与默认模式参数完全一致但它是精细操作的正式入口。只抓正文CSS / XPath 选择器# 只提取文章主体 crw scrape https://blog.example.com --css article.post # 用 XPath 提取所有段落 crw scrape https://example.com --xpath //p本地 PDF 也能抓把参数换成磁盘上的文件路径fastCRW 会直接解析本地 PDF 并输出 Markdowncrw scrape ./paper.pdfAI 摘要配置好 LLM 后可以让它顺手把页面总结成要点crw scrape https://example.com --summary --prompt in 3 bullet points命令三crw search一条命令搜索全网crw search走 CRW Cloud 或你自建的搜索后端如 SearXNG把搜索结果直接打印到终端crw search rust web scraper对 LLM 管道最友好的是 JSON 模式——配合--fields只保留需要的字段一行就是一个结果直接喂给大模型crw search renewable energy 2024 --json --fields title,url,snippet --limit 3其他实用参数--limit 10控制条数、--category news限定分类、--time-range week限定时间范围-o results.json保存到文件。参数定义见 crates/crw-cli/src/commands/search.rs。命令四crw map不抓内容只发现 URL想爬一个网站前先摸底crw map通过sitemap 链接爬取双通道发现站点 URL但不抓取页面正文速度远快于完整爬取crw map https://example.com常用参数--depth 3控制链接发现深度默认 2--format json输出 JSON 数组而不是每行一个 URL--sitemap-only/--no-sitemap只用或不用 sitemap--limit 500限制发现的 URL 数量典型组合先map看清站点结构再挑出关键页面用crw scrape逐个转 Markdown。命令五crw crawl整站爬取变 Markdowncrw crawl从起始 URL 开始做 BFS 广度优先爬取每抓完一页就立即流式输出内容crw crawl https://blog.example.com --depth 2 --limit 10两个默认值帮你控制爆炸半径深度默认 2 层、页数默认 10 篇。可调参数参数默认值作用-d, --depth2最大爬取深度0 只抓起始页-l, --limit10最大页数-f, --formatmarkdown每页输出格式--rate-limit2.0每秒请求数礼貌爬虫限速--concurrency5并发请求数fastCRW 的 crawl 和 map默认遵守 robots.txt爬别人网站时请先确认权限。进阶小贴士setup 与 doctorcrw setup交互式向导一键连接 Cloud API 或配置本地 JS 渲染 / 搜索后端还会自动把 MCP server 注册到你已装好的 AI 编码工具Claude Code、Cursor 等。crw doctor只读诊断检查配置、渲染器、搜索、代理、端口是否就绪出问题会直接告诉你该怎么修可以放心随时运行。完整命令清单含serve启动 REST API、mcp启动 MCP 服务器见 CLI 入口定义 crates/crw-cli/src/main.rs 和 crates/crw-cli/README.md。5 个常用命令速查表命令一句话用途crw URL网页 → 干净 Markdown默认模式crw scrape URL精细抓取CSS/XPath 选择器、本地 PDF、AI 摘要crw search query全网搜索输出 LLM 友好的 JSONcrw map URL快速发现站点 URL不抓正文crw crawl URLBFS 整站爬取深度页数双限从一行crw https://example.com开始几分钟内你就能把整站内容变成结构化的 Markdown 语料——这正是 fastCRW CLI 为 AI 时代准备的数据入口。赞分享【免费下载链接】crwFast, lightweight Firecrawl/Tavily alternative in Rust. Web scraper, crawler search API with MCP server for AI agents. Drop-in Firecrawl-compatible API (/scrape, /crawl, /search). 2.3x faster than Tavily, 1.5x faster than Firecrawl in 1K-URL benchmarks. 6 MB RAM, single binary. Self-host or use managed cloud.项目地址https://gitcode.com/gh_mirrors/cr/crw点击查看免费下载相关推荐CrewAI FirecrawlScrapeWebsiteTool 完全指南让 Agent 把任意网站抓成干净 MarkdownCrewAI FirecrawlScrapeWebsiteTool 完全指南让 Agent 把任意网站抓成干净 Markdown 本文基于 CrewAI 仓库人工智能大模型AI AgentAgent 框架多智能体Agent 编排RAGAgent 记忆工具调用markmap-cli 使用指南用命令行把 Markdown 一键生成思维导图markmap cli 使用指南用命令行把 Markdown 一键生成思维导图 markmap cli 是 markmap 项目中把 markmap lib前端数据可视化图表库CLIforgit 完全指南用 fzf 把 28 个 Git 命令变成交互式工具forgit 完全指南用 fzf 把 28 个 Git 命令变成交互式工具 forgit 是一个基于 fzf 的 Git 交互式工具集它把 git add创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考