Crawl4AI 网页爬虫完整指南：把任意网站快速变成 LLM 友好的 Markdown

Crawl4AI 网页爬虫完整指南把任意网站快速变成 LLM 友好的 Markdown【免费下载链接】crawl4ai Crawl4AI: Open-source LLM Friendly Web Crawler Scraper. Dont be shy, join here: https://discord.gg/jP8KfhDhyN项目地址: https://gitcode.com/GitHub_Trending/craw/crawl4ai把一份 200 页的文档网站变成 RAG 知识库传统流程是写爬虫、处理 JS 渲染、等异步加载、清洗 HTML、转成文本每一步都可能卡住。Crawl4AI 是一个开源的 Python 网页爬虫库内置浏览器渲染与 BM25 正文过滤把网页直接转成 LLM 友好的 Markdown。你只写一行arun(url)剩下的渲染、去噪、格式化它自己完成。什么是 Crawl4AI定位与核心能力一句话定位面向大模型场景的开源网页爬虫与数据提取工具输出直接可进 RAG、智能体和数据管道的干净 Markdown。LLM 就绪的 Markdown标题层级、表格、代码块、编号引用生成即可用不需要二次转换。双模式结构化提取LLM 指令提取自然语言要什么出什么 CSS 选择器提取快、零成本可按字段选型。可控的深度爬取BFS/DFS 策略、同域限制、URL 模式过滤、最大页面数v0.8.0 起支持断点续爬。浏览器与反检测控制会话保持、代理、自定义请求头与 UA、JS 执行、截图支持 Chromium/Firefox/WebKit 多内核。零门槛部署pip install即用也可跑成 Docker 容器或 Docker API 服务无需额外密钥。3 步跑通第一个 Crawl4AI 爬虫确认环境是 Python 3.10然后执行安装pip install -U crawl4ai crawl4ai-setup # 自动装好浏览器依赖 crawl4ai-doctor # 自检环境装完运行这个最小例子import asyncio from crawl4ai import AsyncWebCrawler async def main(): async with AsyncWebCrawler() as crawler: result await crawler.arun(urlhttps://www.nbcnews.com/business) print(result.markdown) asyncio.run(main())它自动完成浏览器启动、JavaScript 渲染、正文过滤和 Markdown 生成你会看到一段干净的结构化 Markdown而不是带脚本和样式表的原始 HTML。嫌写代码麻烦也可以直接用 CLIcrwl url -o markdown一行命令出结果crwl url --deep-crawl bfs --max-pages 10则做一次深度爬取。上图展示了它的配置能力css_selector只取页面指定区域js字段执行脚本点击Load More按钮加载懒加载内容这些在下面的能力地图里会展开。能力地图四大功能模块各省哪一步Markdown 生成省掉清洗 HTML这一步内置 BM25 相关度算法识别正文主体剥掉广告、导航和页脚噪音输出带标题层级、表格与编号引用的 Markdown。你不用再写正则清理 HTML也不用在下游再清洗一轮文本。结构化数据提取省掉维护解析规则这一步LLM 模式用一句自然语言指令让模型直接输出 JSON支持所有主流 LLMCSS 选择器模式用 XPath/CSS 定位字段快速且零 LLM 成本。配套分块策略与基于余弦相似度的语义检索复杂提取需求也有对应方案。深度爬取省掉自己写爬虫队列这一步BFS/DFS 遍历策略可以限制同域、限定 URL 模式如只抓/product/路径、控制最大页面数。v0.8.0 起提供resume_state断点续爬长跑任务中断后接着上次继续不会推倒重来。浏览器与反检测控制省掉调浏览器和写反检测代码这一步支持管理用户自己的浏览器实例、保存登录态和 Cookie 的持久化会话、配置代理与自定义请求头/UA、执行 JS 并等待异步内容、随时截图排障。反爬强度高的站点可用这些控制项组合应对。凭什么做到架构原理点到为止异步浏览器池全异步 Python 架构基于 Playwright 管理浏览器实例池多个 URL 并发爬取v0.8.0 引入的prefetch模式通过预取 URL官方称 URL 发现速度可提升 5~10 倍。BM25 正文过滤用相关度算法打分而非写死选择器换网站也大多有效这是输出干净的关键。钩子体系请求前后、页面加载后、解析前等每个环节都可注入自定义逻辑特殊站点不用改库代码。部署形态本地库、Docker 容器、Docker API 服务三种方式任选v0.9 的 Docker API 默认开启鉴权并绑定回环地址自托管更安心。Crawl4AI 与 requests、Selenium、商用爬虫 API 的横向对比维度requests BeautifulSoupSelenium 手写解析商用爬取 API 服务Crawl4AI动态页面渲染不支持拿到空壳 HTML支持需自己写等待与定位支持内置浏览器自动渲染输出格式原始 HTML自己清洗原始 HTML按格式收费开箱即得 LLM 友好 Markdown反爬对抗手动改 UA基础伪装平台代打指纹伪装 代理轮换 行为模拟结构化提取手写解析规则手写解析规则部分支持LLM 提取 CSS 选择器双模式部署成本免费免费按量计费开源免费本地/Docker 自托管适用边界与选型建议什么场景别硬上适合RAG 知识库语料准备、文档站抓取、竞品与舆情监控、个人研究资料收集——核心诉求都是网页变干净文本。不适合目标站点有高防护盾如 Cloudflare 拦截级别时Crawl4AI 是工具不是破解服务建议换专业打码/代理服务组合或放弃。纯静态站点大批量抓取浏览器渲染在这里是负资产requests 更快更省资源。高频、大规模、要 SLA 的生产调用自托管资源上限有限可评估其 Docker API 模式或商用服务。深入资源与社区入口官方文档docs/md_v2/ 目录API 参考在 docs/md_v2/api/高级特性在 docs/md_v2/advanced/含反爬、代理、会话管理专章核心入口crawl4ai/async_webcrawler.py深度爬取策略代码crawl4ai/deep_crawling/Docker 部署与 API 服务deploy/docker/含安全迁移指南 deploy/docker/MIGRATION.md完整测试用例tests/ 目录可直接当示例跑社区GitHub 仓库 unclecode/crawl4ai5 万 Star官方 Discord 频道 discord.gg/jP8KfhDhyN问题直接贴复现代码最快下一步现在就能做的最低门槛行动装一下跑个 demo确认本地能出 Markdown 再谈集成pip install -U crawl4ai crawl4ai-setup跑通后从 docs/md_v2/core/quickstart.md 继续往下学或者打开 tests/general/test_async_webcrawler.py 照着真实用例配置第一个正式任务。【免费下载链接】crawl4ai Crawl4AI: Open-source LLM Friendly Web Crawler Scraper. Dont be shy, join here: https://discord.gg/jP8KfhDhyN项目地址: https://gitcode.com/GitHub_Trending/craw/crawl4ai创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考