Scrapling 指南：从 1 次 HTTP 请求到整站爬虫的 Python 抓取框架

Scrapling 指南从 1 次 HTTP 请求到整站爬虫的 Python 抓取框架【免费下载链接】Scrapling️ An adaptive Web Scraping framework that handles everything from a single request to a full-scale crawl! Dont be shy, join here: https://discord.gg/EMgGbDceNQ项目地址: https://gitcode.com/GitHub_Trending/sc/ScraplingScrapling 是一个 Python 网页爬虫框架同一套 API 覆盖静态请求、JavaScript 渲染抓取与 Cloudflare 验证绕过并提供可并发的整站爬虫框架适合想在一个库里完成请求、解析与批量采集的开发者。核心能力速览能力一句话说明Fetcher基于 curl_cffi 的 HTTP 请求默认模仿最新 Chrome 的 TLS 指纹与请求头DynamicFetcher启动真实 Chromium 或本机 Chrome 渲染 JavaScript 后返回页面StealthyFetcher内置反检测浏览器可自动解掉 Cloudflare 验证挑战自适应定位首次保存元素特征页面改版后按相似度重新找到同一元素Spider框架并发抓取、自动限速、断点续抓、代理轮换与 robots.txt 检查Selector解析器CSS、XPath、类 BeautifulSoup 三种写法可一键转 RAG 用 MarkdownScrapling 安装与首次运行环境要求 Python ≥ 3.10。默认pip install scrapling只带解析器要使用抓取器或爬虫必须装 extras 并下载浏览器运行环境。pip install scrapling[fetchers] scrapling install最小示例from scrapling.fetchers import Fetcher page Fetcher.get(https://quotes.toscrape.com) print(page.status) for q in page.css(.quote .text): print(q.get())你会看到状态码 200 和一串引文文本。返回的page本身就是解析器可以直接跑 CSS/XPath无需转成其他库。三种抓取器的取舍见选择指南。自适应定位改版后怎么找到元素目标站点改名 class 或调整结构写死的选择器就不再命中。Scrapling 的思路是先给元素存一份特征指纹之后按相似度匹配。机制分两阶段首次抓取时用auto_saveTrue把元素的特征属性写入本地 SQLite后续选择器失配时adaptiveTrue会取出存档特征在全页寻找相似度最高的元素。products page.css(.product, auto_saveTrue) # 保存元素特征 products page.css(.product, adaptiveTrue) # 改版后按相似度重新定位关键参数auto_saveTrue把当前选中元素的特征存入数据库不传则后续没有数据可匹配。adaptiveTrue选择器未命中时启用相似度查找默认关闭必须显式打开。adaptive_domain指定特征归属的域名站点改版时换了域名也能继续用旧数据。存储实现与替换自有数据库如 Redis的写法见自适应存储系统。Cloudflare 验证StealthyFetcher 参数怎么配StealthyFetcher在DynamicFetcher之上叠加了一组反检测逻辑清理 Playwright 痕迹、canvas 加噪、封堵 WebRTC 本地 IP 泄漏、修补无头模式检测。遇到挑战页时solve_cloudflareTrue会让它等验证通过后再把真实页面交给你。from scrapling.fetchers import StealthyFetcher page StealthyFetcher.fetch(https://target-site.com, solve_cloudflareTrue) print(page.status)solve_cloudflareTrue自动处理 Turnstile/Interstitial 挑战不设则拿到的是验证页本身。real_chromeTrue改用本机安装的 Chrome 启动浏览器指纹更接近真实用户。屏蔽广告域、代理、时区伪装等其余选项在stealthy 参数表里。批量抓取会话复用与断点续抓多页任务请改用 Session 类如StealthySession浏览器只启动一次后续请求复用同一实例每次请求都重新开浏览器开销会大得多。Spider 框架的 AutoThrottle 会根据每个域名的响应速度自动调整延迟被拦截或限流时自动加倍退避。长任务给.start()传入crawldir目录CtrlC 会保存进度之后用同一目录重启即从断点继续MySpider(crawldir./crawl_data).start()更多架构细节见Spider 架构说明。常见疑问问装好了为什么scrapling.fetchers导入报错默认安装只含解析器抓取器依赖[fetchers]extras且需要scrapling install下载浏览器运行环境两步都做完才能导入。问动态页面的文本为什么是空的页面在 JavaScript 执行完之前就返回了。给DynamicFetcher.fetch加network_idleTrue表示 500ms 内无网络请求才返回也可以传wait_selector等某个元素出现。问自适应定位为什么没生效先确认首次auto_saveTrue那次调用真的保存了数据且adaptive处于开启状态默认关闭。站点换过域名的话还要补adaptive_domain否则会被当成另一个站点处理。问抓取前要查 robots.txt 吗Spider 框架提供可选的robots_txt_obey开关会遵守 Disallow 与 Crawl-delay 指令采集公开数据时把频率控制在合理范围。选型与落地建议按页面内容如何产生选抓取器场景建议内容都在 HTML 里Fetcher足够最快最轻内容由前端脚本生成DynamicFetcher站点挂了 Cloudflare 等防护StealthyFetcher整站采集Spider搭配LinkExtractor不建议硬上的场景只是解析几段现成的静态 HTML直接用Selector或 lxml 即可不必引入完整框架。你的第一步挑一个你最近不好抓的页面先跑一次Fetcher.get确认目标内容是否就在 HTML 里。在就停在一次 HTTP 请求不在再逐级升级到DynamicFetcher和StealthyFetcher。【免费下载链接】Scrapling️ An adaptive Web Scraping framework that handles everything from a single request to a full-scale crawl! Dont be shy, join here: https://discord.gg/EMgGbDceNQ项目地址: https://gitcode.com/GitHub_Trending/sc/Scrapling创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考