4.1万Star！这个Python爬虫把Cloudflare按在地上摩擦

️ 4.1万Star这个爬虫把按在地上摩擦有一个库, 它具备反反爬的功能, 其解析速度是 BS4 的 784 倍, 是以由多个 “” 组成。一、因为这个项目仅仅在短短 18 个月的时间里, 就能疯狂揽获 4.1 万 Star, 所以爬虫圈炸了如果你搞 爬虫你大概率经历过这些崩溃时刻往昔你所需的是, 诸多内容外加反反爬中间件以及代理池, 如此一套组合拳施展下来, 仅仅调试环境便得耗费半天时光。但现在一个库全搞定。那便是, 由安全研究员 Karim 所打造的「自适应 Web 框架」, 它在 2024 年 10 月才进行开源, 仅仅 18 个月, Star 的数量就飙升到了 4.1 万, 并且, 平均每天新增 75 个 Star在爬虫圈里, 它是最火的项目无疑二、为啥能这般火呢? 有着三项核心技术, 会使你 ️⃣ 那便是自适应解析引擎, 无论网站怎样去更改, 都无需惧怕。这是 最炸裂的特性。哪怕传统爬虫它写得极为好看, 然而一旦网站进行了这一次改版, 则全部都报废了。可是, 存在这样一种解析器呀, 它能够去学习网站构造以及结构上发生变化之处, 进而自主地重新确定你的那些元素指向什么地方。# 第一次爬取保存元素特征 products page.css(.product, auto_saveTrue) # 网站改版后自适应找回数据 products page.css(.product, adaptiveTrue)它背后运用的是智能相似度算法, True这个时候就会晤存元素的特征信息, 后续凭借True就能够自动进行匹配。简单来讲就是: 你的爬虫自此学会了「去寻访不一样的内容形式且精准识别找不同」。换言之也就是: 你的爬虫从这一刻开始掌握了「找不同」这一项技能。2️⃣ 四大 从普通请求到高难度反反爬全覆盖格外需要留意的是, 它具备那种开箱之后马上就能绕开验证的特性, 而这对于国内从事爬虫活动的玩家来讲, 绝对是一种迫切的需求。from scrapling.fetchers import StealthyFetcher # 一行代码绕过 Cloudflare page StealthyFetcher.fetch( https://nopecha.com/demo/cloudflare, solve_cloudflareTrue )3️⃣ 框架从单页面到大规模爬虫的无缝升级这 API 实现了完美克隆, 克隆对象有着特定设计, 不过它还附带了诸多现代特性, 这些特性数不胜数, 多到形成了一大堆。from scrapling.spiders import Spider, Response class QuotesSpider(Spider): name quotes start_urls [https://quotes.toscrape.com/] concurrent_requests 10 # 10个并发 async def parse(self, response: Response): for quote in response.css(.quote): yield { text: quote.css(.text::text).get(), author: quote.css(.author::text).get(), } result QuotesSpider().start() result.items.to_json(quotes.json)关键特性一网打尽# 多 Session 实战普通页面走快通道反爬页面走隐身通道 class MultiSessionSpider(Spider): def configure_sessions(self, manager): manager.add(fast, FetcherSession(impersonatechrome)) manager.add(stealth, AsyncStealthySession(headlessTrue), lazyTrue) async def parse(self, response: Response): for link in response.css(a::attr(href)).getall(): if protected in link: yield Request(link, sidstealth) # 走隐身模式 else: yield Request(link, sidfast)三、解析性能碾压比 BS4 快 784 倍以下数据来自官方基准测试100 轮取平均得出的结论清晰可循: 所具备的解析速度约等于某个数值除以另一个数值, 其程度竟然比某一情况要快上七百八十四倍, 并且比另外一种情形还要快十二倍。2.39毫秒与12.45毫秒相比, 自适应查找更是打败了竞品, 达到了快超过5倍之多的效果。四、更具骚气的是, 它能自带 CLI, 还结合 MCP 服务器命令行, 实现一键爬取。# 直接把网页内容导出为 Markdown一行代码不用写 scrapling extract get https://example.com content.md # 指定 CSS 选择器 隐身模式 scrapling extract stealthy-fetch https://nopecha.com/demo/cloudflare \ captchas.html --css-selector #padded_content a --solve-cloudflareMCP 服务器AI Agent 的爬虫助手这是, 在2025年加入的, 最为有意思的特性, 其自带MCP即Model服务器, AI Agent比如等, 可以直接调用, 用以执行网页爬取, MCP服务器会先使用提取目标内容, 仅把精华数据传递给AI, 大幅削减Token消耗以及成本。此页面更具趣味, 于其上, 尚有专有的 Agent Skill 能够进行安装五、安装使用# 基础解析引擎 pip install scrapling # 带 Fetcher 和浏览器 pip install scrapling[fetchers] scrapling install # 带 CLI Shell pip install scrapling[shell] # 全功能 pip install scrapling[all]要求 3.10有现成的 镜像docker pull pyd4vinci/scrapling六、项目速览