Python爬虫实战：破解动态加载与反爬，批量获取王者荣耀高清皮肤素材

Python爬虫实战：破解动态加载与反爬，批量获取王者荣耀高清皮肤素材

发布时间：2026/8/26 1:35:53
Python爬虫实战：破解动态加载与反爬，批量获取王者荣耀高清皮肤素材 1. 项目概述与核心价值最近在整理一些游戏素材发现直接下载《王者荣耀》的英雄和皮肤图片费时费力官方渠道也没有提供完整的、高分辨率的图包。作为一个喜欢用技术解决重复劳动的程序员我第一时间就想到了用Python写个爬虫。这不仅仅是一个简单的数据抓取练习它背后涉及到对现代游戏官网反爬策略的分析、对动态加载内容的处理以及对海量媒体文件的高效管理。整个过程下来不仅能拿到一套完整的英雄皮肤素材库用于个人学习、创意设计参考或者搭建一个本地化的图鉴网站更重要的是能系统地实践网络爬虫从分析、破解到数据存储的全流程。无论你是刚学Python想找个有点挑战的实战项目还是需要批量获取游戏素材的设计师这篇从实战中踩坑总结出来的指南应该都能给你提供一条清晰的路径。2. 目标网站分析与爬虫策略设计动手写代码之前花时间把目标网站摸透是避免后期反复修改甚至功亏一篑的关键。我们的目标是“王者荣耀全英雄全皮肤图片”最直接的来源当然是其官方网站。2.1 目标数据源定位与反爬机制初探首先我们得找到数据在哪。访问《王者荣耀》官网的英雄资料页你会发现页面展示精美英雄列表和皮肤切换都很流畅。打开浏览器的开发者工具F12切换到“网络”Network选项卡然后刷新页面或点击英雄列表。你会观察到大量的网络请求其中关键的几类包括HTML主文档即我们看到的网页骨架。JavaScript文件负责页面的动态交互和数据加载。XHR/Fetch请求这是重点。当你滚动英雄列表或切换皮肤时会看到一些请求其响应是JSON格式的数据里面就包含了英雄的详细信息、皮肤列表以及最关键的高清图片链接。图片资源请求根据JSON数据中的链接浏览器再去请求具体的图片文件。核心发现英雄和皮肤的详细信息包括名称、ID、皮肤列表、图片URL是通过异步接口API动态加载的而不是直接写在初始的HTML里。这意味着传统的requestsBeautifulSoup解析静态HTML的方法行不通我们必须找到并模拟这些API请求。反爬策略应对这类大型网站通常会有基础的反爬措施例如请求头校验检查User-Agent判断请求是否来自真实的浏览器。参数签名API请求的URL中可能包含随时间或内容变化的加密参数如sign、timestamp用来验证请求的合法性。频率限制短时间内发起过多请求可能导致IP被暂时封锁。我们的策略是模拟浏览器行为找到数据接口解析JSON然后下载图片。2.2 核心数据接口的抓取与解析通过分析网络请求我们通常能找到类似https://pvp.qq.com/web201605/js/herolist.json这样的接口请注意此URL为示例实际接口可能已变更或需要特定参数。这个接口可能返回一个包含所有英雄基础信息的列表每个英雄项里会有一个heroId英雄ID和skin_name皮肤名称字符串如“苍天翔龙|忍·炎影|未来纪元|...”。然而仅有皮肤名字还不够我们需要每个皮肤对应的高清图片链接。进一步分析发现皮肤图片的链接往往有规律可循例如https://game.gtimg.cn/images/yxzj/img201606/skin/hero-info/{hero_id}/{hero_id}-bigskin-{skin_index}.jpg{hero_id}: 英雄ID{skin_index}: 皮肤序号通常从1开始1代表原皮肤2、3...代表各个皮肤。但更可靠的方法是找到另一个返回英雄详情的接口里面直接包含了每个皮肤的图片名。例如通过https://pvp.qq.com/web201605/herodetail/{hero_id}.shtml页面加载的某个JSONP或JSON接口。这里需要你耐心地使用开发者工具在英雄详情页的请求中筛选查找找到那个返回skin_id,skin_name,main_img等字段的接口。注意网站接口和参数可能随时变动。本文的核心是提供方法论和通用解决方案。在实际操作时你必须使用开发者工具进行实时分析找到当前可用的、正确的接口URL和必要的请求参数。2.3 爬虫架构规划基于以上分析我们规划爬虫的主要步骤获取英雄列表请求第一个接口拿到所有英雄的ID和名称。遍历英雄获取皮肤详情对于每个英雄ID请求其详情接口解析出所有皮肤的名称和对应的图片文件名或URL片段。构建图片真实URL并下载根据网站规则将图片文件名或片段拼接成完整的图片URL然后发起下载请求将图片二进制数据保存到本地。处理异常与实现延迟加入异常捕获try...except确保一个英雄或皮肤下载失败不影响整体流程。在请求之间加入随机延时如time.sleep(random.uniform(1, 3))模拟人类操作避免触发反爬。3. 核心工具选型与环境搭建工欲善其事必先利其器。选择合适、稳定的工具库能让开发过程事半功倍。3.1 Python库的选择与理由requests这是HTTP请求的绝对主力。它简单易用功能强大足以应对我们遇到的大部分场景设置请求头、传递参数、处理响应。相比于原生urllib它的API更加友好。安装pip install requestsBeautifulSoup4(可选)虽然核心数据来自JSON接口但初期探索阶段可能需要解析一些HTML页面来寻找接口线索。BS4是解析HTML/XML的利器。安装pip install beautifulsoup4lxml(可选)是BeautifulSoup的一个解析器后端速度比Python内置的html.parser更快。安装pip install lxmlos和jsonPython标准库内置。os用于创建目录、管理文件路径json用于解析接口返回的JSON数据。time和random用于在请求间设置随机等待时间这是礼貌爬虫的基本素养。为什么不首选ScrapyScrapy是一个强大的异步爬虫框架适合大型、结构复杂的爬取任务。对于我们这个目标明确、逻辑相对线性的项目来说使用requests配合循环的同步方式代码更直观更容易理解和调试对于初学者也更友好。当需要极致的速度或处理更复杂的管道Pipeline、中间件Middleware时再考虑Scrapy。3.2 开发环境配置建议Python版本推荐使用Python 3.7及以上版本确保库的兼容性。虚拟环境强烈建议使用venv或conda创建独立的虚拟环境。这能避免项目间的库版本冲突。# 使用 venv python -m venv venv_wangzhe # 激活 (Windows) venv_wangzhe\Scripts\activate # 激活 (macOS/Linux) source venv_wangzhe/bin/activate安装依赖在激活的虚拟环境中一次性安装所需库。pip install requests beautifulsoup4 lxml代码编辑器/IDEVSCode、PyCharm、Jupyter Notebook都可以。PyCharm在调试和代码提示方面体验更佳。3.3 项目目录结构规划在开始编码前规划好目录结构能让文件管理井井有条。wangzhe_crawler/ ├── main.py # 主程序入口 ├── config.py # 配置文件如请求头、基础URL、保存路径 ├── utils/ # 工具函数目录 │ ├── __init__.py │ ├── network.py # 网络请求相关函数如带重试的get请求 │ └── file_io.py # 文件保存相关函数 ├── data/ # 数据目录程序运行时自动创建 │ ├── heroes_list.json # 保存爬取的英雄列表可选用于缓存 │ └── images/ # 保存所有英雄皮肤图片 │ ├── 105/ # 以英雄ID命名的文件夹例如英雄“廉颇” │ │ ├── 1.jpg # 皮肤1原皮 │ │ ├── 2.jpg # 皮肤2 │ │ └── ... │ └── 106/ # 英雄“小乔” └── logs/ # 日志目录可选记录运行状态和错误这种结构将逻辑、配置、工具和数据分离便于维护和扩展。4. 爬虫核心代码实现与详解理论分析完毕现在进入实战编码环节。我们将一步步构建爬虫。4.1 基础配置与请求头模拟首先创建一个config.py文件来存放配置信息。# config.py import os # 基础URL示例需要根据实际分析替换 BASE_HERO_LIST_URL https://xxx.qq.com/xxx/herolist.json # 英雄列表接口 BASE_HERO_DETAIL_URL https://xxx.qq.com/xxx/herodetail/{}.json # 英雄详情接口{}用于格式化英雄ID BASE_IMAGE_URL https://xxx.qq.com/xxx/images/skin/{}{}.jpg # 图片基础URL{}{}分别代表英雄ID和皮肤ID/文件名 # 请求头模拟浏览器 HEADERS { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36, Referer: https://pvp.qq.com/, # 添加Referer表明请求来源有时是必须的 Accept-Language: zh-CN,zh;q0.9, } # 本地保存路径 SAVE_ROOT os.path.join(os.path.dirname(__file__), data) IMAGE_SAVE_DIR os.path.join(SAVE_ROOT, images) JSON_SAVE_DIR SAVE_ROOT # 确保目录存在 os.makedirs(IMAGE_SAVE_DIR, exist_okTrue) os.makedirs(JSON_SAVE_DIR, exist_okTrue) # 爬虫控制参数 REQUEST_TIMEOUT 10 # 请求超时时间秒 RETRY_TIMES 3 # 失败重试次数 DELAY_RANGE (1, 3) # 请求间隔延迟范围秒User-Agent是关键没有它服务器很可能直接拒绝请求或返回错误数据。Referer也经常被用于反爬校验。4.2 获取英雄列表在主程序main.py中我们首先实现获取所有英雄信息的函数。# main.py import requests import json import time import random import os from config import HEADERS, BASE_HERO_LIST_URL, JSON_SAVE_DIR, REQUEST_TIMEOUT, RETRY_TIMES, DELAY_RANGE def get_hero_list(): 获取全英雄列表 :return: 英雄列表每个英雄是一个字典包含id, name等字段 print(正在获取英雄列表...) for i in range(RETRY_TIMES): try: resp requests.get(BASE_HERO_LIST_URL, headersHEADERS, timeoutREQUEST_TIMEOUT) resp.raise_for_status() # 如果状态码不是200抛出HTTPError异常 # 假设接口返回的是JSON数组 hero_list resp.json() print(f成功获取到 {len(hero_list)} 个英雄信息。) # 可选将列表保存到本地JSON文件便于调试和缓存 list_path os.path.join(JSON_SAVE_DIR, heroes_list.json) with open(list_path, w, encodingutf-8) as f: json.dump(hero_list, f, ensure_asciiFalse, indent2) print(f英雄列表已保存至: {list_path}) return hero_list except requests.exceptions.RequestException as e: print(f第{i1}次尝试获取英雄列表失败: {e}) if i RETRY_TIMES - 1: wait random.uniform(*DELAY_RANGE) print(f等待{wait:.2f}秒后重试...) time.sleep(wait) else: print(获取英雄列表多次失败程序退出。) return None return None这段代码加入了重试机制和异常处理增强了鲁棒性。resp.json()方法直接将响应内容解析为Python对象列表或字典。4.3 解析英雄详情与皮肤信息获取到英雄列表后我们需要遍历每个英雄获取其详细的皮肤信息。这里假设我们通过另一个接口获取详情。def get_hero_detail(hero_id, hero_name): 根据英雄ID获取英雄详情特别是皮肤信息 :param hero_id: 英雄ID :param hero_name: 英雄名称用于日志 :return: 皮肤信息列表每个皮肤是一个字典包含skin_id, skin_name, img_url等 detail_url BASE_HERO_DETAIL_URL.format(hero_id) # 格式化URL print(f 正在获取英雄 [{hero_name}] (ID:{hero_id}) 的详情...) for i in range(RETRY_TIMES): try: resp requests.get(detail_url, headersHEADERS, timeoutREQUEST_TIMEOUT) resp.raise_for_status() detail_data resp.json() # 解析detail_data提取皮肤信息。这里的结构需要根据实际接口调整。 # 假设接口返回的JSON中有一个skins字段是皮肤列表 skins detail_data.get(skins, []) parsed_skins [] for skin in skins: # 皮肤对象可能包含skin_id, name, main_img (图片文件名) skin_info { skin_id: skin.get(skin_id), skin_name: skin.get(name, 未知皮肤), img_name: skin.get(main_img) # 例如 105-bigskin-1.jpg } parsed_skins.append(skin_info) print(f 解析到 {len(parsed_skins)} 个皮肤。) return parsed_skins except requests.exceptions.RequestException as e: print(f 第{i1}次尝试获取英雄[{hero_name}]详情失败: {e}) if i RETRY_TIMES - 1: time.sleep(random.uniform(*DELAY_RANGE)) else: print(f 获取英雄[{hero_name}]详情多次失败跳过。) return [] except json.JSONDecodeError as e: print(f 解析英雄[{hero_name}]的详情JSON时出错: {e}) return [] return []关键点detail_data.get(skins, [])使用了.get()方法这是一种安全的字典取值方式如果skins键不存在则返回空列表[]避免程序因KeyError而崩溃。解析逻辑需要你根据实际接口返回的数据结构进行适配。4.4 下载与保存图片文件拿到皮肤图片的文件名或URL片段后我们需要构造完整的图片URL并下载。def download_skin_image(hero_id, hero_name, skin_info, save_dir): 下载单张皮肤图片 :param hero_id: 英雄ID :param hero_name: 英雄名称 :param skin_info: 皮肤信息字典 :param save_dir: 图片保存的根目录 img_name skin_info.get(img_name) if not img_name: print(f 皮肤 [{skin_info.get(skin_name)}] 缺少图片名跳过。) return False # 构造完整的图片URL。这里有两种常见情况 # 1. img_name是完整文件名需要拼接基础URL: BASE_IMAGE_URL img_name # 2. img_name只是部分路径需要更复杂的拼接。这里假设是情况1。 img_url BASE_IMAGE_URL img_name # 注意根据实际情况调整拼接逻辑 # 创建英雄专属文件夹 hero_save_dir os.path.join(save_dir, str(hero_id)) os.makedirs(hero_save_dir, exist_okTrue) # 生成保存路径可以用皮肤ID或序号作为文件名 skin_id skin_info.get(skin_id) or unknown save_path os.path.join(hero_save_dir, f{skin_id}.jpg) # 如果文件已存在可以选择跳过 if os.path.exists(save_path): print(f 皮肤 [{skin_info.get(skin_name)}] 图片已存在跳过下载。) return True for i in range(RETRY_TIMES): try: print(f 正在下载皮肤 [{skin_info.get(skin_name)}] ...) img_resp requests.get(img_url, headersHEADERS, timeoutREQUEST_TIMEOUT) img_resp.raise_for_status() # 检查返回内容是否是图片 content_type img_resp.headers.get(Content-Type, ) if image not in content_type: print(f 警告返回内容不是图片可能是错误页面。Content-Type: {content_type}) # 可以尝试保存响应文本查看原因 # with open(save_path.html, w, encodingutf-8) as f: # f.write(img_resp.text) return False # 写入文件 with open(save_path, wb) as f: f.write(img_resp.content) print(f 成功保存至: {save_path}) # 下载后延迟一下避免请求过快 time.sleep(random.uniform(0.5, 1.5)) return True except requests.exceptions.RequestException as e: print(f 第{i1}次下载皮肤 [{skin_info.get(skin_name)}] 失败: {e}) if i RETRY_TIMES - 1: time.sleep(random.uniform(*DELAY_RANGE)) else: print(f 下载皮肤 [{skin_info.get(skin_name)}] 多次失败放弃。) return False return False这个函数包含了完整的下载逻辑URL拼接、目录创建、去重判断、请求重试、内容类型校验以及二进制文件保存。wb模式以二进制写入对于保存图片等非文本数据是必须的。4.5 主流程串联与进度控制最后我们将所有函数串联起来并添加一些进度提示。def main(): 主函数协调整个爬取流程 from config import IMAGE_SAVE_DIR # 1. 获取英雄列表 heroes get_hero_list() if not heroes: return total_heroes len(heroes) print(f\n开始遍历 {total_heroes} 个英雄...) success_count 0 for idx, hero in enumerate(heroes, 1): hero_id hero.get(heroId) or hero.get(id) # 根据实际接口字段名调整 hero_name hero.get(name) or hero.get(title) or f英雄_{hero_id} print(f\n[{idx}/{total_heroes}] 处理英雄: {hero_name} (ID: {hero_id})) # 2. 获取该英雄的皮肤详情 skins get_hero_detail(hero_id, hero_name) if not skins: print(f 英雄 [{hero_name}] 未获取到皮肤信息跳过。) continue # 3. 遍历并下载每个皮肤 skin_success 0 for skin in skins: if download_skin_image(hero_id, hero_name, skin, IMAGE_SAVE_DIR): skin_success 1 # 每个皮肤下载后稍作休息 time.sleep(random.uniform(*DELAY_RANGE) / 2) # 皮肤间延迟减半 print(f 英雄 [{hero_name}] 皮肤下载完成: {skin_success}/{len(skins)} 成功。) if skin_success 0: success_count 1 # 4. 每个英雄处理完后等待稍长时间减轻服务器压力 if idx total_heroes: # 最后一个英雄处理完不需要再等待 wait_time random.uniform(DELAY_RANGE[0] * 2, DELAY_RANGE[1] * 2) print(f 等待{wait_time:.2f}秒后处理下一个英雄...) time.sleep(wait_time) print(f\n{*50}) print(f爬取任务完成) print(f总计处理英雄: {success_count}/{total_heroes} 个成功获取到皮肤。) print(f所有图片已保存至目录: {os.path.abspath(IMAGE_SAVE_DIR)}) if __name__ __main__: main()主流程清晰明了获取列表 - 遍历英雄 - 获取详情 - 遍历皮肤 - 下载图片。加入了丰富的日志打印让你能实时了解爬虫进度。5. 高级技巧与反爬策略深化基础的爬虫写完后我们可能会遇到更复杂的情况。以下是几个进阶问题的处理思路。5.1 处理动态参数与签名验证如果目标接口的URL包含了像signabcdef123456...这样的参数说明服务器对请求进行了签名验证。直接使用固定的URL将无法获取数据。应对方法有逆向分析JavaScript找到生成sign的JavaScript代码用Python复现其算法。这需要一定的JS逆向能力可以使用浏览器开发者工具的“源代码”Sources面板进行调试。使用Selenium或Playwright模拟浏览器让无头浏览器如Chrome加载页面执行JS然后从浏览器内存中获取渲染后的数据或直接拦截网络请求。这种方法能绕过绝大多数前端加密但代价是速度慢、资源占用高。# 示例使用selenium获取页面内容需安装selenium和对应浏览器驱动 from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC options webdriver.ChromeOptions() options.add_argument(--headless) # 无头模式 driver webdriver.Chrome(optionsoptions) driver.get(英雄详情页URL) # 等待某个元素出现确保页面加载完成 element WebDriverWait(driver, 10).until( EC.presence_of_element_located((By.CLASS_NAME, hero-detail)) ) # 获取页面源码或执行JS获取数据 page_source driver.page_source driver.quit() # 然后用BeautifulSoup解析page_source寻找替代数据源有时游戏数据在第三方社区、Wiki或非官方的API中更容易获取且反爬较弱。但这涉及版权和可用性问题需谨慎。5.2 异步加速与连接池优化当英雄和皮肤数量很多时同步请求一个接一个会非常慢。我们可以使用aiohttp库进行异步并发请求极大提升下载速度。# 示例使用aiohttp进行异步下载需安装aiohttp import aiohttp import asyncio async def download_single_image(session, img_url, save_path): try: async with session.get(img_url) as response: if response.status 200: content await response.read() with open(save_path, wb) as f: f.write(content) return True, save_path else: return False, fHTTP {response.status} except Exception as e: return False, str(e) async def download_all_images_async(image_tasks): # image_tasks 是一个列表每个元素是 (img_url, save_path) 元组 async with aiohttp.ClientSession(headersHEADERS) as session: tasks [download_single_image(session, url, path) for url, path in image_tasks] results await asyncio.gather(*tasks) return results # 在主程序中先收集所有要下载的图片任务然后一次性并发执行 loop asyncio.get_event_loop() results loop.run_until_complete(download_all_images_async(all_tasks))重要提醒异步虽快但务必控制并发数使用asyncio.Semaphore并向目标网站施加过大压力可能导致IP被封。同时异步编程的调试复杂度高于同步。5.3 错误处理与日志记录强化一个健壮的爬虫必须有完善的错误处理和日志记录。细化异常类型除了RequestException还可以捕获更具体的异常如连接超时、SSL错误等并采取不同策略如仅重试超时错误。引入日志模块使用Python内置的logging模块替代print可以方便地控制日志级别DEBUG, INFO, WARNING, ERROR并将日志输出到文件。import logging logging.basicConfig( levellogging.INFO, format%(asctime)s - %(name)s - %(levelname)s - %(message)s, handlers[ logging.FileHandler(crawler.log, encodingutf-8), logging.StreamHandler() # 同时输出到控制台 ] ) logger logging.getLogger(__name__) # 使用logger代替print logger.info(f正在获取英雄列表...) logger.error(f下载图片失败: {e}, exc_infoTrue) # exc_infoTrue可以打印异常堆栈实现断点续传将已成功处理的英雄ID记录到一个文件中如success_ids.txt。程序启动时读取这个文件跳过已完成的英雄。这在大规模爬取时非常有用。6. 常见问题排查与实战心得在实际操作中你几乎一定会遇到下面这些问题。这里是我踩过坑后的经验总结。6.1 问题速查表问题现象可能原因排查步骤与解决方案请求接口返回403 Forbidden或空数据1. 请求头特别是User-Agent不正确或缺失。2. 触发了频率限制。3. 接口需要特定的Referer或Cookie。4. 接口参数有签名验证。1. 检查并完善HEADERS确保User-Agent是有效的浏览器标识。2. 大幅增加请求延迟如5-10秒并考虑使用代理IP池。3. 在开发者工具中查看成功请求的Headers复制完整的Cookie和Referer到代码中。4. 尝试使用Selenium等工具模拟或进行JS逆向分析签名算法。resp.json()抛出JSONDecodeError服务器返回的不是JSON可能是HTML错误页面、验证页面或空内容。1. 打印resp.status_code和resp.text[:500]查看实际返回内容。2. 检查请求URL和参数是否正确。3. 可能是触发了反爬需要检查请求头、Cookie和频率。能获取到皮肤信息但图片下载下来是损坏的或很小如1KB图片URL构造错误或者该URL是一个默认图/占位图真实图片需要通过其他方式加载如CSS Sprite或另一个接口。1. 用浏览器直接打开代码生成的图片URL看是否能显示正确图片。2. 在开发者工具“网络”中找到真实高清图片的请求对比其URL与你构造的URL差异。3. 检查图片响应头Content-Length看大小是否合理。爬取一部分后突然全部失败IP地址被目标网站暂时封锁。1. 立即停止程序等待一段时间如半小时到几小时再试。2. 考虑使用代理IP。对于免费爬虫降低请求频率是最有效、最道德的方法。3. 在代码中加入更随机的延迟模拟人类的不规律操作。英雄或皮肤数据不全1. 接口返回的数据本身就不全如只返回了在售英雄。2. 解析逻辑有误漏掉了某些字段。1. 手动访问接口查看原始JSON数据是否完整。2. 检查解析代码特别是.get()方法使用的键名是否正确。使用print(json.dumps(data, indent2, ensure_asciiFalse))打印完整数据结构进行分析。6.2 实操心得与避坑指南“慢就是快”对于非商业、学习性质的爬虫把延迟设置得足够长比如2-5秒一个主要请求是避免被封最有效、最省心的办法。贪图速度往往导致中途失败得不偿失。保存中间结果在get_hero_list()和get_hero_detail()函数中将返回的JSON原始数据保存到本地文件。这样即使后面图片下载出错你也不必重新请求前两步可以直接从本地文件加载数据节省时间和流量也便于调试。尊重robots.txt在爬取前访问目标网站的/robots.txt如https://pvp.qq.com/robots.txt查看是否允许爬取相关路径。虽然这不是法律强制规定但这是良好的网络公民礼仪。版权与用途提醒爬取到的游戏图片资源其版权通常属于游戏公司。请仅将它们用于个人学习、研究或欣赏。切勿用于任何商业用途或公开大量分发以免引起法律纠纷。代码的适应性本文提供的代码是一个框架和思路。真正的挑战在于分析出当前可用的、正确的数据接口和URL生成规则。你需要具备根据实际情况调整代码的能力这才是爬虫工程师的核心价值。使用Session对象对于需要保持同一会话如携带Cookie的连续请求使用requests.Session()可以提高效率并自动管理Cookie。session requests.Session() session.headers.update(HEADERS) resp session.get(url) # 后续请求都用session最后当你成功运行爬虫看到data/images/目录下按英雄ID整齐排列的文件夹和精美的皮肤图片时那种成就感是无可替代的。这个过程不仅让你获得了一套数据更重要的是锻炼了你分析问题、解决问题和编写稳健代码的能力。如果在实际操作中遇到新的问题不妨回头仔细检查网络请求的每一个细节或者尝试换一种思路比如从移动端API、社区Wiki入手爬虫的世界里思路往往比代码更重要。