Python数据分析加盟网：从爬虫到可视化揭秘行业规律

做加盟网的数据分析这件事起因很朴素我一直在想创业加盟这类信息表面上遍地都是机会实际上大多数人都看不透。就拿“1637加盟网”这类偏垂直的加盟信息平台来说品牌方、招商中介、想开店的小老板都在上面找资源但信息特别散报价口径也乱。我干脆把它当成一个真实的数据项目来练手从页面采集到数据清洗再一路做到可视化和业务口径解读最后产出一份能说明白“加盟行业到底在怎么收钱、怎么取名、怎么扩张”的分析报告。这个项目很适合正在学Python数据分析的人也适合做市场调研、连锁品牌研究、或者自己琢磨开加盟店之前想看点真实数据的同学。它不是一个教科书Demo而是一条能完整走通的链路爬虫拿数据、pandas清数据、可视化讲数据。只要你会一点Python基础跟着这套思路走基本能复现整个流程。接下来我把整条实操链路拆开讲包括方案为什么这么选、代码怎么写、图怎么做以及我踩过的那些坑。1. 项目设计先想清楚要分析什么再动手拿数据1.1 加盟行业数据的价值与痛点加盟行业本身信息不对称特别严重。品牌方手里的数据和招商平台展示的数据往往不是一回事各个分类下的加盟门槛、费用结构、门店规模也没有统一的行业统计口径。所以做这个项目的核心目标不是“把网页上的字段抓下来”而是把零散的展示信息整理成可比较、可交叉分析的结构化数据。具体来说我关心的无非这几个问题不同品类的加盟费大概在什么区间加盟费和品牌门店规模有没有相关性哪些区域是加盟品牌注册和扩张的热点品牌命名的用词有没有规律可循这些问题听起来都偏业务但它们决定了后续每一个字段怎么设计、每一个图表怎么画。数据分析项目最怕的就是上来先爬再说爬到一堆数据但不知道自己想回答什么问题最后只能做出一堆“看起来还行但没结论”的图表。1.2 技术方案选型技术栈我选的是很经典的一套组合Python 3 requests parsel pandas matplotlib pyecharts数据落地用SQLite和CSV双份。选这套组合的原因有三个第一requests加parsel足够轻。平台页面不是渲染特别重的单页应用直接拿HTML就能解析出核心字段没必要上无头浏览器。用无头浏览器反而容易被检测速度还慢。第二pandas做清洗和聚合分析效率极高尤其处理金额单位不统一、字段缺失这类脏数据简直是为这个场景量身定做的工具。第三pyecharts配合matplotlib既能做交互式的HTML图表也能做静态的高清图放进报告里。静态图适合写文章做对比交互图适合放在本地HTML里自己点着看两个都要。2. 数据采集从页面结构到字段设计的完整拆解2.1 摸清页面结构先把字段定好开始写爬虫之前我用浏览器开发者工具把列表页和详情页的HTML结构翻了一遍。这个平台的列表页长这样每个招商品牌是一张卡片卡片里能看到品牌名、加盟费、品类别、招商区域这些基础信息。点进详情页能看到更完整的字段比如加盟金、保证金、门店数、成立时间、直营店数量、适合经营场所、总部所在地这些。我最终确定的采集字段如下字段名说明示例brand_name品牌名称某某鸡排category一级品类餐饮美食sub_category二级品类炸鸡汉堡join_fee加盟费区间3-8万deposit保证金1万store_count门店数200家found_time品牌成立时间2015headquarter总部所在地上海recruitment_area招商区域全国字段设计的时候有两个容易被忽略的点。一是加盟费不要设计成单个数值要保留“区间”。因为这个平台上很多品牌报价是“3-8万”“面议”这种格式如果只取一个数字大量数据会被丢掉。区间拆成min_fee和max_fee两个字段清洗和分析的时候弹性就大多了。二是门店数千万不要直接存字符串。有的品牌写“500家”有的写“暂无”有的写“1000”解析的时候必须把数字部分抽出来不然没法做数值分析。2.2 页面遍历规则和请求策略列表页的URL规律很清晰页码直接对应URL里的参数。我通过range循环控制页数从第1页翻到第35页总共拿到了875个品牌的基础信息。这个体量对于加盟行业分析够用了毕竟是垂直平台不是全网数据。请求策略上我做了三件事第一request headers里带上完整的User-Agent和Referer别裸奔。很多反爬就是用UA特征做简单的拦截带上UA至少能过第一关。第二请求间隔控制在1到2秒随机sleep一下。这个平台的反爬不算强但频率太高压根没必要我们不是要打数据战只是想拿到足够的样本。第三加了一个简单的重试机制。网络抖动、服务器超时都会导致请求失败用try-except捕获异常后等3秒重试超过3次就放弃当前页码记录到日志里。这种“先跑通再说”的思路在数据采集阶段非常实用。2.3 解析逻辑的细节实现解析我用的是parsel库CSS选择器写起来比XPath直观。关键是定位列表页中每个卡片容器然后逐字段提取。列举一个列表页解析的核心片段import requests import parsel import pandas as pd def parse_list_page(html): selector parsel.Selector(texthtml) items [] # 每个品牌卡片都在 li.brand-item 节点下 for li in selector.css(li.brand-item): brand_name li.css(.brand-title::text).get().strip() category li.css(.cate-tag::text).get().strip() fee_text li.css(.fee-num::text).get().strip() store_text li.css(.store-num::text).get().strip() items.append({ brand_name: brand_name, category: category, fee_raw: fee_text, store_raw: store_text, }) return items # 循环取页 all_data [] for page in range(1, 36): url fhttps://example.1637.com/join/index-{page}.html resp requests.get(url, headersheaders, timeout10) if resp.status_code 200: all_data.extend(parse_list_page(resp.text)) print(f第{page}页已累计{len(all_data)}条) time.sleep(random.uniform(1, 2))这里有一个值得说的细节::text拿到的字符串经常带换行符和空格必须strip干净。还有品牌名和分类名里偶尔混入“加盟”“招商”这类词这些在清洗阶段要处理掉不能留在最终统计里。3. 数据清洗脏数据才是这个项目里最耗时间的环节3.1 金额单位怎么统一成万元加盟费这个字段是整个项目里最脏的字段没有之一。写“1-3万元”的、写“5万以下”的、写“50000元起”的、写“面议”的格式五花八门。我处理思路是先把所有金额统一成“万元”单位然后拆成min_fee和max_fee两个数值列。如果文本里包含“万”就把数字乘以1单位已经是万元。如果文本里只有“元”就把数字除以10000。存在“面议”或者空值的min_fee和max_fee直接填NaN。只有“XX万以上”这种单边格式max_fee填NaNmin_fee填这个XX。清洗代码大概是这样的import re def parse_fee_range(fee_str): if not isinstance(fee_str, str): return pd.NA, pd.NA if 面议 in fee_str or fee_str.strip() : return pd.NA, pd.NA if 以下 in fee_str: # 例如“5万以下” num_match re.search(r([\d.]), fee_str) if num_match: val float(num_match.group(1)) return 0, val if 以上 in fee_str: num_match re.search(r([\d.]), fee_str) if num_match: val float(num_match.group(1)) return val, pd.NA # 区间格式例如“3-8万” nums re.findall(r[\d.], fee_str) if len(nums) 2: return float(nums[0]), float(nums[1]) if len(nums) 1: return float(nums[0]), float(nums[0]) return pd.NA, pd.NA df[min_fee] df[fee_raw].apply(lambda x: parse_fee_range(x)[0]) df[max_fee] df[fee_raw].apply(lambda x: parse_fee_range(x)[1])做这个解析的时候我才真正感觉到钱这件事一旦经过运营人员的“美化表达”就会变得特别不规整。有人喜欢写“0.5-2万”有人喜欢写“5000-20000”还有人写“10万起”。起、以下、面议、元、万每个关键词背后都是一种套路这种细节是文档里学不来的。3.2 门店数、成立时间的数值化处理门店数比金额稍微干净一点但还是有“暂无”“200-300家”“1000”这些写法。处理思路同样是抽数字def parse_store_count(text): if not isinstance(text, str): return pd.NA nums re.findall(r\d, text) if not nums: return pd.NA # 优先取区间上限因为宣传口径里“200-300家”说明已经具备规模化 return float(nums[-1]) df[store_count] df[store_raw].apply(parse_store_count)成立时间字段相对规整大多是“2016年成立”。抽4位年份入库。个别品牌写的是“成立于2000年代”我就直接把这类样本标记为缺失因为模糊年代没法做数值分析硬凑反而影响结论。3.3 重复值处理和品类合并采集过程中会出现重复品牌同一个品牌在不同分类页面重复展示或者列表页和详情页各出现一次。去重逻辑我选的是brand_name headquarter组合判断因为品牌名可能重名加上总部地点才能确定是不是同一家。品类字段一开始很碎比如“餐饮美食-炸鸡汉堡”“餐饮美食-汉堡炸鸡”其实是一回事。我用前两层分类做主分类把细分的第三层合并掉最终归成餐饮、小吃、饮品、美妆、教育、服装、生活服务等十几个大类。合并后的分布更符合行业认知也不至于画饼图的时候出现几十个占比1%都不到的碎块。4. 数据分析与可视化落地让图表开口说话4.1 行业分布先看市场供应的结构清洗完数据后我用pandas做了一次分组统计把每个一级品类下的品牌数量、平均加盟费算出来。结果很有信息量品类品牌数量加盟费中位数万平均门店数家餐饮美食3366.8120小吃快餐1584.585饮品甜品1217.292美妆护肤628.556教育培训4810.530服装鞋包419.044用pyecharts画了一个柱状图横轴品类、纵轴品牌数量餐饮美食明显一骑绝尘占了近四成。这个结果和现实感受是对得上的加盟市场里餐饮永远是最热门的门类因为门槛相对低、回本周期短、大众接受度高。但再往下看一层就会发现更有意思的事虽然餐饮品牌数量最多加盟费中位数却不是最高的教育培训和美妆护肤反而更高。这说明餐饮品牌的供给很充足竞价充分所以费用被压下来了。而教培类加盟费高是因为课程体系、运营培训这些东西需要前期沉淀价格里有一部分是品牌“软实力”。4.2 加盟费分布用区间直方图看门槛差异我画了一张加盟费区间的直方图x轴是min_fee分箱y轴是品牌数量颜色按品类区分。这个图一出来就有个特别明显的现象5万以下加盟费的品牌占了将近一半5到10万之间又占了三成超过20万的只有不到10%。这说明加盟行业的整体门槛比很多人想象的低。但“低门槛”不意味着低风险因为真正花钱的地方往往在后期的运营、进货、房租和装修加盟费只是明面上第一笔钱。这种观察就是数据带来的增量价值——你光在平台上一家一家翻很难形成“全行业费用区间”这个整体概念但有了一组结构化的数据结论会自己浮出水面。4.3 加盟费与门店数散点图上藏着扩张逻辑用matplotlib画了一张散点图x轴是门店数y轴是加盟费中位数每个点代表一个品牌点的大小映射保证金金额颜色映射品类。结果发现加盟费低于3万的品牌门店数分布非常极端要么在个位数徘徊要么冲到500家以上。加盟费在10万以上的品牌门店数大多数不到100家属于典型的高客单价、慢扩张策略。真正门店数超过1000家的品牌加盟费基本集中在5到15万之间这个区间成了“规模化加盟”的黄金区间。这个发现非常有价值。做加盟决策的时候你完全可以反过来用如果看到某个品牌加盟费极其低门店数量又很庞大要多留个心眼去查查它的真实运营模式因为低加盟费背后极可能靠卖原材料和设备赚长期利润。4.4 门店规模与品牌成立时间老品牌稳新品牌冲我用透视表按成立时间分年份统计了每一年的平均门店数。折线图显示一个波动上升的趋势早些年成立的品牌门店数增长更平缓2018年后成立的品牌门店数中位数的方差大得多也就是说新品牌的两极分化特别严重——有的做到几百家店有的三年了还是几家店。给这个图配一个结论加盟行业不是越新越有活力而是新品牌的风险显著更高。品牌方拿着一个新创立没两年的品牌来招商本质上是拿你的加盟费当运营试验资金。4.5 品牌命名词频用词云看招商包装套路我还把品牌名做了一次分词和词频统计生成了一张词云图。结果里“皇”“御”“红”“旋风”“时代”这些高频词特别抓眼。用“皇”的餐饮品牌尤其多什么皇家鸡排、皇氏功夫煲仔一抓一大把。这个现象背后其实是加盟行业的定位焦虑品牌方想给你的第一印象是“总部有实力、背景有故事、产品有排面”所以命名上往大气、尊贵、年代感这些方向靠。你作为加盟商恰恰要警惕这种“包装过度”的名字因为它很可能掩盖了实际运营能力的不足。4.6 区域分布热力图总部扎堆现象把总部所在地按省份计数后我用地图做了一个热力展示。效果非常直观总部在广东、江苏、山东、河南的品牌数量领跑全国东部沿海省份明显多于西部。这个现象背后的逻辑不复杂加盟模式本质依赖供应链总部离供应链近、离消费市场近、离人力资源近才能撑起全国招商的物流成本和运营支持。反过来看如果一个做餐饮加盟的品牌总部设在没有产业配套的地区它的供应链成本必然高长期竞争力存疑。5. 实操记录与踩坑实录这些坑你大概率也会遇到5.1 反爬虫机制和应对方式这个平台的反爬不算强但有几个小机制确实需要绕一下。第一访问频率超过10次每秒时会出现验证码页需要自动识别或者手动过。我没有硬刚直接把请求间隔调到1.5到2秒实测完全够用。第二响应的编码一开始没有正确识别导致中文乱码。解决方式是先用resp.encoding resp.apparent_encoding试一下不行就手动指定目标站的charset。第三个别页面返回空列表不是被反爬而是该页本身就没有内容。这类情况要跳过而不是重试否则日志里会有一大堆无效错误。5.2 清洗时特别容易翻车的三个细节金额字段里混着“面议”如果直接dropna会导致近三分之一的品牌被删掉分析结论严重失真。我选择保留NaN但单独建一个fee_missing标记列这样后续分析可以对比有明码标价和无报价品牌的特征。门店数为0的情况也有多半是平台没录入不是真的0家店。做散点图前需要把0值替换成空值不然图里会堆一堆真实不存在的数据点。“加盟费区间”拆开后再看有些品牌min_fee和max_fee差了几十倍比如“0.5-30万”。这类数据极不稳定画箱线图时会把区间拉得特别宽直接影响视觉判断。我的处理是先保留但分析时单独标注成“宽区间品牌”不在常规统计里参与均值计算。5.3 可视化失真坐标轴截断和颜色陷阱第一次画柱状图的时候为了突出餐饮品类数量多我把y轴起点设在了100结果视觉上饮品和餐饮的差距被放大了好几倍看着像差了三倍实际只差了不到两倍。这种“坐标轴截断”是数据可视化的经典误区外行人看热闹内行人一眼就能看出问题。后来我强制要求自己画对比图一律从0开始除非有特别明确的原因。相关性分析图用颜色做第三维度的时候避免同时用红绿因为要考虑色盲读者。5.4 代码质量和数据管线设计在整个项目过程中我养成了一个习惯把数据采集、清洗、分析、可视化拆成四个独立脚本中间用CSV文件衔接。采集脚本输出原始CSV清洗脚本读入再输出clean CSV分析脚本读clean数据再输出图表。这样的好处是改任何一个环节的参数都不需要从头跑一遍全流程。还有一个建议是给CSV文件加一个抓取日期的后缀比如brands_data_20250101.csv。加盟平台的数据更新频率很高今天看到的收费区间下个月可能就变了保留多个时间快照可以做趋势分析这也是这个项目后续扩展的一个重要方向。6. 几个可以直接上手的扩展方向项目做完之后我其实只用了部分数据集。这些数据还有很多可挖掘的地方第一跟踪品牌加盟费的变化趋势。如果每个月跑一次采集把历史数据存下来就能对比同一品牌在不同时间点上的报价变化识别哪些品牌在悄悄涨门槛。第二爬取品牌详情页里的“招商政策”和“扶持政策”做文本情感分析和关键词提取。加盟商关心的不只是多少钱还有总部提供哪些培训、有没有选址支持、设备能不能自带这些才是决定要不要交钱的关键信息。第三把多个加盟平台的数据做交叉比对。同一个品牌在不同平台的报价往往不一样这种差异本身就是信息差可以做一套价格漂移检测识别品牌方的定价策略。第四结合地图API按城市维度拆解门店密度细到城市层级。品牌的门店分布究竟是“全国撒网”还是“区域深耕”通过城市分析一眼就能看出来。这些扩展方向不用换技术栈在现有数据管线上加几个模块就能跑。这也是我觉得这个项目做得值得的地方不只是一个一次性的爬虫Demo而是一套可以重复利用、持续积累的数据基础设施。最后说点个人体会。我在做这个项目之前对加盟行业的认知基本停留在“水很深”这种模糊感觉上拿完数据、画完图之后脑子里变成了一个结构化的判断体系什么品类收多少钱、钱花在哪里、品牌靠什么盈利这些都有了清晰脉络。数据分析和可视化最大的价值不在于做出多炫酷的图表而在于逼着你去回答那些原本只停留在感觉层面的问题。把这个过程跑通之后你再去看任何行业都会本能地去找数据、建结构、做对比这种思维方式才是做这个项目真正的收获。