Python全栈开发：电子产品价格爬虫与可视化系统

1. 项目概述这个项目是一个典型的Web应用系统核心功能是通过Python网络爬虫抓取电子产品信息并将结果存储在MySQL数据库中最后通过Django框架实现可视化展示。整套系统涵盖了从数据采集、存储到展示的全流程是Python全栈开发的经典案例。我在实际开发中发现这类系统最大的价值在于解决了电子产品价格和参数信息的实时获取问题。相比人工查询自动化爬虫能大幅提高效率而可视化界面则让数据更直观易懂。2. 系统架构设计2.1 技术栈选型选择Python作为主要开发语言有几个关键考量丰富的爬虫生态Requests、BeautifulSoup、Scrapy等Django框架成熟的ORM和模板系统强大的数据可视化库Matplotlib、Pyecharts等数据库选用MySQL主要考虑成熟稳定社区支持完善与Django集成度高适合结构化数据存储2.2 系统模块划分系统主要分为三个核心模块爬虫模块负责数据采集和清洗数据库模块负责数据存储和管理可视化模块负责数据展示和交互3. 爬虫模块实现3.1 目标网站分析以京东为例分析电子产品页面结构商品列表页获取商品链接商品详情页提取价格、参数等关键信息需要注意检查robots.txt协议设置合理的爬取间隔处理反爬机制User-Agent、IP限制等3.2 爬虫代码实现使用RequestsBeautifulSoup组合import requests from bs4 import BeautifulSoup headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) } def get_product_info(url): try: resp requests.get(url, headersheaders) soup BeautifulSoup(resp.text, html.parser) # 提取商品名称 name soup.select(.sku-name)[0].text.strip() # 提取商品价格 price soup.select(.price)[0].text return { name: name, price: price } except Exception as e: print(f爬取失败: {e}) return None4. 数据库设计4.1 数据表结构主要包含两个核心表产品表(Product)id (主键)name (产品名称)price (价格)update_time (更新时间)产品参数表(Specification)id (主键)product_id (外键)spec_name (参数名)spec_value (参数值)4.2 Django模型定义from django.db import models class Product(models.Model): name models.CharField(max_length200) price models.DecimalField(max_digits10, decimal_places2) update_time models.DateTimeField(auto_nowTrue) def __str__(self): return self.name class Specification(models.Model): product models.ForeignKey(Product, on_deletemodels.CASCADE) spec_name models.CharField(max_length100) spec_value models.CharField(max_length200) def __str__(self): return f{self.spec_name}: {self.spec_value}5. 可视化模块实现5.1 前端页面设计使用Django模板Bootstrap实现响应式布局!-- products.html -- div classcontainer div classrow {% for product in products %} div classcol-md-4 div classcard div classcard-body h5 classcard-title{{ product.name }}/h5 p classcard-text价格: ¥{{ product.price }}/p a href/product/{{ product.id }} classbtn btn-primary查看详情/a /div /div /div {% endfor %} /div /div5.2 数据可视化使用Pyecharts生成价格趋势图from pyecharts.charts import Line from pyecharts import options as opts def generate_price_trend(product_id): product Product.objects.get(idproduct_id) records PriceRecord.objects.filter(productproduct).order_by(record_date) dates [r.record_date.strftime(%Y-%m-%d) for r in records] prices [float(r.price) for r in records] line ( Line() .add_xaxis(dates) .add_yaxis(价格走势, prices) .set_global_opts( title_optsopts.TitleOpts(titlef{product.name}价格走势), tooltip_optsopts.TooltipOpts(triggeraxis) ) ) return line.render_embed()6. 系统部署6.1 开发环境配置推荐使用虚拟环境python -m venv venv source venv/bin/activate # Linux/Mac venv\Scripts\activate # Windows pip install django requests beautifulsoup4 pyecharts mysqlclient6.2 生产环境部署使用NginxGunicorn方案安装依赖sudo apt install nginx pip install gunicorn配置Gunicorn服务gunicorn --bind 0.0.0.0:8000 yourproject.wsgi:applicationNginx配置server { listen 80; server_name yourdomain.com; location / { proxy_pass http://127.0.0.1:8000; proxy_set_header Host $host; } location /static/ { alias /path/to/your/static/files/; } }7. 常见问题与解决方案7.1 爬虫被封禁解决方案设置合理的请求间隔建议3-5秒轮换User-Agent使用代理IP池7.2 数据更新不及时优化方案设置定时任务CeleryRedis实现增量爬取添加价格变动提醒功能7.3 可视化性能问题优化建议添加缓存机制Redis对大数据集进行分页使用前端渲染替代后端渲染8. 项目扩展方向增加多平台数据对比功能实现价格预测算法添加用户收藏和比价功能开发移动端应用在实际开发中我发现定时任务的稳定性是关键。建议使用Supervisor来监控Celery worker进程确保爬虫任务能持续稳定运行。另外对于频繁变动的价格数据可以考虑使用WebSocket实现实时推送提升用户体验。