Python电影数据可视化分析：从爬虫到交互看板的完整实战

简介基于Python的电影数据可视化分析系统是一份毕业设计级完整源码包面向计算机及数据分析专业学生覆盖豆瓣电影数据采集、SQLite存储、Flask后端接口与ECharts/BootStrap/WordCloud可视化展示的完整链路。包体共2000个文件以1684个Python脚本为核心涵盖爬虫、数据处理与业务逻辑另有124个HTML模板、93个JavaScript文件及18个CSS样式用于搭建交互式可视化页面11个PDF文档及若干配置与标记文件可辅助理解项目结构。压缩包约76.51MB目前已有1018人学习下载项目经过严格调试与高分评审可直接运行。下载后能获得一套完整可借鉴的毕业设计源码既可拆分学习爬虫模块与Flask路由写法也能复用其中可视化组件为相关电影数据分析项目提供快速改造基础。1. 电影数据可视化分析系统毕业设计最值得先把这三件事想清楚豆瓣Top250这类榜单几乎是做Python数据可视化分析最容易入手的真实数据集可很多同学把代码跑通了答辩却答不上来“为什么这么画”。这套基于Python的电影数据可视化分析系统本质是一条从数据采集、清洗、存储到展示的完整流水线抓取电影评分与票房用Pandas做聚合统计再用Matplotlib或Plotly把结果画成趋势图、分布图和可交互看板。它适合正在选题的应届生想要一个工作量适中、技术栈完整、能落到答辩PPT上的项目也适合刚学完Python基础、想拿真实数据练手的数据分析入门者。下面我按自己做过的一版方案把每一步的参数、验证方法和踩过坑的地方讲清楚。2. 数据从哪来电影数据采集的三条路线与清洗流程2.1 动手之前先把你到底要分析什么定成字段清单很多毕业设计做到一半推倒重来不是因为代码写不出来而是数据字段没想清楚就开爬。你要先确定分析目标想看评分随年份的变化还是看不同类型电影的评分差异或者看票房与评分之间有没有相关性。目标不同需要的字段完全不同。我一般会先列一张字段清单比如片名、上映年份、类型、导演、评分、评分人数、票房、片长、地区然后对着数据源一项项勾选。这样后面用Pandas做聚合时不会发现自己想分析的维度根本不在数据里。类型和票房这类字段Top250列表页并不直接提供常见做法是抓详情页补充或者合并一份公开的电影元数据集这也是为什么清洗阶段要把多来源数据拼在一起处理。如果你只想把毕业设计控制在一个月内做完建议第一版就锁定“评分 年份 类型 片名”四个字段其余等主线跑通再加。2.2 用 Requests BeautifulSoup 爬取豆瓣 Top250最小可跑代码数据源方面拿豆瓣Top250练手最合适因为列表固定25页、每页25条总量确定适合做技术验证。票房这类动态数据则可以从聚合网站的接口抓取但第一版不用碰接口签名直接用Requests加BeautifulSoup拿静态页面是最容易控制的方式。下面这段是我验证过的最小爬虫import time import requests from bs4 import BeautifulSoup headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36 } def fetch_douban_top250(): movies [] for start in range(0, 250, 25): # 分页参数start0是第一页每页25条 url fhttps://movie.douban.com/top250?start{start} resp requests.get(url, headersheaders, timeout10) resp.raise_for_status() # 非200状态直接抛异常不静默失败 soup BeautifulSoup(resp.text, html.parser) for item in soup.select(div.item): title item.select_one(span.title).get_text(stripTrue) rating item.select_one(span.rating_num).get_text(stripTrue) movies.append({title: title, rating: float(rating)}) time.sleep(1) # 每页间隔1秒避免请求过快 return movies代码的核心逻辑是构造分页URL用requests带请求头发GET请求再用BeautifulSoup按CSS选择器定位“div.item”节点从中提取片名和评分。参数上headers里的User-Agent必须带很多站点会拦裸requeststimeout设成10秒防止网络卡死range(0, 250, 25)对应豆瓣的常规分页规律start0是第一页start225是最后一页。只想验证脚本能不能跑通把range改成range(0, 25, 25)只抓第一页即可。time.sleep(1)是每页间隔一秒的限速策略别人能抓不代表你能一口气抓完有些反爬卡的是请求频率而不是请求头。爬下来之后不要急着分析先存成中间文件方便反复调试。我习惯用Pandas直接转成DataFrame再to_csv落盘import pandas as pd data fetch_douban_top250() df pd.DataFrame(data) df.to_csv(douban_top250_raw.csv, indexFalse, encodingutf-8-sig)这里encoding用utf-8-sig而不是utf-8是因为后面用Excel打开CSV时utf-8不带BOM会导致中文列名乱码这是踩过坑之后的习惯写法。indexFalse则避免把行号写进文件里读取时不会多出一列无用数据。2.3 数据清洗缺失值、重复项与字符串格式统一Top250的数据相对规整但真实场景里无论是自己爬的电影网站还是公开数据集下载的CSV往往乱得一塌糊涂。清洗阶段的三个固定动作是去重、补缺失、统一类型。import pandas as pd df pd.read_csv(douban_top250_raw.csv) # 1. 去重按片名和评分双字段判断避免同名不同片被误删 dup_mask df.duplicated(subset[title, rating], keepFalse) print(重复记录数:, dup_mask.sum()) # 2. 缺失值先看每列缺多少再决定填充还是删除 print(df.isna().sum()) df df.dropna(subset[title, rating]) # 关键字段缺失直接删 # 3. 类型统一评分转float上映年份从字符串中提取数字 df[rating] df[rating].astype(float) df[year] df[title].str.extract(r\((\d{4})\)).astype(Int64) df.head()duplicated加keepFalse会标出所有重复行打印出来确认是不是同一部电影的不同条目dropna只针对关键字段如果只是片长缺失直接删整行反而丢失信息year字段用正则从片名里提取四位年份比如“肖申克的救赎 (1994)”会提取出1994。这里用Int64而不是int是为了让缺失值保留为NA而不是变成0后边聚合时能直接发现异常。读取原始CSV时编码也可能不统一。你用utf-8-sig写出来的文件Pandas读的时候同样写encodingutf-8-sig即可但如果是老网站导出的数据可能是gbk编码读取要改成encodinggbk或者用errorsignore把非法字符过滤掉。报错时只会告诉你UnicodeDecodeError不会告诉你是哪个编码所以拿到文件先看前几行是什么字符这是我早期最常翻车的地方。每做完一步清洗打印一遍df.info()确认字段类型再往下一步。3. 用 Pandas 做聚合统计DataFrame 操作是分析的地基3.1 从 CSV 载入数据先看字段类型和分布数据清洗完存成CSV分析阶段第一步永远是“体检”。我每次都用df.info()和df.describe()两个方法开头前者看有没有空值和字段类型后者看数值列的分布是否正常。import pandas as pd df pd.read_csv(douban_top250_clean.csv, encodingutf-8-sig) df.info() print(df.describe()) print(df[year].value_counts().sort_index().tail(10))这段代码的输出能帮你快速发现三类问题一是rating列有没有超过10分的脏数据二是year列有没有提取失败的NaN三是样本在时间轴上是否均匀。value_counts().sort_index()按年份统计电影数量如果某年份出现0部后面的趋势图就会断档分析时要特别说明是数据源覆盖问题还是真实缺失。我特别推荐把“清洗后的中间表”和“原始数据”分开存比如douban_top250_raw.csv和douban_top250_clean.csv。因为清洗逻辑如果写错了可以直接对比两个文件定位是哪一步把数据改坏而不是重新爬一遍。这是血泪经验我大学时修改清洗规则时直接覆盖了原始文件想回溯根本没有后悔药。3.2 分组聚合按年份、类型、评分区间构造分析表接下来是聚合统计。整个可视化分析系统的核心分析表通常有三张按年份的评分均值与数量、按类型的评分均值与数量、按评分区间的分布。年份和类型这样写# 按年份聚合 year_stats ( df.groupby(year) .agg( 影片数(title, count), 平均评分(rating, mean), 最高评分(rating, max), ) .round(2) ) # 按类型聚合genres字段来自详情页抓取或公开数据集 type_stats ( df.explode(genres) .groupby(genres) .agg(影片数(title, count), 平均评分(rating, mean)) .sort_values(影片数, ascendingFalse) )groupby后接agg是Pandas管道操作的核心写法agg里用元组语法列名, 聚合函数构造命名列比直接mean()再rename要清爽。explode会把“剧情, 爱情”这种列表字符串拆成一列多行让一部电影归属到每个类型下统计。注意explode之前要确认genres字段已经是列表如果是字符串先df[genres] df[genres].str.split(,)转成列表。聚合字段与用途对应关系如下聚合维度使用的列聚合函数输出用途年份yearcount/mean/max趋势图类型genrescount/mean横向对比条形图评分区间ratingcut/count直方图数据聚合之后默认的index是年份或类型绘图前要reset_index()否则Pandas绘图时会把index当作x轴列名丢失后图例容易错乱。如果你拿到的数据源里类型字段是管道符“|”分隔而不是逗号split的时候要跟着改更麻烦的情况是类型字段本身是NULLexplode会直接报错稳妥做法是先df[genres] df[genres].fillna(未知)再切分。3.3 把清洗后的数据存进 SQLite方便复查和二次分析数据全部处理规整后不要只留在内存里。毕业设计答辩时经常被问“你的系统是怎么组织的”这时候能掏出一个数据库文件说明你有数据建模意识。SQLite是Python标准库自带的选择零配置一个文件搞定。import sqlite3 conn sqlite3.connect(movies.db) df.to_sql(movies, conn, if_existsreplace, indexFalse) year_stats.to_sql(year_stats, conn, if_existsreplace) type_stats.to_sql(type_stats, conn, if_existsreplace) conn.close()to_sql的第一个参数是表名if_existsreplace表示表已存在就删掉重建适合反复跑分析脚本的场景indexFalse针对原始数据表避免把行号存进去。聚合表自带年份或类型作为index所以这里保留index。之后复查数据时用pd.read_sql就能拿到子集比重新读CSV再过滤高效得多conn sqlite3.connect(movies.db) high_rated pd.read_sql( SELECT title, year, rating FROM movies WHERE rating 9.0 ORDER BY rating DESC , conn, ) conn.close() high_rated.head()这段SQL查出了评分9.0以上的影片用来快速验证前面清洗和聚合逻辑是否正确。把数据库文件、CSV和分析脚本分目录存放答辩演示时打开脚本就能一步跑通而不是靠临时操作这在答辩现场能省掉很多尴尬。4. 用 Matplotlib 和 Plotly 画图把分析结果画成能答辩的图4.1 中文字体配置出图前先解决“豆腐块”Matplotlib默认字体不含中文plt.title(年份趋势)显示出来全是方框这是电影数据可视化项目里最高频的问题。解法固定先配置rcParamsimport matplotlib.pyplot as plt import matplotlib matplotlib.rcParams[font.sans-serif] [Microsoft YaHei, SimHei, PingFang SC] matplotlib.rcParams[axes.unicode_minus] False # 负号显示为方块的问题上面按Windows和macOS环境列了候选字体Matplotlib会按顺序选第一个存在的。axes.unicode_minus必须设成False否则坐标轴负号“-”也会变成方块这个问题即使字体设对了也照样出现很多人查半天都想不到。如果你用的是Linux服务器需要先fc-list :langzh确认系统中文字体存在没有就手动装一个然后删掉~/.cache/matplotlib缓存再重跑。4.2 画评分分布直方图与年份趋势图两张图讲清数据全貌基础图有两张必画。第一张是评分分布直方图用于验证整体数据形态import matplotlib.pyplot as plt fig, ax plt.subplots(figsize(10, 5)) ax.hist( df[rating], bins16, range(0, 10), color#4C72B0, edgecolorwhite, alpha0.85 ) ax.set_title(Top250电影评分分布) ax.set_xlabel(评分) ax.set_ylabel(影片数量) ax.grid(axisy, linestyle--, alpha0.5) plt.tight_layout() plt.savefig(rating_dist.png, dpi200) plt.show()bins设为16是把0到10分成16个区间每个区间宽度0.625适合观察集中在7到9分的分布形态range(0,10)把横轴固定避免Matplotlib自动缩放把集中在高分的区域拉伸得过于“平坦”这一条很容易忽略。alpha用于半透明防止柱状图之间互相遮挡。图存成PNG时dpi给到200答辩投屏或者插到论文里都够清晰。第二张是年份趋势折线图展示各年评分均值的变化。由于前面聚合好的year_stats已经包含平均评分和影片数直接画就行但影片数太少的年份会造成噪音。我一般先过滤出影片数不少于3的年份trend year_stats[year_stats[影片数] 3] fig, ax plt.subplots(figsize(12, 5)) ax.plot(trend.index, trend[平均评分], markero, markersize4, linewidth1.5) ax.set_title(各年份平均评分趋势样本数≥3) ax.set_ylabel(平均评分) ax.set_xlabel(年份) plt.tight_layout() plt.savefig(year_trend.png, dpi200)过滤条件“影片数大于等于3”是为了避免个别年度只有一部高分片导致趋势线剧烈抖动看起来像数据失真。答题的时候可以主动解释这一点老师会觉得你对数据质量有意识。用df.plot(kindhist)自动画图确实快但答辩被问到“怎么调整坐标轴范围”就不好接所以上面统一用面向对象接口每个可调对象都显式暴露出来改起来清楚。4.3 用 Plotly 做可交互图表嵌入 HTML 在答辩时演示如果只交静态PNG毕业设计只能算“做了图表”离“可视化分析系统”还有距离。系统的卖点是交互能点击图例、有悬浮提示、能框选缩放。Plotly是Python里改造成本最低的交互方案参数和Matplotlib大致对应。import plotly.express as px fig px.scatter( df, xyear, yrating, colorrating, hover_data[title, 评分人数], title电影年份与评分分布, labels{year: 上映年份, rating: 豆瓣评分}, ) fig.write_html(movies_scatter.html) fig.show()px.scatter一行代码就有交互能力hover_data会在鼠标悬浮时显示片名和评分人数color参数绑定rating颜色从蓝到红渐变用来快速定位高分区域。write_html生成单个自包含的HTML文件答辩现场不需要装Python环境浏览器打开就能演示这是交互可视化最省事的交付形态。如果不满足于散点图plotly.graph_objects的写法可以做更精细的控制比如加范围滑块import plotly.graph_objects as go fig go.Figure( go.Scatter( xtrend.index, ytrend[平均评分], modelinesmarkers, name平均评分 ) ) fig.update_layout( xaxisdict(rangesliderdict(visibleTrue), typedate), yaxisdict(range[7, 9.5]), title年份趋势交互图可拖动缩放 ) fig.write_html(year_trend_interactive.html)go.Scatter构造折线图mode参数里linesmarkers表示线点一起画update_layout里xaxis加了rangeslider页面下方会出现一个可拖动的迷你条用来缩放年份范围这是论文里展示交互性的经典功能。typedate告诉Plotly横轴是日期类型否则年份会按普通字符串排列。5. 避坑指南电影数据可视化项目最常见的 5 个踩坑现场5.1 爬虫返回空列表不一定是反爬更可能是页面结构换了现象代码在别人那里能跑到自己这里输出空列表而且resp.status_code仍然是200。原因页面结构改版原来定位的div.item节点已经不存在或者请求返回的是一个验证页面。豆瓣这类动态页面偶尔会调整class命名教程里的选择器过几个月就失效。解决先把resp.text[:500]打印出来确认拿到的是页面HTML还是验证跳转页再用浏览器开发者工具重新复制CSS选择器核对div.item这类路径是否还存在于页面里。不要反复改header参数先确认自己能拿到正确HTML这是排查顺序的问题。5.2 中文乱码一个编码问题出现在三个位置现象CSV用Excel打开乱码Pandas读取时报UnicodeDecodeError图表标题显示成方框。原因写入时用utf-8读取时用gbk或者读取时忘了传encoding参数。Windows环境下Pandas默认编码跟系统区域相关容易踩中gbk与utf-8不一致的问题。解决写入统一用utf-8-sig读取时显式传encodingutf-8-sig如果数据源来自第三方CSV先用文本编辑器打开看编码再决定。SQLite内部存的就是UTF-8所以乱码大多发生在读写CSV这一层不要怀疑数据库。5.3 Matplotlib 中文字体显示为方框字体缓存是黑匣子现象按照教程设置了font.sans-serif重新运行脚本中文还是方框怎么改都不生效。原因字体名称写错了或者系统中没有对应字体文件又或者是Matplotlib字体缓存损坏。这个坑最玄学有时候配置完全正确但因为缓存了旧字体列表新配置不生效。解决用fc-list :langzh查看系统实际可用的中文字体名把rcParams里的名字改成系统里真实存在的确认无误后删除~/.cache/matplotlib目录下的缓存文件或者用matplotlib.font_manager._rebuild()强制重建缓存。按这个顺序排查基本一分钟内解决。5.4 年份聚合出现NaN组正则提取后类型没转对现象df.groupby(year)之后结果里多出一个NaN分组画趋势图时横坐标出现一个空白断点。原因用str.extract提取的年份是字符串类型缺失值也没有正确处理。groupby会把NaN当成一个独立分组聚合结果里就混入了年份缺失的样本。解决提取后先用astype(Int64)转成可空整数类型再dropna(subset[year])删掉缺失行。转换要放在groupby之前顺序错了就会复现这个坑。用Int64而不是int既能保留NA又不会把缺失值变成0避免0年这种脏数据混进图表。5.5 评分分布全挤在8到9分不是数据出错是数据源偏了现象直方图画出来所有柱子都挤在8到9分之间看起来没有区分度。原因Top250本身是高分榜单样本区间窄属于数据源的天然特征不是清洗逻辑写错了。如果直接按0到10等宽画图视觉上会显得信息量很小。解决在图表标题里注明“数据来源为Top250高分榜”同时把bins调小到10个区间或者改用累计分布曲线展示相对排名。答辩时主动说明样本偏高端反而能体现你对数据分布的判断。6. 进阶技巧用 Streamlit 把静态图升级成可筛选的电影分析看板到这里静态图表已经能支撑起一份答辩材料但如果想让系统观感更完整我会推荐最后一步把前面所有分析包进一个Streamlit应用。Streamlit不需要写前端用纯Python脚本就能生成带筛选器的交互页面。import streamlit as st import pandas as pd df pd.read_csv(douban_top250_clean.csv, encodingutf-8-sig) st.title(电影数据可视化分析) min_rating st.slider(最低评分, 0.0, 10.0, 7.0) recent st.checkbox(只看最近十年) display_df df[df[rating] min_rating] if recent: display_df display_df[display_df[year] 2015] st.dataframe(display_df) st.bar_chart(display_df.groupby(year)[rating].mean())运行命令是streamlit run app.py浏览器会自动打开本机端口。第一次跑通后可以继续加一个selectbox选类型、一个multiselect筛年份、一个download_button导出当前筛选结果。到这里你的系统不再是一个死板的图表文件夹而是一个能当场回答导师问题的分析工具。关于验证不要只靠眼睛看图。我交系统前会做一次数据核对对同一份数据用Excel的数据透视表重算年份均值与Pandas聚合结果对比误差在0.01以内才算通过。这个习惯能帮你把隐藏的groupby错误、重复统计问题全揪出来。以前我自己做过一版只重视“画图好看”的系统答辩时被老师问“怎么验证聚合结果”当场答不上来。后来我养成一个习惯每个图表都保存对应的中间数据表谁想看数据都能倒回去。这套流程看起来简单但每一步确实能落地、能被追问。希望帮到你。本文还有配套的精品资源点击获取