基于机器学习的北京二手房房价预测实战：从数据到模型的大作业完整指南

简介这份资源面向人工智能、机器学习方向的在校学生与自学者聚焦房价与二手房价格预测这一经典回归任务可用于毕业设计、期末大作业或课程设计场景。压缩包共26个文件约1.29MB包含15个Python脚本、2份CSV数据集、1个Jupyter Notebook、1份HTML分析报告以及若干JPG可视化图表、README与说明文档覆盖数据采集、清洗、建模到结果展示的完整链路。内容预览显示其中涉及北京二手房数据的爬取与分析配有链家、安居客等采集脚本便于理解真实数据来源与处理流程。代码注释较为充分新手也能对照运行部署门槛较低。目前已有161人学习下载适合希望快速获得可运行项目、参考建模思路与可视化呈现方式的读者也可作为课程答辩与文档撰写的素材。1. 从一份 98 分的房价预测大作业说起它到底能跑出什么如果你正在为人工智能大作业、机器学习课程设计或者毕业设计发愁手里又缺一份能直接跑通、有数据、有注释、还能讲清楚原理的项目那这份「基于机器学习的房价和二手房房价预测」资源包值得先看一眼。它不是那种只丢一个.ipynb让你自己猜的裸代码而是把数据集、爬虫脚本、可视化模块、HTML 分析报告和 README 一起打包了。核心场景很明确用北京二手房数据做回归预测顺带把数据采集、清洗、特征工程、模型训练和结果可视化串成一条完整链路。适合谁一是赶期末大作业的本科生二是需要快速搭出 demo 的转行者三是想拿一个真实房价数据集练手特征工程的新手。你拿到手最直接的价值是省掉从零找数据、洗字段、调包报错的那几天。2. 拆开压缩包文件结构和数据流怎么走2.1 目录里每个文件到底干什么先把资源包解压后的结构理清楚不然你打开 Jupyter 会不知道从哪下手。根据项目正文主目录下大致是这些内容文件/目录作用使用优先级北京二手房房价预测与分析.ipynb主分析 notebook含数据读取、清洗、建模、可视化最高先跑这个北京二手房房价预测与分析.html导出的静态报告方便没环境时看结果高对照检查lianjia.csv链家二手房原始数据高核心数据源anjuke.csv安居客二手房数据中可做补充或对比spiders/爬虫脚本目录含lianjia_scrapy_crawl、anjuke_scrapy_crawl中数据不够时自己补visuals.py可视化封装函数中改图时看ershoufang_*.JPG分析结果截图低写报告时引用README.md使用说明高先读一遍这个结构的好处是「数据—代码—结果」三层分离。你不需要先跑爬虫lianjia.csv已经能支撑完整建模。常见做法是先把 notebook 从头到尾执行一遍看哪一步报错再针对性修。2.2 数据字段和建模目标打开lianjia.csv典型字段包括小区名、户型、面积、朝向、楼层、装修、关注度、总价、单价、区域等。建模目标通常是预测总价或单价这是一个监督回归问题。为什么选回归而不是分类因为房价是连续值用均方误差、R² 这类指标衡量更合理。特征工程的重点在面积是数值户型要拆成室厅卫朝向和装修要做独热编码区域可以做目标编码或频率编码。这些在 notebook 里一般都有体现但你要知道每一步为什么这么做答辩时才不会被问倒。2.3 环境依赖和最小可跑配置这类项目通常依赖pandas、numpy、matplotlib、seaborn、scikit-learn部分可能用到scrapy跑爬虫。建议用 Python 3.83.10太新的版本某些包会出兼容问题。最小可跑配置不需要 GPU普通笔记本就能跑。先建虚拟环境再装依赖# 创建虚拟环境避免污染全局包 python -m venv house_env # 激活环境Windows 用 house_env\Scripts\activate source house_env/bin/activate # 安装核心依赖版本按实际报错微调 pip install pandas numpy matplotlib seaborn scikit-learn jupyter # 如果要跑爬虫再补 scrapy pip install scrapy逻辑说明虚拟环境是为了隔离依赖防止和你机器上其他项目的包版本打架。jupyter用来打开.ipynbscikit-learn是建模主力。参数上如果pip install卡住换国内镜像源但不要用来源不明的第三方包。装完后jupyter notebook启动浏览器打开对应目录即可。3. 从 CSV 到模型notebook 里每一步在做什么3.1 数据读取与缺失值处理notebook 开头一般是读取 CSV 和初步探查。你要重点关注缺失值比例和异常值。房价数据里常见缺失是装修、朝向、楼层异常值是单价过高或面积过小的「钓鱼房」。处理方式通常是缺失少的类别字段用众数填充缺失多的直接删列异常值用分位数截断或 IQR 过滤。import pandas as pd import numpy as np # 读取链家二手房数据注意编码中文数据常见 utf-8 或 gbk df pd.read_csv(lianjia.csv, encodingutf-8) # 查看缺失值比例决定填充还是删除 missing_ratio df.isnull().sum() / len(df) print(missing_ratio[missing_ratio 0]) # 对单价做分位数截断去掉极端高价和极低价 q_low df[单价].quantile(0.01) q_high df[单价].quantile(0.99) df df[(df[单价] q_low) (df[单价] q_high)] # 类别字段用众数填充 for col in [装修, 朝向]: if col in df.columns: df[col] df[col].fillna(df[col].mode()[0])逻辑说明quantile(0.01)和quantile(0.99)是经验阈值目的是把极端值挡在训练集外避免模型被少数样本带偏。众数填充适合类别字段因为房价数据里装修和朝向的分布相对集中。参数上分位数可以根据你的数据量调整数据少就放宽到 0.05 和 0.95。3.2 特征工程把「几室几厅」变成模型能吃的数字原始字段里很多是字符串比如「2室1厅」「南北」「精装」。模型只认数字所以要做编码。户型可以拆成三个数值列室、厅、卫。朝向和装修用独热编码或有序编码。区域字段如果类别太多用目标编码容易过拟合建议先用频率编码或直接独热。# 拆分户型假设格式为 2室1厅1卫 df[室] df[户型].str.extract(r(\d)室).astype(float) df[厅] df[户型].str.extract(r(\d)厅).astype(float) df[卫] df[户型].str.extract(r(\d)卫).astype(float) # 对朝向做独热编码只保留出现频率高的类别 top_orientation df[朝向].value_counts().nlargest(5).index df[朝向] df[朝向].where(df[朝向].isin(top_orientation), 其他) df pd.get_dummies(df, columns[朝向, 装修], drop_firstTrue) # 面积做对数变换缓解右偏分布 df[面积_log] np.log1p(df[面积])逻辑说明str.extract用正则从字符串里抠数字astype(float)是为了后续能参与运算。get_dummies的drop_firstTrue是避免虚拟变量陷阱保留 k-1 个类别。log1p是log(1x)防止面积为 0 时报错。参数上nlargest(5)是经验值类别太多会让特征维度爆炸。3.3 模型训练与评估为什么先用线性回归再上树模型notebook 里一般会先跑线性回归做 baseline再上随机森林或 XGBoost。线性回归的好处是可解释性强系数能看出面积、室数对房价的正负影响树模型的好处是能捕捉非线性和交互项。评估指标看 R²、MAE、RMSE。R² 越接近 1 越好但房价数据通常到 0.70.85 就不错了。from sklearn.model_selection import train_test_split from sklearn.linear_model import LinearRegression from sklearn.ensemble import RandomForestRegressor from sklearn.metrics import r2_score, mean_absolute_error # 选择特征列排除目标泄漏字段 features [面积_log, 室, 厅, 卫, 关注度] X df[features] y df[总价] # 划分训练集和测试集固定随机种子保证可复现 X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.2, random_state42 ) # 线性回归 baseline lr LinearRegression() lr.fit(X_train, y_train) lr_pred lr.predict(X_test) print(LR R2:, r2_score(y_test, lr_pred)) # 随机森林树数量从 100 起步 rf RandomForestRegressor(n_estimators100, random_state42) rf.fit(X_train, y_train) rf_pred rf.predict(X_test) print(RF R2:, r2_score(y_test, rf_pred)) print(RF MAE:, mean_absolute_error(y_test, rf_pred))逻辑说明train_test_split的random_state42是固定种子保证每次划分一致方便对比模型。n_estimators100是随机森林的树数量太少欠拟合太多训练慢100300 是常见区间。注意不要用单价去预测总价那是目标泄漏答辩时会被扣分。4. 避坑与排查跑这份代码最容易翻车的五个地方4.1 中文编码报错CSV 读进来全是乱码现象pd.read_csv后列名或内容显示\xe4\xba\x8c这类字符。原因文件编码不是 UTF-8可能是 GBK 或 GB18030。解决先试encodinggbk再试encodinggb18030还不行用chardet检测。4.2 特征里有字符串模型直接报 could not convert string to float现象fit时报类型错误。原因忘了对类别字段做编码或者编码后还有残留字符串列。解决在train_test_split前打印X.dtypes把所有object列处理掉。常见漏网之鱼是「楼层」这种带「低/中/高」的字段。4.3 R² 高得离谱接近 0.99现象模型评估结果异常好。原因目标泄漏比如用单价预测总价或者训练集和测试集有重复样本。解决检查特征列里有没有和标签直接相关的字段去重后再划分。房价数据 R² 到 0.85 以上就要警惕。4.4 爬虫脚本跑不动提示 403 或超时现象scrapy crawl启动后大量请求失败。原因目标站点有反爬或者脚本里的 URL 已失效。解决这份资源的核心价值在lianjia.csv爬虫只是补充。如果爬虫跑不通直接用现成 CSV 做建模不影响大作业主体。常见做法是加DOWNLOAD_DELAY和USER_AGENT但不要高频请求。4.5 notebook 里图表不显示或者中文变成方框现象matplotlib画图中文乱码。原因默认字体不支持中文。解决在 notebook 开头加两行配置指定中文字体。import matplotlib.pyplot as plt # Windows 用 SimHeiMac 用 Arial Unicode MS plt.rcParams[font.sans-serif] [SimHei] plt.rcParams[axes.unicode_minus] False逻辑说明font.sans-serif指定中文字体axes.unicode_minus解决负号显示为方块的问题。参数上Linux 环境如果没有 SimHei换成WenQuanYi Micro Hei。5. 进阶玩法把这份大作业改成能写进简历的项目5.1 用交叉验证替代单次划分单次train_test_split的结果波动大换成 K 折交叉验证更稳。cross_val_score一行就能跑答辩时也能体现你懂模型评估的严谨性。from sklearn.model_selection import cross_val_score # 5 折交叉验证评分用 R2 scores cross_val_score(rf, X, y, cv5, scoringr2) print(CV R2:, scores.mean(), ±, scores.std())逻辑说明cv5是把数据分 5 份轮流做验证。scores.std()反映模型稳定性标准差大说明模型对数据划分敏感。参数上数据量小用 5 折数据量大用 3 折就够。5.2 特征重要性分析找出影响房价的关键因素随机森林自带feature_importances_可以直接画条形图。这一步在答辩时很加分因为你能说清楚「面积和区域是主要驱动因素」。import pandas as pd # 获取特征重要性并排序 importance pd.Series(rf.feature_importances_, indexX.columns) importance.sort_values(ascendingFalse).plot(kindbarh) plt.title(特征重要性) plt.show()逻辑说明feature_importances_是树模型基于不纯度减少计算的重要性数值越大越关键。注意它偏向高基数特征所以独热编码后的类别特征可能被高估解释时要谨慎。5.3 把模型保存下来做一个简单的预测接口大作业如果只停在 notebook 里展示效果有限。用joblib把模型存成文件再写一个命令行预测脚本就能体现工程化思维。import joblib # 保存模型 joblib.dump(rf, house_price_model.pkl) # 加载并预测新样本 model joblib.load(house_price_model.pkl) new_house pd.DataFrame([{ 面积_log: np.log1p(89), 室: 2, 厅: 1, 卫: 1, 关注度: 50 }]) print(预测总价:, model.predict(new_house)[0])逻辑说明joblib比pickle更适合存 sklearn 模型压缩效率高。新样本的字段顺序必须和训练时一致否则预测结果会错得离谱。参数上面积_log要用同样的log1p变换不能直接填原始面积。5.4 写报告时怎么引用这份资源ershoufang_*.JPG是现成的可视化截图可以直接放进论文或 PPT。北京二手房房价预测与分析.html可以当附录证明你跑通了完整流程。README 里的说明可以改写成「项目部署与使用」章节。我一般会强制自己把 notebook 里的每个代码块都手动敲一遍而不是直接运行因为只有敲过才知道哪一步会报错、哪个参数需要改。从那以后我每次拿到别人的项目都先跑通再改不跑通不写报告。希望这份资源能帮你省下找数据和调环境的时间把精力放在模型解释和答辩准备上。本文还有配套的精品资源点击获取