淘宝用户行为分析：机器学习课设从数据到模型实战

简介面向Python机器学习课程设计与期末大作业场景这份项目以淘宝用户行为数据为核心提供从数据库脚本、Python分析实现到实验报告的一整套可复现方案。资源共3个文件压缩包约1012KB包含SQL数据脚本、Python源码与PDF实验报告SQL文件负责数据导入Python源码含详细注释覆盖数据清洗、行为分析与特征洞察等关键环节PDF报告系统阐述方案设计、分析过程与结论便于作业提交或答辩展示。已有980人学习下载适合需要快速搭建完整项目的初学者也适合作为高分课程设计参考。项目功能完善、部署简单能有效解决选题难、代码看不懂、报告不完整等常见问题兼具期末答辩与机器学习实战练手价值具备很高的实际应用与借鉴意义。1. 淘宝用户行为分析为什么它稳居机器学习课设热门选题第一梯队天池那份 UserBehavior 数据集可能是 Python 机器学习期末大作业里被复现最多的一个。原因很直白字段只有五个却能把「数据清洗、特征工程、建模预测、实验报告」这条链路完整走一遍难度刚好卡在课程设计的甜点上。这套资源做的就是这件事——一份跑得通的淘宝用户行为分析源码加一份对应的高分实验报告适合正在赶期末大作业、课程设计或者想快速跑通一个带用户预测场景的机器学习小项目的人。它解决的业务问题是根据用户过去七天的浏览、加购、收藏、购买日志预测用户接下来还会不会下单以及哪些用户值得进召回运营。先说结论这题表面上是建模题真正的门槛在数据泄露和正负样本不均衡两处处理好报告才撑得起高分。2. 数据先于模型UserBehavior 字段解读、清洗流程与第一轮 EDA拿到源码包先别急着跑模型。我拆过不少课设项目一大半翻车都发生在数据读入这一步——字段类型读错、时区没对齐、内存直接爆掉。这一章先把数据集讲清楚再给出一套可以直接照抄的清洗和采样流程顺便把实验报告里「数据探索」部分的图表基础打掉。2.1 五个字段的含义与三个常见误读UserBehavior 原始 CSV 没有表头列顺序固定常见读取方式是手动指定列名。五个字段的业务含义如下字段类型业务含义user_idint用户标识以它做行为聚合item_idint商品标识category_idint商品类目标识behavior_typestring行为类型pv 浏览、cart 加购、fav 收藏、buy 购买timestampintUnix 时间戳秒级这里有三处误读几乎每个新手都会踩。第一behavior_type 是字符串枚举不是数值直接 astype(int) 会报错得先映射成类别码。顺带说一句pv、cart、fav、buy 是四种不同类型的日志行不是同一条记录上的四个字段这跟电商数据分析里常见的宽表结构不一样。第二timestamp 是 Unix 秒级时间戳且不带时区它本身是 UTC 时间画日活曲线前要加 8 小时换算成北京时间否则活跃高峰会整体偏移。第三buy 是漏斗最底端行为行数通常比 pv 少一两个数量级样本天然不均衡后面建模必须处理。完整版本的数据集接近一亿行、两三个 GB对大多数课设场景来说直接全量读是不明智的。合理的做法是先按用户分层采样把规模压到百万行级别既保住了行为分布的完整性又让单机跑得动。2.2 从原始日志到分析用 DataFrame清洗与采样步骤我一般会按下面这段代码做读入、清洗、时间处理和采样。核心思路是先保证字段类型正确再转换时间最后按用户采样而不是按行采样。import pandas as pd # 原始 CSV 没有表头手动指定列名注意 timestamp 先别转 datetime columns [user_id, item_id, category_id, behavior_type, timestamp] df pd.read_csv(UserBehavior.csv, headerNone, namescolumns) # 清洗丢空值、去重、过滤行为数过少的用户 df df.dropna().drop_duplicates().reset_index(dropTrue) # 转成类别类型后面 groupby 统计时省内存 df[behavior_type] df[behavior_type].astype(category) # 秒级时间戳转成北京时间并拆出日期列方便后面按天切分 df[ts] pd.to_datetime(df[timestamp], units) pd.Timedelta(hours8) df[date] df[ts].dt.floor(D) # 按用户分层采样抽 5% 的用户保留其全部行为 users df[user_id].unique() sample_users pd.Series(users).sample(frac0.05, random_state42) df df[df[user_id].isin(sample_users)].copy() print(df.shape, df[user_id].nunique())这段代码有几个参数值得说明。read_csv 里的 headerNone names 是必需的因为原始文件没有列名直接读会把第一行数据当表头。pd.to_datetime 的 units 告诉 pandas 时间戳单位是秒而不是纳秒漏掉这个参数解析结果会直接错位几十年。加 Timedelta(hours8) 是因为时间戳是 UTC而实验报告里要展示北京时间的活跃曲线。最后 sample(frac0.05, random_state42) 里的 random_state 一定固定否则每次运行抽到的用户不同后面所有实验都不复现。按用户采样而不是按行采样这个细节我单独强调如果直接对行做 random sample同一个用户的行为会被切得支离破碎后续构造「用户级特征」时数据不完整特征值和全量计算的结果对不上报告里的数字就站不住。2.3 首轮 EDA行为漏斗、转化率与活跃时段数据清洗完先做三样东西行为漏斗、转化率和小时活跃分布。这三样是实验报告「数据探索」章节的主力图表。# 行为漏斗pv - cart/fav - buy funnel df.groupby(behavior_type, observedFalse).size() print(funnel) # 整体转化率buy 与 pv 的比值 buy_rate funnel[buy] / funnel[pv] print(pv-buy 转化率: {:.4f}.format(buy_rate)) # 小时活跃分布检查时区是否正确 df[hour] df[ts].dt.hour hour_dist df.groupby(hour, observedFalse).size()漏斗的结果通常是 pv 百万级、buy 万级pv 到 buy 的转化率在 2% 以下这个数字本身就能写进报告的结论——「多数用户停留在浏览阶段召回运营有空间」。小时分布如果看到明显的双峰上午十点左右、晚上九点左右说明时区换算是对的如果高峰出现在凌晨回去检查 Timedelta(hours8) 有没有加。第一轮 EDA 不用做太深把漏斗、日活趋势、小时分布三张图跑出来就够了。它们是后续所有特征的「业务背景」也是答辩时老师追问「你为什么选这些特征」时的底牌。3. 特征工程与标签构造把四列行为日志变成机器学习能吃的特征矩阵特征工程决定这份课设的上限。模型再强喂进去的特征矩阵是白菜也做不出肉菜。这一章解决两件事特征怎么算、标签怎么定。前者决定模型能看到什么后者决定模型要学什么。3.1 行为聚合特征频次、转化率与时段偏好行为日志是长表机器学习要的是宽表所以第一步是把每个用户的行为聚合成一行特征。常用的聚合维度有六类按业务含义拆开看特征名计算方式业务含义cnt_pv / cnt_cart / cnt_fav / cnt_buy按 user_id 统计各类行为次数用户活跃度与深度ctr_buycnt_buy / (cnt_pv 1)浏览到购买的转化意愿n_categories浏览类目去重数兴趣宽度n_active_days活跃日期去重数使用粘性avg_active_hour活跃小时的加权均值时段偏好last_active_gap预测日与最后活跃日的间隔天数流失风险这里最容易被忽略的是 last_active_gap。做购买预测时这个特征往往比行为次数更关键——一个昨天还在活跃的用户和一个五天没上线的用户购买概率差距非常大。它本质上是「最近一次行为距今多久」的度量对应电商里的用户流失召回逻辑。ctr_buy 的公式里分母加了 1是防除零的常见做法也起到一点平滑作用。有些同学直接用 cnt_buy / cnt_pv遇到 pv 为 0 的用户直接报错或者算出 NaN这就是细节上的差距。avg_active_hour 我一般用行为次数做加权而不是简单取平均否则深夜偶尔点两下的人会被高估为「深夜活跃用户」。3.2 标签怎么定三种监督任务的差异同样一份数据标签不同任务难度和报告立意完全不同。我见过三种做法第一种全周期二分类——「过去七天里有没有买过」。这个标签最差因为特征和标签来自同一段时间模型学到的只是「行为多的人买得多」没有任何预测性质答辩时被问「你的模型预测的是什么」会很难圆。第二种前五天做特征、第六天做标签——「根据五天的行为预测第六天是否购买」这是我在课程设计里最推荐的做法时间上干净能顺带讲清楚训练集和预测目标的隔离。第三种三分类——「购买、加购、无行为」报告内容丰富但正类更稀疏模型训练难度陡增时间有限不建议碰。判断一个标签合不合格有个土办法把标签出现的时间和特征统计的时间画在一条时间轴上如果两者有重叠就是数据泄露。第二种做法里特征只来自前五天标签只取第六天时间轴上是严格先后关系这是它能站住脚的根基。3.3 特征矩阵落地代码pandas 聚合 训练集划分下面这段代码是特征工程的核心实现。它先把前五天的行为聚合成用户特征再把第六天有没有购买做成标签最后 merge 成训练表。import pandas as pd # df 是上一章清洗完的数据date 已是 datetime 类型 train_end df[date].min() pd.Timedelta(days5) # 第 1~5 天做特征 feat_df df[df[date] train_end].groupby(user_id).agg( cnt_pv(behavior_type, lambda s: (s pv).sum()), cnt_cart(behavior_type, lambda s: (s cart).sum()), cnt_fav(behavior_type, lambda s: (s fav).sum()), cnt_buy(behavior_type, lambda s: (s buy).sum()), n_categories(category_id, nunique), n_active_days(date, nunique), ).reset_index() # 加两个派生特征转化率和最后活跃距今的天数 feat_df[ctr_buy] feat_df[cnt_buy] / (feat_df[cnt_pv] 1) last_active df[df[date] train_end].groupby(user_id)[date].max() feat_df[last_active_day] feat_df[user_id].map(last_active) feat_df[last_active_gap] (train_end - feat_df[last_active_day]).dt.days # 标签第六天是否发生购买发生记 1否则记 0 label_date train_end pd.Timedelta(days1) label_df df[df[date] label_date].groupby(user_id).apply( lambda g: int((g[behavior_type] buy).any()) ).reset_index(namelabel) # left join 后第六天没有任何行为的用户 label 补 0 train_df feat_df.merge(label_df, onuser_id, howleft) train_df[label] train_df[label].fillna(0) print(train_df.shape, train_df[label].mean())逻辑说明放在后头。groupby().agg() 里的 lambda 表达式是在统计每类行为的次数behavior_type 是 category 类型比较操作 (s pv) 会返回布尔序列sum() 就是计数。last_active 那两行是为了构造 gap 特征先取每个用户最后活跃的日期再用 train_end 减它得到整数天数。label_df 用的是 any() 逻辑只要第六天出现过一次 buy 就记为 1。train_test_split 时别忘了一个参数stratifyy。正样本占比通常只有 10% 左右不做分层抽样切出来的验证集可能一个正样本都没有模型评估直接失真。特征矩阵的列数不会太多十几个特征是合理的不要一上来堆几十个——课设报告讲究「每个特征能解释业务」堆特征在答辩时很容易被追问到哑火。4. 建模与调参从逻辑回归到 XGBoost 的对比以及实验报告怎么写模型部分我一般按「基线 → 对比 → 定稿」三步走。先逻辑回归拿基线再随机森林和 XGBoost 对比最后把结果整理进实验报告。这样报告里能有一张像样的模型对比表而不是只有一个「我用了 XGBoost」的结论。4.1 为什么先跑逻辑回归基线模型的选择理由很多人一上来直接 XGBoost这在课设里其实是扣分项。第一逻辑回归可解释性强系数权重能直接写成报告里的业务解读比如「last_active_gap 系数最大说明最近是否活跃是购买的最强信号」。第二特征都是用户级聚合值分布相对规整线性模型能兜住底跑出来 AUC 通常在 0.75 到 0.83 区间这就是后续所有模型要超越的基线。第三答辩时老师几乎必问「为什么选这个模型」逻辑回归是最容易答清楚的——损失函数、正则化、类别权重任何一个方向都能展开。随机森林和 XGBoost 的价值在于对比报告里写「XGBoost 比 LR 提升了 0.06 的 AUC主要得益于它对稀疏特征和交互效应的建模能力」这句话的含金量远高于单纯报一个数字。4.2 三组模型对比代码与指标解读from sklearn.model_selection import train_test_split from sklearn.linear_model import LogisticRegression from sklearn.ensemble import RandomForestClassifier from xgboost import XGBClassifier from sklearn.metrics import roc_auc_score, f1_score X train_df.drop(columns[user_id, label]) y train_df[label] # stratify 保证切分后正负比例不变 X_tr, X_va, y_tr, y_va train_test_split( X, y, test_size0.2, random_state42, stratifyy ) models { lr: LogisticRegression(max_iter500, class_weightbalanced), rf: RandomForestClassifier(n_estimators100, class_weightbalanced, random_state42), xgb: XGBClassifier(n_estimators150, scale_pos_weight(y_tr 0).sum() / (y_tr 1).sum()) } for name, model in models.items(): model.fit(X_tr, y_tr) proba model.predict_proba(X_va)[:, 1] auc roc_auc_score(y_va, proba) # 阈值默认 0.5 对极不平衡数据不友好这里看 AUC 为主 print(f{name}: AUC {auc:.4f})这三个模型的差异点要讲清楚。class_weightbalanced 是让负样本多的类别在损失函数里降权相当于给正样本更多「话语权」scale_pos_weight 则是 XGBoost 里专门处理正负样本比例的参数用训练集里的负正比来初始化值越大模型越偏向正类。两者的作用方向一致但机制不同报告里两个都写能体现你真的理解类别不平衡。阈值这件事必须单独提醒。正样本占比很低时默认 0.5 的判定阈值会得到近乎全负类的硬预测精确率看着还行召回率惨不忍睹。课设里我一般只看 predict_proba 输出的 AUC硬预测指标用 F1 而非 accuracy。如果报告里必须写查准率查全率就用 precision_recall_curve 重新选阈值取 PR 曲线上 F1 最大的点最优阈值通常在 0.2 到 0.3 之间。4.3 实验报告的高分结构图、表、结论的对应关系源码包里那份实验报告的结构基本上可以照搬成自己的模板。目录是业务理解、数据说明、数据探索、特征工程、建模与评估、结论与展望。每一章都有固定的交付物数据探索必须有漏斗图和小时活跃分布图特征工程必须有特征定义表建模评估必须有模型对比表和 ROC 曲线。报告最忌讳的是图和结论对不上。比如小时活跃分布明显是双峰结论却写「用户分布均匀」答辩老师翻到图就能戳穿。反过来每个结论都要有图支撑这是我写报告的铁律报告中的图对应结论行为漏斗图pv 到 buy 转化率不足 2%运营空间大小时活跃分布图10 点与 21 点是活跃高峰特征重要性柱状图last_active_gap 是预测购买的最强特征模型 AUC 对比表XGBoost 优于 LR 与 RF但提升幅度与样本规模有关另外特征工程的表格里要把每个特征的计算公式写出来不要只写名字。比如 ctr_buy 要写成 cnt_buy / (cnt_pv 1)而不是一句「转化率」带过。老师看实验报告时公式比描述更省时间也更能体现工作量。5. 课程设计避坑指南四个让我翻过车的真实问题这一章是血泪经验四个问题我都在不同的课设项目里见过甚至踩过。每个都按现象、原因、解决的顺序写清楚你照着排查能省下大量调试时间。5.1 现象训练 AUC 冲到 0.98验证集却一塌糊涂这是最典型的翻车现场。某次我用全量七天数据做特征标签取的也是同一批用户的购买行为训练 AUC 高得离谱但把模型挪到下一周的数据上就完全失效。原因很明确特征统计的时间区间和标签所在的时间区间重叠模型学到的不是「预测」而是「记住了谁买过」。解决方案是严格按时间切分——特征只用第六天之前的数据标签只取第六天两段数据在时间轴上不重叠。我后来给自己定了个规矩写特征工程代码前先在注释里写明特征截止日期和标签日期写错一眼就能看出来。5.2 现象正样本占比不到 2%模型把所有用户都判成「不买」第一次跑出来的模型预测结果几乎全是 0准确率看着有 98%实际毫无价值。原因是默认阈值 0.5 对极不平衡的二分类完全不适用模型学到的最优策略就是「全部预测为多数类」。解决分三步训练时用 class_weightbalanced 或 scale_pos_weight 调整损失权重评估时用 AUC 而不是 accuracy预测时用 PR 曲线重新选阈值而不是死守 0.5。这三步缺一不可只做第一步不换评估指标报告里的数字还是没法看。5.3 现象一亿行 CSV 直接 pd.read_csv内存直接爆掉完整数据集近一亿行直接全量读入时 Jupyter 内核直接 OOM。原因是默认的读取方式把所有列都按最高精度加载字符串列和数据列的内存开销被严重放大。解决有两个方向要么按用户分层采样后再处理这是课设场景最实用的要么在 read_csv 里指定 dtype 和 chunksize 分批读如下面这段代码把数值列压缩成 int32能省将近一半内存。chunk_iter pd.read_csv( UserBehavior.csv, headerNone, namescolumns, dtype{0: int32, 1: int32, 2: int32, 4: int32}, chunksize1_000_000, ) # 分批读入并只保留需要的列避免一次性加载全部行为 df_parts [] for chunk in chunk_iter: df_parts.append(chunk[[user_id, behavior_type, category_id, timestamp]]) df pd.concat(df_parts, ignore_indexTrue)dtype 里只压缩了整型列behavior_type 保持字符串因为它要比较是否等于 pv 或 buy。chunksize 设为 100 万行一批每批处理完就丢弃内存峰值被压在可控范围内。5.4 现象日活曲线出现诡异的凌晨高峰活跃用户数对不上有次画出的日活分布高峰在凌晨三点怎么看都不合理。排查半天发现是时区问题——时间戳是 UTC我没加 8 小时就直接取 hour结果北京时间的上午十点被算成了凌晨两点。解决就是在读入时间后统一加 pd.Timedelta(hours8)或者在计算 hour 前用 tz_localize(UTC).tz_convert(Asia/Shanghai) 做显式时区转换。从那以后我拿到任何带时间戳的数据第一件事就是确认它的时区基准而不是想当然按本地时间处理。6. 把源码做成可复现的演示答辩前必做的三件验证工作源代码跑通只是第一步答辩能不能立住取决于你的项目可不可复现。这章讲三个我在提交前强制执行的验证动作每一个都能直接提升报告的信任度。第一固定随机种子并把流程串成顺序脚本。train_test_split 的 random_state、XGBoost 的随机性、采样的 random_state 全部固定然后把「清洗 → 特征 → 建模 → 评估」写成一个按顺序执行的脚本或 Notebook。不固定 seed 的结果是你前一天跑出的 AUC 0.89第二天复现变成 0.87老师当场让你重跑一次就露馅。我一般习惯把采样的 random_state42、切分的 random_state42、模型里的 random_state42 三处统一并在报告里注明「所有实验基于固定随机种子」。第二做一次特征重要性稳定性检查而不是只看一组特征重要性图。XGBoost 的特征重要性每次训练都有波动单次结果可能是偶然。做法是跑一个简单的循环用每列单独预测购买行为记录 AUC再和全特征模型的 AUC 对比from sklearn.metrics import roc_auc_score # 单特征 AUC逐个特征测低于 0.55 的特征谨慎保留 for col in X.columns: auc roc_auc_score(y, X[[col]].fillna(-1)) print(f{col}: 单特征 AUC {auc:.3f})这个结果写进报告比贴一张 feature_importance 图更有说服力因为你能说出「last_active_gap 单独就有 0.70 的 AUC是全模型贡献最大的特征」这种可验证的结论。第三做一次时间切分演练。把第六天的标签数据再往后推迟一天改成「前六天做特征、第七天做标签」重新跑一遍。如果模型在两次时间切分上都稳定说明结论不是偶然落在某一天上。这个「换一天重跑」的验证是老师判断你有没有真正理解预测任务的最快方式。演示时的顺序也有讲究我习惯按「业务问题 → 漏斗图 → 特征重要性 → AUC 对比」四步走先一句话说清要预测什么再用漏斗图证明数据里存在优化空间然后亮出最重要特征说明模型学到了什么最后给出对比表收尾。这套顺序下来十分钟内能把项目的价值完整讲完。从那以后我每次交课设都强制走一遍「固定种子、单特征 AUC 打印、时间切分重跑」这三件套宁可多花半小时也绝不让答辩现场出现数字对不上的场面。这套习惯帮我躲过了好几次数值好看、复现翻车的尴尬希望帮到你。本文还有配套的精品资源点击获取