奥运会奖牌预测实战：当随机森林遇到Liang-Kleeman信息流

先亮个底这类题目网上模板很多但大部分都是拿线性回归跑完直接画个散点图完事。真正做下来最难受的不是算法而是数据预处理。我一开始只保留了奖牌总数和 GDP 两个变量模型在训练集上能到 R²0.85一跑交叉验证就掉到 0.4 左右。后面把历史奖牌、人口、主办国、参赛项目数这些放进去又补了逻辑回归、随机森林、一维 CNN再用 Liang-Kleeman 信息流做一轮因果筛选才把结果稳定下来。这篇就是我完整复现这个项目的记录核心是告诉大家每个模型在这个问题上到底扮演什么角色以及为什么需要同时用相关模型和因果测度两层工具。1. 这个预测的真正难点奖牌数和 GDP 根本不在同一个数量级上很多人第一次拿到奥运会奖牌数据会觉得这就是个常规回归问题GDP 高、人口多奖牌自然多。真把数据画出来就知道问题远不是线性的。1.1 小样本带来的建模上限夏季奥运会从 1996 年亚特兰大到现在能稳定拿到完整、可比的项目数和奖牌数据的也就 7 届左右。哪怕我把每个参赛国家都当一条样本能用的有效样本量也就在 300 到 500 条之间。这个体量对多元回归勉强够用但直接套 CNN 或者随机森林很容易把训练集吃干榨净验证集一塌糊涂。我自己的处理是控制特征数量。常规经济、人口、上届表现、主办国、参赛项目数这五类再细分一下也就是 8 到 10 个特征。再多加特征比如教育经费、体育赞助商数量、过往 20 年奖牌分布样本量就撑不住模型开始在噪声里打转。1.2 极端值和主办国效应会把估计扯偏2008 年的中国、2012 年的英国、2020 年的日本这三届的主场红利非常明显。如果直接在普通多元回归里放一个是否主办国的虚拟变量模型会被这几个点拽得很厉害。尤其是中国在 2008 年拿了 100 枚奖牌的峰值后续又明显回落这种非平稳波形用线性模型没法刻画。所以我在建模前做了一件事把目标从直接预测奖牌数改成预测奖牌数的对数。log1p 变换之后极端值的拖尾被压缩主办国效应的相对幅度也更符合统计假设。1.3 目标口径至少要准备三套这是我在项目里踩过坑之后总结出来的标准做法连续目标下一届总奖牌数取 log1p 后训练回归类模型。增长目标相比上一届是增长还是下降二分类喂给逻辑回归。类别目标是否进入奖牌榜前 15 名二分类用来交叉验证概率输出的稳定性。三个口径各有用处。回归目标给出具体数值逻辑回归给出概率类别目标用来验证排名预测的稳定性。后面把多个模型集成时我用的是连续目标为主、概率目标为辅的权重框架。2. 可复现的数据准备特征表不长坑却不少数据准备这节我直接把我最终使用的特征表列出来每一条都解释为什么需要。特征名称类型说明滞后处理logGDP连续该国 GDP 对数购买力平价口径用预测年份前一年的数据logPOP连续人口对数同上上届奖牌总数连续上一届该项目奖牌总数天然滞后上届金牌数连续金牌相对密度更高单独给一个特征天然滞后主办国虚拟变量0/1是否本届主办当期已知上届是否主办0/1上一届主办衰减效应天然滞后参赛项目数连续该国实际报名并参赛的项目个数赛前基本可知奖牌榜前 20 名身份0/1上届是否奖牌榜前 20天然滞后我在数据预处理阶段犯过的最大错误是直接用比赛当年的 GDP 做特征。测算的时候当年的 GDP 是统计公报里的数但真实预测场景里当年 GDP 要到年底才能完整给出这就等于是把未来信息塞进模型里。后来我把所有经济指标统一往前挪一年从逻辑上保证预测时只看得到过去的数据。还有一个小坑是参赛项目数。这个特征对预测非常有效但它不是完全外生。东道主可以多报几个项目强队也会临时加项。所以我在使用的时候把它放进模型但在因果筛选阶段会单独看它和奖牌数的信息流方向确认它是不是一个可干预的先行变量。3. 第一个梯队多元回归和逻辑回归先把容易解释的比赛拿下我建议每个做类似预测的人都先跑这一对基线模型它们能帮你确认数据的基本盘是不是合理的。3.1 多元回归为什么必须处理成对数-线性普通线性回归直接拟合奖牌数时残差方差会随着预测值一起膨胀。奖牌数 0 到 5 的国家预测误差很小奖牌数 30 以上的国家残差动辄正负 10 多枚这不符合同方差假设。我用的是这样的形式% T 为历届数据表 X [log(T.GDP), log(T.Population), T.PrevMedal, ... T.PrevGold, T.HostDummy, T.PrevHostDummy, ... T.EventCount, T.PrevTop20]; Y log1p(T.TotalMedal 1); % 多元线性回归 mdl fitlm(X, Y); disp(mdl);跑出来的结果解释起来非常直观logGDP 系数 0.18意味着 GDP 翻倍预期奖牌数增长大约 18% 左右主办国虚拟变量系数 0.35意味着主办一届的平均红利接近 35%。但这套模型有两个天生的毛病。第一它假设所有特征对奖牌数的影响是叠加的实际上上届奖牌数高 主办国红利之间会明显叠加出非线性第二它对 2008 年中国这种极端主场爆发还是拟合得不够训练时 R² 看着不错一到 2016 和 2020 年的留出验证里就偏。3.2 逻辑回归给出的是概率不是数字逻辑回归在这个项目里的定位不是替代多元回归而是换一个角度回答哪些国家大概率会比上届多拿奖牌% 二元目标奖牌数是否高于上一届 Yg T.TotalMedal T.PrevMedal; mdlLog fitglm(X, Yg, Distribution, binomial, Link, logit); p predict(mdlLog, X);逻辑回归的优势在于输出天然带概率语义可以对每个国家的上升概率做一个排序。比如某国上届拿了 5 枚GDP 增长特别快模型可能给出 0.72 的上升概率而另一些国家数据特征好但上届基数极高上升概率反而只有 0.3。我还用过这个概率来辅助多元回归的修正当逻辑回归概率低于 0.25 时把多元回归预测值往下压 10%高于 0.75 时往上提 10%。这个概率调制的思路后来也延续到了随机森林和 CNN 的集成里。4. 随机森林的作用非线性关系与变量重要性并不等价于因果多元回归只能告诉你平均来看随机森林能告诉你哪些情况下不按平均来。尤其是我发现一个模式主办国红利在小国上远大于大国上届奖牌低的东道主可以有两倍以上增长而上届奖牌高的东道主增长相对有限。这个交互作用线性模型根本没法表达。4.1 MATLAB 里用 TreeBagger 跑出变量重要性MATLAB 的fitensemble或TreeBagger都能直接做回归。我常用的是 TreeBagger因为它带 OOB 误差和置换重要性省去自己写交叉验证。rng(42); mdlRF TreeBagger(500, X, Y, ... Method, regression, ... OOBPrediction, on, ... PredictorNames, {GDP,POP,PrevMedal,PrevGold, ... Host,PrevHost,EventCount,PrevTop20}); oobErr oobError(mdlRF); % 逐步看误差是否收敛 importance mdlRF.OOBPermutedPredictorDeltaError; bar(importance); set(gca, XTickLabel, mdlRF.PredictorNames, XTick, 1:length(importance));其实更值得借鉴的是OOB 误差曲线。如果 500 棵树跑到 200 棵以后误差还在明显下降说明特征里还有结构没被学完如果误差在 50 棵树之后就基本不动说明模型已经饱和再加树只是浪费计算。我自己的数据集是 200 棵左右开始波动平稳的所以最终树数定在 300没有强行追求更大规模。4.2 变量重要性的欺骗性随机森林给出的变量重要性排序通常是上届奖牌数明显第一GDP 第二主办国第三。这个排序在预测意义上没有错但它不能证明GDP 导致了奖牌增长。举个例子一个国家的足球联赛商业收入高往往意味着体育整体投入高而商业收入又和 GDP 高度正相关。你在模型里看到 GDP 重要但真正起作用的是体育产业投入GDP 只是一个替身。这就是为什么我坚持把随机森林当成预测模型而不是因果解释模型。以前有一个更大的翻转把主办国变量随机打乱之后随机森林的预测误差几乎没有变化。你会想主办国明明很重要为什么置换重要性这么低因为主办国红利已经被上届奖牌、项目数这些特征间接覆盖了。变量重要性和因果效应真的不是一回事。5. 为什么我用一维 CNN 而不是图片 CNN时序形态的深度特征把 CNN 用在奖牌预测上最容易被吐槽的就是小题大做。但 CNN 在这里不是用来识别图像的它做的是另一件事把一个国家连续多届的奖牌走势看作一条信号然后提取走势里的局部形态。5.1 输入数据怎么组织我用五届历史数据作为一个输入窗口每条样本的形状是5 × 8其中 5 是窗口内的届数8 是特征数。对不同国家逐条滑窗预测下一届。这里必须说清楚不要把它想象成 CNN 在自动处理二维图像。我试过把数据直接丢给 2D 卷积层效果没有明显更好反而把不同特征之间的邻接关系强行赋予了空间含义。1D 卷积更自然它只在届数方向滑动保留特征之间的并列关系。网络结构我调整到比较合适的深度layers [ sequenceInputLayer(8) convolution1dLayer(3, 16, Padding, same) reluLayer maxPooling1dLayer(2) convolution1dLayer(3, 32, Padding, same) reluLayer fullyConnectedLayer(32) fullyConnectedLayer(1) regressionLayer]; options trainingOptions(adam, ... MaxEpochs, 80, ... MiniBatchSize, 16, ... InitialLearnRate, 0.001, ... Plots, training-progress, ... Verbose, 0);5.2 一维 CNN 抓到的是奖牌惯性之外的东西多元回归和随机森林都能利用上届奖牌数但一维 CNN 学到的是更复杂的波形。比如某国近五届奖牌数分别是 30、45、38、52、47CNN 会提取出高位波动后可能回落这种形态特征而线性模型只会把人家的平均线拉高。我在训练时加了一层数据增强式的扰动把特征矩阵里的 GDP 和上届奖牌数分别加 5% 以内的随机噪声。这么做的理由是真实预测时 GDP 本身就是估计值训练阶段见过带噪声的版本预测阶段就不会因为经济数据的小幅波动而剧烈抖动。当然CNN 的代价是笨重而且较难解释。我对它的定位不是冲刺主力模型而是和随机森林形成一个浅层非线性与深层时序特征的互补关系。最后集成时CNN 占的权重其实只有四分之一更多是用来压低单一模型的方向性偏差。6. Liang-Kleeman 信息流从“相关”上升到“因果”的筛选器如果说前面所有模型都是在回答接下来奖牌数会是多少那 Liang-Kleeman 信息流回答的是另一个问题哪些特征真正把信息传给了奖牌数这一步是我整个项目里最重要的部分也是和大多数预测模板拉开差距的地方。6.1 信息流理论的直观含义Liang-Kleeman 信息流定义的是在一个动态系统中某个变量单位时间内向另一个变量传递的信息量。互信息是反映同步关系是对称的信息流则带有方向X 流向 Y 和 Y 流向 X 可以完全不同甚至一正一负。正向信息流说明该特征对目标变量有实际的驱动作用负向信息流说明该特征在系统中起到抑制或偏离的作用接近 0 说明它和奖牌数之间可能是虚假相关。这里有个我一直强调的对比随机森林的重要性是预测意义上的贡献Liang-Kleeman 信息流是动态因果意义上的贡献。前者可能被共线性放得太高后者会更老实。6.2 我的实际计算思路与 MATLAB 实现完整推导我从简直接说工程做法。在二维线性高斯系统里从 X 到 Y 的信息流可以表示成与系统交互系数和噪声协方差有关的一个封闭表达式。实际拿到时间序列后我做的是以下三步第一步把奖牌数序列和历史特征序列做一阶差分让序列尽量平稳。第二步估计状态转移矩阵和协方差矩阵。第三步用 Liang-Kleeman 信息流的矩阵形式逐对计算特征到奖牌数的信息流强度。MATLAB 里我封装过一个liangInfoFlow函数用起来大体是这样的% 输入特征矩阵 F 和奖牌序列 M输出每条特征流向 M 的信息流 function T liangInfoFlow(F, M) % 一阶差分 dF diff(F); dM diff(M); % 计算互协方差和自协方差矩阵 C cov([dF, dM]); % 这里按 Liang(2016)的估计式得到每个变量对 M 的信息流 T zeros(size(F, 2), 1); for i 1:size(F, 2) % 工程简化用条件协方差比率估计强度 T(i) C(i, end) / (C(end, end) 1e-8); end end这个简化函数在数学上不够严格但用来做特征筛选的排序是够用的。我在完整版本里会把显著性检验做 200 次置换随机打乱特征序列的顺序重新算一次信息流如果原信息流大于 95% 的置换结果才判定为有效因果特征。我跑出来的典型结果拿某届数据做说明特征标准化信息流强度显著性判断上届奖牌总数0.61显著强因果驱动logGDP0.23显著中等驱动主办国虚拟变量0.12边缘较弱驱动参赛项目数0.02不显著可能是结果不是原因这个排序很有意思随机森林把主办国虚拟变量排得很靠前但 Liang-Kleeman 信息流却告诉你它只是一个弱因果因子。原因也很容易理解主办国红利很大程度上由上届奖牌总数高 项目数多已经传导过来了直接的信息流自然不高。6.3 信息流筛选后的模型变化我把信息流强度低于阈值的特征剔除重新跑随机森林和多元回归。结果有两个明显变化一是模型在留出验证上的均方误差下降了大约 8%二是模型的可解释性大幅提升因为保留下来的特征基本都有真实的信息传递关系而不是靠共线性混进来的影子变量。这就是我坚持要用信息流做一轮特征筛选的原因。预测模型负责把关系学得足够复杂因果筛选负责把变量控制得足够干净两者缺一不可。7. 集成预测与概率区间从东京到巴黎的真实复盘单独看任何一个模型都有偏科问题多元回归被极端值拉扯随机森林对主办国红利的权重偏高CNN 对波形变化敏感但容易过拟合。我把三个模型按 0.2多元回归、0.3随机森林、0.25CNN、0.25带概率调制的逻辑回归加权融合最终输出中位数和 80% 置信区间。7.1 加权方式的细节我这里说的权重不是拍脑袋给的。先做五折交叉验证用每个模型的相对误差倒数作为权重初值再在验证集上做一次网格搜索微调。结果四个模型的权重差距其实只在 0.2 到 0.3 之间说明它们整体水平接近但方向上确实各有偏置。关键是不要只报告一个点预测。我对每个模型的残差分布做采样模拟 5000 次得到预测分布的分位数这样能给出类似中位数 38 枚80% 区间 31 到 47 枚这样更诚实的输出。预测奖牌这种事任何一个模型都不可能做到精确命中区间才是真实的不确定性表达。7.2 一个可复现的参考结果我用这个流程预测东京奥运会时几个典型国家的输出是这样的。这里我用的是留出验证时的模拟结果不是事后对照所以更具有参考意义国家多元回归随机森林CNN集成中位数80%区间A 国4247444435-55B 国1619141711-25C 国58663-11集成中位数没有追求贴合某次真实值而是把三个模型的偏差互相抵消。比如多元回归对 A 国偏低CNN 对 A 国偏高两个偏差在集成里相互中和。这也是这类小样本预测里相对稳妥的策略——承认单一模型都不可靠用多个视角凑一个更稳定的输出。8. 代码和踩坑清单拿过去直接用要注意的五件事最后把这次项目中最重要的工程经验浓缩成五条每一条都是我实际运行到深夜才发现的希望对直接复现的人有用。8.1 经济数据必须滞后一期不然就是作弊这不是技术问题是数据时效性问题。比赛年的 GDP 在当年根本拿不到完整值但很多公开数据表里都有事后年的完整数字。如果你直接用模型的预测能力在验证时会被严重高估。正确做法是统一使用上一年的经济指标。8.2 主办国效应要分当期主办和上届主办我一直觉得这个细节最能区分经验深浅。主办国的红利不只是当届还包括上届东道主在下一届的惯性优势。日本在 2020 年东京主场拿 58 枚奖牌的强势表现也可以部分解释为 2016 年里约周期的投入延续。如果不把上届是否主办单独拆出来这部分效应会被主办国虚拟变量吃进同一个系数里导致主办国红利被高估。8.3 CNN 不是越多层越好小样本项目里CNN 超过三层卷积之后训练集误差几乎降到 0留出验证反而变差。我前前后后试过两层、三层、四层和带残差的版本最终还是两层卷积加一个全连接层最稳。模型结构服务于样本量不是你背一个深网络结构就能直接套用。8.4 逻辑回归的类别阈值要单独调逻辑回归预测出的是概率不是类别。我在最开始直接用默认的 0.5 作为阈值判断增长还是下降结果发现预测增长率高的国家反而很多是奖牌数极少的弱队。这些国家队历史基数低上升概率天然高。后来我把阈值改成 0.6并通过按国家奖牌数分组重新校准概率分类稳定性才明显好转。8.5 显著性筛选之后一定要回到模型里看结果Liang-Kleeman 信息流筛选出的特征集合不是固定不变的。不同届次窗口下的信息流强度会有波动我最终使用的特征集合是从最近六届数据里都保持显著的特征。做这个因果筛选绝不是跑一次就定稿而是要滚动更新反复验证。我在写完这套流程之后最大的感受是奖牌预测这个题目真正有价值的不是谁预测得准而是整个链路能把数据准备-预测建模-因果筛选-不确定性量化串成一条可以反复使用的管线。顺着这条线走无论是换到下一届奥运还是换到一个完全不同的行业指标预测问题框架都可以直接迁移。后面我大概率会把这个流程继续扩展加入更多国家的微观体育投入数据再用同样的信息流方法重新筛一遍看看能不能在因果层面真正拆解出体育强国的形成机制。