不完整视图下的多视图学习：常见问题与技术路线解析

多视图学习Multi-view LearningMVL在我接触过的机器学习研究方向里属于那种“概念一句话就能说明白落地时却总被现实按在地上摩擦”的方向。同一个对象可以同时用多个视图描述视频有画面和音频商品详情页有图片和文本医疗记录里有影像、化验单和病历摘要。理论上多个视图之间信息互补、互相印证对分类、聚类、检索都有明显帮助。可一旦上了真实数据你会发现最普遍的情况不是“视图很丰富”而是“视图总是缺一块”某个商品只有图没有文字描述某些病例少了某一项检查某条新闻只有视频却没人写稿。论文标题里的 Incomplete Views说的就是这种“样本级视图缺失”的问题。这篇论文笔记主要围绕不完整视图下的多视图学习展开。如果你只是刚接触 MVL这篇文章能帮你建立完整的问题框架如果你已经看过几篇相关论文后面关于实验设计、复现踩坑的部分应该更值得看。我不会把整篇论文从头翻译一遍而是把核心思路、关键假设和能直接迁移到自身实验的方法拆开讲顺带记录我在复现这类工作时的个人体会。1. 论文背景与问题动机1.1 多视图学习到底在学什么多视图学习的本质是利用同一对象的多个描述角度来提升学习效果。完整的 MVL 任务通常假设每个样本都拥有所有视图的特征。形式化一点假设一共有 V 个视图第 v 个视图的数据可以写成矩阵 X^(v)每一行是样本 i 在该视图下的特征列数是这个视图的特征维度。完整设定下每个样本 i 在任意视图 v 下都有对应的特征向量。MVL 要做的事就是从这些视图矩阵中学习一个统一的表示让后续的分类、聚类、检索等任务变得更容易。传统方法里典型相关分析CCA是经典代表它寻找两个视图的投影方向让投影后的特征相关性最大多核学习则把每个视图映射到一个核空间再学习核权重的组合简单粗暴的串接拼接是最常被拿来当基线的做法把特征向量直接拼到一起。这些方法隐含一个公共假设所有视图对所有样本都可用。一旦这个假设不成立整套推理链条就从根上断掉了。1.2 “缺视图”为什么比“缺特征”麻烦很多做过普通表格数据的人会有疑问数据缺失我见多了直接均值填充不就行了问题就在于“缺视图”不是普通的缺失值问题。普通缺失值是特征级别的缺失比如一张表格里某一行年龄是空的。这种缺失往往发生在列维度样本的其他特征仍然存在模型可以用其他列的信息来弥补树模型甚至能直接处理。缺视图则是样本级别的缺失整个特征子矩阵都没了。一个样本如果丢失了全部文本特征你没办法靠同一行剩下的几个特征去“猜测”那几十维的文本向量因为信息量根本不在同一个量级上。另一个容易被忽略的点是缺失模式。真实场景中的视图缺失很少是完全随机的。比如在医疗场景里病情较轻的患者可能不做某项检查导致该项检查视图系统性缺失在电商场景里新上架商品往往没有评论评论视图缺失率极高。这种“非随机缺失”如果直接用均值填充或者简单丢弃样本会让模型学到有偏的分布。1.3 论文想解决的三个典型场景我把这类论文里最常出现的场景归纳成三个范式理解了它们后面读方法会顺很多部分样本缺一个视图其余样本视图完整。这是最常见也最好处理的设定相当于把样本分成“完整子集”和“不完整子集”。样本分散在多个视图缺失组合里。比如样本 A 有视图 1 和 2样本 B 只有视图 1样本 C 只有视图 3样本 D 全都有。这种组合缺失是最贴近真实业务的情况也是方法设计的主要难点。训练阶段缺失测试阶段可能完整也可能缺失。有些论文假设测试样本视图完整有些则允许测试样本也缺视图两者对应的评估方式截然不同。这篇论文笔记里涉及的大多数经典方法核心就是在解决第二个场景如何在组合缺失的模式下仍然学出一个鲁棒的公共表示并且不丢失缺失样本的可用信息。2. 问题定义与数学符号约定2.1 视图矩阵与观测模式先把符号规范下来。设数据集包含 n 个样本、V 个视图。第 v 个视图的数据矩阵为 X^(v) ∈ R^(n × d_v)其中 d_v 是第 v 个视图的特征维度。在不完整视图设定下每个样本 i 只观测到部分视图。用观测指示集合 O_i ⊆ {1, 2, ..., V} 表示样本 i 有哪些视图可用。所有可用视图的样本索引集合记作观察集合 Ω。凡是 (i, v) ∈ Ω就说明样本 i 在视图 v 下的特征是观测到的否则就是缺失。大多数论文会进一步区分“视图有缺失”和“样本完全不可见”。一个样本至少要有一个视图被观测到才可能进入训练过程。如果一个样本在所有视图下都缺失那它本质上无法参与监督学习只能作为无监督数据的一部分。2.2 目标函数的通用形式尽管不同论文的解法各异几乎所有不完整视图多视图学习的目标函数都能写成一种通用形式在全部观测到的视图特征上最小化重构误差同时加上表示一致性约束和结构正则项。用符号表达就是min Σ_(v∈V) Σ_(i∈O_v) loss(x_i^(v), 重建表示) λ · 一致性约束 μ · 正则项。解释一下这三个部分各自的作用。重构误差保证学到的表示能还原各个视图的观测信息一致性约束要求不同视图对同一样本的表示尽可能对齐正则项则根据具体方法而定低秩方法会加核范数图方法会加拉普拉斯正则项稀疏方法会加 L1 范数。比例参数 λ 和 μ 控制三者权重也是复现时最需要调的参数。2.3 不完全性对模型假设的冲击从数学角度看视图缺失直接破坏了多视图学习里两个基础假设视图一致性和视图互补性。视图一致性假设所有视图所蕴含的类别信息是一致的所以完整数据下可以用一个公共表示来连接各视图。视图互补性则假设不同视图提供互不相同的信息融合后比单一视图更强。当视图缺失时样本的子空间结构不再完整公共表示能利用的信息变少一致性约束只能在不完整的观测对上建立互补性也被弱化成“部分互补”。更麻烦的是视图缺失还导致视角子空间之间存在不可观测区域。传统子空间方法依赖完整协方差矩阵做特征分解缺视图后协方差矩阵只剩块对角部分直接套用公式会得到严重偏置的估计结果。这就是为什么论文要专门设计不完整视图的解法而不是在传统方法上打个补丁就好。3. 主流技术路线与原理拆解3.1 矩阵补全路线矩阵补全是不完整视图问题最直观的解法。核心思想是把多个视图的数据堆叠成一个块状大矩阵把缺失视图看作矩阵中的未知元素然后利用低秩假设把这些缺失元素补出来。具体做法是构造一个大矩阵 M把每个视图的数据矩阵作为分块放在对角线上非对角块是不同视图之间的交叉信息。观测到的元素直接来自数据未观测的元素用矩阵补全算法推断。低秩假设在这里有直观解释样本数量 n 通常远小于各视图特征维度之和而且所有视图共享一个低维公共表示所以整个块矩阵的秩应该远小于矩阵的维数。矩阵补全路线最大的优点是实现简单只需要定义观测掩码矩阵和低秩约束大多数时候可以直接用现成的核范数最小化求解器跑。缺点是它假设视图之间是线性关系对非线性关联较强的多视图数据效果有限。另外如果某个样本在所有视图下都缺失矩阵补全也没办法凭空恢复。3.2 子空间对齐路线子空间对齐假设每个视图都位于同一个低维公共子空间的不同线性变换下。传统 CCA 就是在完整视图下寻找这个公共子空间的投影方向。不完整视图下CCA 的协方差矩阵只能基于完整观测样本估计样本量骤减估计结果不稳定。改进思路通常是这样先用完整样本估计各视图的子空间初步对齐关系再把不完整样本映射到已学到的公共子空间里通过迭代优化逐步修正子空间估计。每一步迭代里已经映射到公共子空间的样本可以作为锚点帮助修正其他视图的子空间变换矩阵。这个过程有点像是在一堆模糊照片里先找清晰的几张做对齐基准再把剩下的慢慢贴上去。这类方法适合视图维度较低、样本量较大的场景因为子空间估计的精度直接取决于可用样本量。如果完整样本太少子空间估计就不可靠精度会远低于预期。3.3 图正则与多图融合路线图方法走的是另一条路不直接补全缺失特征而是通过样本间的相似性关系把信息传播过去。构建流程是这样的在每个视图上分别构造样本相似性图节点是样本边的权重表示两个样本在该视图下的相似度。对于缺失某个视图的样本它在那个视图上就没有对应的特征表示也就无法计算相似度。这时有两种处理方式一种是把这部分样本从该视图的图中剔除只保留有观测的样本另一种是用其他视图的相似度信息辅助推断缺失视图的样本位置。得到各视图的图后方法会学习一个融合图使它与各视图的图结构尽可能一致同时保证图的拉普拉斯正则化项能约束公共表示平滑变化。简单说就是让相似的样本在公共表示空间里也保持相似。图方法对非线性结构特别友好也天然能处理组合缺失因为只要有任何一个视图被观测到样本就能在融合图中占据位置。缺点在于图的构建质量很大程度取决于超参数 k近邻数量和相似度度量调参不好效果会明显波动。3.4 深度生成与端到端路线近年来的论文大量采用深度生成模型处理不完整视图。这类方法的核心是用一个潜在变量 z 描述样本的公共表示然后假设各视图特征是通过条件分布 p(x^(v) | z) 生成的。在这种框架下视图缺失可以被模型内生地处理预测时只需要输入样本存在的那些视图利用近似后验推断得到 z再从 z 生成缺失视图。变分自编码器VAE是最常用的骨架因为它的训练目标天然包含重构损失项正好对应“用潜在表示还原观测视图”的需求。深度路线最适合视图特征本身是图像、文本、音频等非结构化数据的场景因为中间的编码器、解码器能学习非线性映射。代价是数据需求量很大对 GPU 资源的要求也高。如果每个类别的完整样本只有几十条深度生成模型很容易过拟合生成出来的缺失视图基本没法用。3.5 各路线对比速查表技术路线核心思想不完整视图处理方式典型适用场景主要风险矩阵补全低秩约束下补全块矩阵把缺失项当作待补元素线性关系强、维度高的数据非线性特征难处理子空间对齐各视图共享低维子空间用完整样本估计子空间并迭代修正样本量大、维度较低完整样本不足时偏差大图正则样本相似性传播信息用融合图容纳部分观测样本结构复杂、非线性关联相似度度量敏感深度生成潜在变量条件生成各视图用可用视图推断 z 并重建缺失视图图像文本等多模态数据数据量要求高容易过拟合4. 论文实验设计与评估要诀4.1 模拟缺失的构造方法真实的不完整视图数据很难拿来验证算法效果因为缺失不是随机的你无法判断模型变好到底是真学到了不变表示还是刚好在某个容易的子集上表现不错。所以论文里基本都用模拟缺失来评估。模拟缺失通常先选一个完整数据集然后按一定缺失率随机挑选“样本-视图对”置为缺失。缺失率一般从 0.1 扫到 0.5代表从轻度缺失到重度缺失的过渡。复现时有一个很关键的细节随机掩码生成必须固定随机种子。我见过多次因为种子不同导致实验结果和论文对不上的情况而且这种偏差在高缺失率下会非常明显。另外一个实操建议是分场景生成掩码。比如随机缺失一套掩码按类别缺失一套掩码再按视图相关分布缺失一套掩码。很多算法在纯随机缺失下表现很好但在与类别相关的缺失下迅速退化。如果你要做业务落地这些非随机缺失的模拟结果比论文里的随机缺失更有参考价值。4.2 评估指标怎么选不完整视图论文通常用两类指标来评价效果。第一类是下游任务的性能指标。分类任务看准确率、F1聚类任务看 NMI、ACC。这类指标最直观也是大多数方法比较时的主要依据。第二类是视图重建质量指标尤其在深度生成方法里会计算重构误差、生成图像的质量指标比如 SSIM、PSNR。如果论文声称自己能生成缺失视图那重建质量就必须纳入评估。我必须提醒一件事评估样本集的选择会直接影响结论。有些论文在训练阶段包含缺失样本到测试阶段却把所有缺失样本剔除只评估完整样本这会明显高估模型能力。如果评估目标是“模型能处理缺失”测试集就应该保留缺失样本并让模型在没有某个视图的情况下给出预测。4.3 参数搜索与公平对比不完整视图方法对超参数相当敏感。低秩方法要选秩 r图方法要选近邻数 k深度方法要选潜在维度矩阵补全的核范数权重 λ 更是直接影响结果。复现时我最常踩的坑是参数搜索范围不对。有些论文只报告最优结果但不说明最优参数的具体范围直接照抄默认参数往往效果明显变差。我的做法是先用论文给的参数跑一遍再以 log 尺度在上下两个数量级内搜索。如果论文提到某个超参数实验说明这个参数很关键手动搜索时步长要更细。公平对比的另一个要求是所有方法应该使用相同的缺失掩码和相同的预处理。比如一个方法用标准化特征另一个用原始特征比较出来的差异可能完全来自预处理。我会在复现时统一写好数据加载和预处理的公共代码所有方法共用同一份数据管道。5. 复现中的常见问题与排查记录5.1 对齐出错样本顺序没那么可靠这是我在复现多视图相关论文时遇到最多的一个错误。不同视图的数据来自不同数据源时样本顺序并不天然一致。视图 1 的第 i 行和视图 2 的第 i 行可能根本不是同一个样本。很多方法的实现里默认“所有视图数据已经按样本 ID 排好序”这个假设在公开数据集上成立但换到自己的数据上就崩了。识别方式很简单训练后打印几个样本的视图重建结果如果出现明显的张冠李戴现象比如同一行重建出完全不同的类别特征那就说明对齐有问题。建议在数据加载阶段加一道校验把样本 ID 作为索引按 ID 合并视图数据再重新编号。不要依赖文件读取顺序。5.2 收敛与初始化问题矩阵补全和子空间对齐类的迭代算法对初始化非常敏感。初始化不同最终可能收敛到不同局部最优解性能差异有时候能到十个点以上。我习惯先用完整样本跑一遍简单模型用它的输出来做初始化。比如用完整样本的 CCA 投影矩阵去初始化不完整样本的子空间映射比随机初始化稳定得多。另一个常见做法是用多个随机种子初始化取验证集上最好的结果但要注意这样会带来信息泄漏最终评估时要重新跑随机种子的平均结果而不是报最好结果。5.3 视图尺度与模态差异不同视图的特征尺度差异极大这会导致模型偏向数值大的视图。特征取值从 0 到 1 的图像特征和从 0 到 10000 的文本词频特征放在一起优化器会天然把注意力放在数值大的视图上。处理办法是在进入模型前分别对各视图做标准化。需要注意标准化必须基于训练集的统计量不能用全部数据的统计量否则会引入信息泄漏。5.4 测试阶段缺失的处理争议论文里有一类方法是专为“测试阶段视图完整”设计的。也就是说训练阶段允许缺视图测试阶段每个样本都能拿到所有视图。如果你的落地场景是测试阶段也可能缺视图这类方法就不能直接用。我遇到过项目方把训练阶段缺失率设为 50%、测试阶段缺失率设为 0 的论文结果直接照搬结果线上场景里测试数据也缺失效果立刻崩掉。复现前务必看清楚论文的实验协议确认训练、测试阶段的缺失模式是否一致。如果不一致最好自己做一组“测试阶段同样缺失”的对照实验。6. 看完整篇论文后我的实操体会6.1 别急着上复杂模型先跑强基线论文里往往把复杂方法的效果写得非常突出但复现时第一件事应该是把基线跑扎实。我推荐的基线是只保留完整样本跑一个标准的多视图模型。再对比把所有缺失视图置零用一个表达能力足够的单视图模型跑。这两个基线如果表现已经很好说明缺视图没有真正破坏数据结构复杂方法优化的空间其实有限。实践中我遇到过“补齐方法效果不如置零”的情况原因很简单补全误差太大反而污染了原有视图的信息。模型在置零时能学会忽略缺失位置但补全方法会给缺失位置塞入错误内容干扰反而更大。6.2 超参数敏感度要留证据如果你的工作要复现或者在此基础上改进强烈建议记录下每个超参数变化时的性能曲线。论文审稿人最常问的问题就是“你的方法对超参数敏感吗”。提前准备一组网格搜索的曲线结果能省掉大量来回补充实验的时间。另一方面记录超参数敏感性对自己也有价值。有些方法在一个数据集上表现好换数据就失效绝大多数原因是对超参数分布敏感而不是方法本身有缺陷。知道敏感区间换场景时心里就有底。6.3 到底什么场景适合用不完整视图方法回到标题本身“不完整视图”这个问题有没有解法和数据量、缺失率高度相关。个人经验是如果缺失率低于 20%且缺失模式接近随机那直接用完整样本子集训练 简单的零填充推断往往就能达到不错效果如果缺失率超过 30%或者缺失模式与类别相关才值得上不完整视图专用方法如果数据量本身很小图方法和矩阵补全类方法会比深度生成模型可靠得多。最后分享一个从操作中获得的小技巧评估不完整视图方法时除了报告整体精度最好按“完整样本”和“缺一个视图的样本”分别报告精度。这样能一眼看出方法是把完整样本的效果拉上来了还是真的在缺失样本上也有增益。我自己实验里不少方法看起来总体分数很高其实是完整样本贡献的缺失样本上的精度几乎没有变化甚至略降。分开统计之后哪些方法值得保留结论往往和只看总分时完全相反。