EoRA：压缩大模型中的「救命稻草」？——一种基于特征空间低秩近似的无训练补偿方法

📜 引言在当今这个「大模型横行」的时代，如果说我们对LLM（大规模语言模型）有什么不满，那就是它们的体积太大了——不管是模型的参数数量还是推理的计算成本，都让人感到「沉重如山」。这就好比你想带着一只巨大的恐龙去散步，步子迈得慢，消耗的干草还特别多。于是，有人提出：要不我们给恐龙减减肥？这就是模型压缩的初衷，目标是减少模型的体积，使其在不大幅牺牲性能的情况下更加轻巧灵活。但问题来了，压缩之后的模型总是「体重是轻了，脑子不灵了」，性能下降成了压缩的一个副作用。现有的压缩方法，不是需要大量的训练时间，就是在精度上损失惨重，或是受到一些特定压缩格式的限制（比如 2:4 稀疏性、3/4-bit 量化）。面对不同用户的多样需求，这些方法显得有些「固执己见」。那么，我们能不能既不让模型变得笨拙，还能快速进行调整呢？这时，我们的主角 EoRA（Eigenspace Low-Rank Approximation）登场了。EoRA 的核心思想是：不再通过传统的梯度训练，而是通过特征空间的低秩残差路径，来补偿压缩模型中的「智商损失」，从而在保持灵活性的同时，快速优化模型性能。让我们一起来揭开这项技术的神秘面纱。🧐 问题再定义：压缩不是终点，补偿才是关键传统的模型压缩方法，目标是将模型通过剪枝、量化等手段缩减体积，减少推理成本。然而，这往往伴随着性能的下降。面对这种情况，我们提出了一个有趣的想法——压缩不该只是简简单单地「瘦身」，而是应该通过一定的补偿机制，来弥补压缩带来的「认知差距」。这就好比给一个减肥失败的胖子找了一件合身的衣服，让他看起来既苗条又精神。那么如何找到这件「合身的衣服」呢？EoRA 提出了通