Chinchilla缩放定律：算力固定下如何平衡参数量与数据量

如果你亲手训练过大语言模型大概率会遇到同一个灵魂拷问预算就这么多到底应该把参数量做大还是把训练数据堆多Chinchilla缩放定律给出的回答非常干脆——在算力固定的情况下参数量和数据量应该按同等比例放大最优组合附近每个参数大约配20个训练token。这篇文章围绕2022年提出的Chinchilla缩放定律把N_opt K^N * C^a、D_opt K^D * C^b这两个核心公式从符号含义、实验推导、实际选型到常见误用全部讲清楚并结合我在真实训练项目中踩过的坑给出一份可以直接对照使用的决策参考。适合正在做大模型预训练、扩展模型或设计数据配比的同学阅读也适合刚接触Scaling Laws、想建立直觉的入门者。1. 标题拆解Chinchilla缩放定律到底说了什么1.1 公式里的符号都是什么先把标题里这一串东西拆开。C是总算力通常用FLOPs浮点运算次数来衡量它描述的是你训练整个模型花了多少计算量。N_opt是“计算最优”的模型参数量D_opt是对应的最优训练数据量单位是token。这俩都带个下标opt意思是“在给定算力下能让最终训练损失最低的配置”。公式写出来就是N_opt K^N * C^0.5D_opt K^D * C^0.5两个公式里的指数a和b都是0.5。这里的K^N和K^D是比例常数标题里有一句很重要的说明——它们“基于实验标定”不是纯理论推导出来的后面我会专门讲为什么。还有一个牌子一样醒目的结论D / N_opt ≈ 20。它说的是在计算最优配置附近每个参数大约需要20个训练token。例如一个70B参数的模型配约1.4T token的数据来训练就落在Chinchilla定律的甜点区。这里有个容易误解的点需要澄清“等比例增加”不是说算力翻倍、参数和数据也翻倍。指数是0.5所以算力变成2倍时参数量和最优数据量都乘以√2 ≈ 1.414算力变成4倍时参数量和最优数据量才翻倍。它强调的是——参数增速和数据增速要一致而不是一个快一个慢。1.2 ab0.5带来的观念转变从“重参数”到“均衡配比”在Chinchilla研究出现之前更早的缩放定律分析给了一个很流行的结论模型的参数量应该快速增长数据量增速则可以慢一些。受那个结论的影响很多团队做模型时习惯死命堆参数数据规模却跟不上结果训练出一堆“看起来很大、实际泛化很一般”的模型。Chinchilla用一组对比实验把这件事纠正过来了。它发现如果你把参数量做大了但数据量没有同步提升那么模型规模和计算量带来的收益会被数据短板吃掉。反过来如果你只堆数据、模型规模不变收益同样会递减。只有参数量和数据量保持一个稳定的比例算力才能被最有效地转化成模型能力。我常用一个生活类比来说明这件事参数量好比一个人的大脑容量数据量好比这个人读过的书、见过的世面。一个记忆力超强但书读得很少的人知识水平终究有限一个读了很多书但脑子容量不够的人读进去的东西也装不下、消化不了。给定时间和金钱预算最好的策略不是把钱全砸在一方面而是让两者均衡增长。Chinchilla给出的“均衡点”就是D/N ≈ 20。这个结论本身不复杂但它的工程影响极其深远。后来很多大模型训练方案都从“拼命扩参数”转向了“数据规模与模型规模同步扩大”因为大家逐渐意识到模型要变强更像是一场数据与参数的双人舞而不是单腿跳。2. 缩放定律背后的推导逻辑与实验设计2.1 训练损失拆成三段模型能力、数据覆盖、终极不可约Chinchilla缩放定律不是凭空拍脑袋想出来的它背后有一个很优雅的损失函数模型。研究者把语言模型的训练损失近似拆成三部分L(N, D) ≈ E A / N^α B / D^β这个公式的意思是最终损失由三块贡献组成E是“不可约误差”代表任务和数据本身固有的难度无论模型多大、数据多少都无法消除。A / N^α代表“模型能力不足”带来的损失。参数越多这一项越小但减小的速度会越来越慢所以用幂指数α控制衰减速度。B / D^β代表“数据不够”带来的损失。数据越多这一项同样越小衰减速度由β控制。同时还有一个计算量的近似约束C ≈ 6 * N * D。为什么是6因为训练一个token模型前向传播大约需要2倍参数量的FLOPs反向传播大约需要4倍参数量的FLOPs加起来约6倍。这是一个常用近似值实际会因模型结构、激活重计算、并行策略等因素有所浮动但用来做决策量级估算完全够。现在把C 6ND当作约束条件也就是固定预算C然后去最小化损失L(N, D)。把D C / (6N)代进去损失函数就变成了只关于N的函数。对这个函数求导并令导数为零就能解出最优的参数量。推导结果是一个幂律关系N_opt ∝ C^(β / (α β))D_opt ∝ C^(α / (α β))。当α和β都接近0.5时两个指数都趋近于0.5。这就是标题里ab0.5的数理来源。2.2 为什么K^N、K^D只能实验标定既然公式形式都推出来了为什么不直接把它当物理定律用因为公式里的E、A、B、α、β这些常数无法从理论第一性原理精确算出来。它们和你的数据分布、分词器、词表大小、batch size、优化器、甚至学习率调度都有关系。换几套语料、换一个tokenizer最优数据量和参数量之间的比例就可能从20变成18或者22多语言数据、代码数据、数学数据在相同参数规模下需要的token量也不一样。这就是为什么标题特意强调K^N、K^D要“基于实验标定”。在实际项目里我不建议直接照搬别人论文里的常数。更稳妥的做法是自己先跑一组小规模标定实验固定几个算力档位训练一系列小模型记录它们在每个算力下的最低损失然后反推出自己数据环境下的K值。这个过程听上去麻烦但它能帮你省下后面动辄几十万GPU时的大决策失误。2.3 固定算力下的对比实验设计方法Coworkers不是自己说“0.5”就说“0.5”它靠的是一整套固定算力的对比实验。具体思路可以概括成下面几步选定几个算力档位例如1e16、1e18、1e20、1e22FLOPs。在每个档位下构造多组(N, D)组合保证训练消耗的总FLOPs小于等于该档位预算。把所有组合训练到相同的目标步数或数据吞吐标准记录各自的最终验证损失。把每个算力档位下损失最低的那个组合挑选出来这一组(N, D)就是这个算力下的“计算最优配置”。把不同算力档位的最优配置放在对数坐标下拟合就会得到近似直线的幂律关系斜率就是指数0.5截距就是标定常数K。这个实验开销不小要训练很多小模型才能换来一条可信的曲线。但它的价值在于把“拍脑门决定模型多大、数据多少”变成一个有据可依的工程决策。后来很多团队做超大规模训练前都会先做一轮类似的小规模scaling law标定本质上都是在复用这套方法论。3. 实操给定GPU预算怎么算出最优参数量和数据集大小3.1 三步计算法理解了公式下一步就是把它用到自己项目里。我一般按三步走第一步估算总算力C。最直接的办法是用理论峰值乘以实际利用率C GPU数量 * 单卡算力 * 运行秒数 * MFU。MFU是模型利用率通常训练大模型时在0.3到0.5之间取决于卡间通信、数据加载、算子优化水平。别直接按峰值算否则你后面所有决策都会偏乐观。第二步用简化公式算参数量。因为C ≈ 6ND而D/N ≈ 20所以C ≈ 6N * 20N 120N²反推一下就是N_opt ≈ sqrt(C / 120)第三步用D_opt ≈ 20 * N_opt算出需要准备的有效数据量。注意这里说的是“去重后、清洗后的有效token数”不是你硬盘里的原始文本总字节数。举个例子。假设你手头有100张GPU单卡有效算力1e14 FLOPs/s跑30天那么C ≈ 100 * 1e14 * 86400 * 30 ≈ 2.59e23 FLOPsN_opt ≈ sqrt(2.59e23 / 120) ≈ 46.5BD_opt ≈ 20 * 46.5B ≈ 930B token如果MFU只有0.4实际有效算力要打四折最优参数量就会降到约29B对应数据量约580B。很多项目跑完才发现自己模型配大了往往就是漏算了MFU这一项。3.2 不同算力量级下的配置示例我把几个典型档位的计算结果整理成了表格方便你快速对照。总算力C最优参数量N_opt约最优数据量D_opt约典型场景1e18 FLOPs91M1.8B token单卡或小规模标定实验1e21 FLOPs2.9B58B token小集群、单周级预训练1e23 FLOPs28.9B578B token中型集群、多周级预训练1e24 FLOPs91B1.82T token大型集群、前沿规模预训练这些数字看一眼就明白一个事实真正想训一个“很大”的模型数据量必须同步做到非常夸张的程度。如果你手上只有300B去重后的高质量文本那Chinchilla告诉你更合理的选择是训一个约15B的模型而不是硬上一个70B的模型。硬上也不是不能训但你会处在“数据不足”的低效区花出去的钱换不回相应的损失下降。3.3 结合D/N≈20调整数据策略实操里你会遇到一个现实问题语料规模已经定了但模型大小还没定。这时候可以用倒推法直接用N_opt ≈ D / 20反算模型参数量。例如团队辛辛苦苦收集、清洗、去重后最后拿到的是400B有效token。那么最匹配的参数量就是20B左右。你硬要训35B模型也不是不行但是数据短板会让它的损失偏离计算最优曲线如果后期还想通过repeat数据来补效果会越来越差。另外一个常被忽略的点是数据质量比数据数量更影响“有效token数”。同样1T原始文本去重前算成1个T去重后可能只剩600B质量筛选后再砍一刀可能只有400B是真正高质量的。Chinchilla公式里的D是“有效信息量”不是“磁盘上的字节数”。所以我在项目里清洗和去重永远是第一步脏数据等于凭空抬高算力预算还毫无收益。4. 避坑指南常见误区与排查技巧实录4.1 只扩参数不补数据模型会“虚胖”过去我踩过最典型的坑就是模型加了参数数据量没跟上结果Loss曲线迟迟下不去。举个近似案例。某团队最初用1.2B模型、40B token训练效果不错。下一轮他们直接把模型扩到2.5B数据仍然是40B。按公式算一下C 6 * 2.5B * 40B 6e20 FLOPs最优参数量应该是sqrt(6e20 / 120) ≈ 2.24B最优数据量约44.8B。所以2.5B配40B已经有点“数据偏少”了。如果差距更大比如3B模型配20B数据那损失基本可以预见的比别人同算力下的均衡配置高出一截。这种“虚胖”模型的典型表现是训练Loss下降速度还行但验证集或下游任务上的泛化能力远低于同算力下的均衡模型。原因就是模型容量过大训练数据覆盖不足模型开始死记硬背训练集里的表面模式而不是学到可迁移的规律。所以我在决定扩参前一定会先用公式倒推一下当前数据量配多少参数合理。如果数据量撑不起那就不扩参优先去扩充或清洗数据。4.2 数据堆太多、模型太小算力被浪费在平台期反过来也有问题模型太小数据拼命堆损失曲线会进入平台期。你把数据从100B加到200BLoss几乎不动因为瓶颈已经不是数据而是模型容量。典型的表现是训练Loss在中后期下降极其缓慢验证集指标长时间不涨。这时候你再去做数据清洗、加数据配比都是浪费功夫。正确做法是检查当前N / D比值。如果模型只有500M参数却配了50B数据那D/N 100明显偏离20说明模型是瓶颈。此时应该考虑增大模型哪怕把数据裁剪掉一部分用同样的算力也会更划算。做项目久了你会形成一种直觉看Loss曲线卡住的时候别急着调整超参或数据先算算配置在不在计算最优附近。4.3 重复epoch不等于新增数据这是一个非常隐蔽的坑。很多人发现自己数据不够时会选择把已有数据多跑几个epoch认为数据量就“等于”原始规模乘以重复次数。这是完全错误的。Chinchilla实验里的数据量本质上指的是“有效且多样化的训练token数”不是训练总步数除以epoch数。重复数据虽然在算力上确实多花了FLOPs但它带来的信息增量一次比一次少。你把15B的数据重复4遍得到的收益远不如引入60B的新数据。硬要算你可以把重复数据当作“数据增强”但它不能替代新语料。我见过不少项目把同一个数据池反复训练表面上看总token数很大模型验证集却不涨反降。查看日志就会发现验证集在第一个epoch时最好后面每次重复都在缓慢变差。这就是过拟合前兆。遇到这种情况正确的做法是把模型缩小或者去收集更多说人话的新数据而不是继续repeat。4.4 公式是均值趋势别当成物理定律Chinchilla缩放定律适用范围是“自回归语言模型的预训练阶段”。如果你在做指令微调、RLHF、多模态模型或MoE混合专家模型直接套用D/N≈20会出大问题。MoE模型把参数量拆成“总参数”和“激活参数”计算量和参数量之间的关系不再是6ND这么简单。多模态模型的文本token和图像token信息密度差异很大D的物理含义会变化。微调阶段数据量往往是千万级甚至百万级与预训练的万亿级完全不是一回事Chinchilla曲线在这里没有指导意义。分词器不同同一个N下能容纳的信息量也不一样。中文按字切和按词切最优D/N比例会出现可感知的偏移。所以我建议每个团队做一个自己的“小表”用自己的数据、自己的tokenizer、自己的优化器跑几组小模型把本地K值标定出来。别人论文里的曲线可以当Road Map但不能当你的施工图。5. 写在最后我实操中的几点体会5.1 一次缩参反而变好的实验记录我印象最深的一次项目就是老老实实按Chinchilla公式做了一次“缩参”。当时预算已经定了按老思路我习惯性把模型配成了3B参数、30B token。算下来总算力是6 * 3B * 30B 5.4e20 FLOPs。按公式一算这个算力下的最优参数量应该是sqrt(5.4e20 / 120) ≈ 2.1B最优数据量约42B。也就是说当时配置偏向了“大参数小数据”。后来我把方案改成2B参数、40B token总FLOPs基本不变但最终验证损失明显更低。这个结果让我很震惊——硅的成本没有变仅仅把参数和数据比例调均衡效果就上去了。自那以后我每次开新方案前都会先算这一步少走了很多弯路。5.2 标定实验值得当“基建”来做最后再分享一个心得标定实验不是可有可无的学术练习它是降低大模型训练风险的基础设施。如果你准备长期做这个方向我强烈建议抽一组算力跑几十个小模型画一张自己的“最优参数-算力”曲线。用这个曲线去推算不同预算下该用多大的模型、配多少数据比每次拿论文常数拍脑袋可靠得多。有了本地K值你还能识别出某个模型表现“异常”是不是因为数据配比出了问题这个诊断能力在debug时非常值钱。我自己现在的流程很简单新项目启动先用小数据和小模型把K值标出来再套公式算总预算下的大模型规模然后按D/N≈20去倒推数据采集和清洗目标。整个过程就像用一把自己校过的尺子去量东西心里踏实很多。Chinchilla定律的精髓不在于那几个常数而在于它提醒你算力是硬约束参数量和数据量是联合优化的变量唯一靠谱的做法是让它们一起增长而不是赌一边。