每瓦特智能：AI竞争的新标尺

过去几年，人工智能行业衡量进步的方式非常直接：参数更多、算力更强、基准成绩更高。模型从数十亿参数走向数千亿参数，训练和推理也越来越依赖大型数据中心。但当AI开始进入手机、电脑、汽车和机器人，仅仅追求“最聪明”已经不够。设备有电池限制，企业有能源预算，用户还关心响应速度、隐私与离线能力。AI真正需要回答的问题正在变成：在有限功耗下，一套系统究竟能提供多少有用的智能？Jon Saad-Falcon、Avanika Narayan等人在论文《Intelligence per Watt: Measuring Intelligence Efficiency of Local AI》中，将这一概念称为“每瓦特智能”，即Intelligence per Watt，简称IPW。论文最新版本什么是“每瓦特智能”？传统硬件经常使用“每瓦特性能”衡量能效，例如处理器在消耗一瓦电力时能够完成多少次计算。但对于AI而言，计算次数并不等于任务价值。一款芯片即使每秒生成大量文字，如果答案不准确，这些计算也不能被视为有效智能。因此，论文将IPW定义为：每瓦特智能＝任务准确率÷平均推理功率这一指标同时考虑模型能力和硬件效率。模型回答得越准确、运行功率越低，IPW就越高。论文还引入了“每焦耳智能”，即任务准确率除以完成一次查询所消耗的总能量。两者关注的问题略有不同：每瓦特智能衡量系统在给定功率下提供智能的能力；每焦耳智能还将生成答案所需的时间计算在内，更接近一次完整交互的实际能源成本。这一区分十分重要。低功耗设备可能每秒消耗的电力较少，但如果回答速度非常慢，总能耗未必更低。因此，评价本地AI不能只看功率，也不能只看生成速度，而应同时观察准确率、功率、延迟与每次查询的能耗。百万次查询揭示了什么？研究团队测试了20多款本地语言模型、8类硬件加速器以及超过100万条查询。数据包括50万条真实聊天请求、50万条