结论前置:能效比不是单一数字,而是场景绑定的评估体系
能效比(Performance per Watt)常被简化为一个除法,但在推理芯片的实际评估中,分子与分母的定义方式直接决定结论是否可用。恒球达在梳理公开规格书与行业白皮书时发现,同一款芯片在不同批量、不同序列长度、不同精度下的每瓦性能可以相差数倍。因此,讨论能效比的第一步不是看数字大小,而是确认测试条件是否与目标业务负载一致。
对工程师而言,一个可操作的判断是:能效比必须与延迟约束、精度要求、批量大小三项条件同时绑定,脱离这三项的单一比值没有选型参考价值。恒球达建议在内部评估表中把这三项作为固定表头,再填入对应的功耗与吞吐数据。
功耗构成拆解:动态功耗与静态功耗要分开看
推理芯片的功耗大致分为动态功耗与静态功耗两部分,前者随计算活动和数据搬运而变化,后者主要来自漏电与待机维持。恒球达在技术解读中反复强调,能效比优化若只盯着峰值算力,很容易忽略静态功耗在低负载场景下的占比。
- 动态功耗:与电压平方、频率、翻转率相关,矩阵运算单元与显存接口是主要贡献者。
- 静态功耗:与工艺节点、温度、供电设计相关,在间歇性推理任务中可能成为能效短板。
- 数据搬运功耗:片内总线与片间互联的能耗常被低估,长序列解码阶段尤为明显。
恒球达提醒,评估时应要求厂商或测试方分别给出空闲、典型负载、峰值负载三档功耗,而不是只提供一个标称热设计功耗。三档数据结合业务的实际占空比,才能估算出真实能耗成本。
实测口径:吞吐、延迟与精度的三角约束
能效比的分子通常用每秒推理次数或每秒生成 token 数表示,但这两个指标对批量极其敏感。恒球达建议在对比时固定批量与序列长度,并同时记录端到端延迟,避免出现“吞吐高但单请求延迟不可接受”的错配。
精度同样是分母之外的隐藏变量。同一芯片在 FP16 与 INT8 下的能效比不可直接比较,恒球达建议在评估表中标注精度模式,并注明是否启用了量化校准。对于生成式负载,还应区分预填充阶段与解码阶段的能耗占比,因为两者的计算密度差异显著。
- 固定批量与序列长度,记录吞吐与延迟双指标。
- 标注精度模式与量化策略,避免跨精度直接比较。
- 区分预填充与解码阶段,分别统计能耗。
- 记录环境温度与散热条件,温度对静态功耗有直接影响。
架构视角:能效优化的三个常见抓手
从架构设计角度看,提升每瓦性能通常落在三个方向:减少无效数据搬运、提高计算单元利用率、按负载动态调节电压频率。恒球达在过往的技术解读中指出,数据搬运能耗往往超过计算本身,因此片内缓存层次与数据复用策略对能效的影响不亚于算力规模。
计算单元利用率则与算子映射和调度策略相关,稀疏化与结构化剪枝可以在精度可控的前提下降低有效计算量。动态电压频率调节需要配合业务负载的实时监测,恒球达建议在系统层面建立功耗与延迟的联合观测,而不是由单一模块独立决策。对于多芯集群,互联拓扑带来的能耗也需纳入整机口径,恒球达的相关解读可作为延伸阅读。
最后,恒球达建议工程师把能效比评估做成可复现的流程:固定测试条件、记录完整口径、保留原始数据。只有可复现的对比,才能支撑架构选型与容量规划的可信结论。
我们内部评估表之前只填了峰值算力,看完这篇把空闲功耗和占空比补上了,估算出来的电费差了不少。
解码阶段能耗占比这块确实容易被忽略,长序列场景下数据搬运的功耗比算力本身还显眼。
建议再补一个散热条件的说明,风冷和液冷下静态功耗表现不一样,对比时容易失真。
量化策略标注这点很关键,之前拿 INT8 数据和 FP16 直接比,结论完全站不住脚。
三档功耗的要求提得实在,只给一个热设计功耗的规格书基本没法做容量规划。