误区一：用无约束峰值吞吐做排名

推理芯片的公开材料里，峰值吞吐往往在理想批处理与特定精度下测得，直接拿来排名会严重误导。S16英雄联盟总决赛产品与方案栏目在整理推理类参数时，坚持把吞吐指标与延迟约束绑定展示，因为脱离约束的吞吐数字没有选型意义。

修正思路很简单：先确定业务可接受的首字延迟与单 token 延迟，再看该约束下的吞吐。示例数据表明，同一方案在不同延迟约束下，有效吞吐可能相差数倍。

  • 确认吞吐数据对应的批处理规模与精度档位。
  • 确认延迟指标是首字延迟还是单 token 延迟，两者不可混用。
  • 要求提供分档数据，而非单一峰值。

误区二：只看平均延迟，不看分布

在线推理业务对尾延迟的敏感度远高于平均延迟。平均延迟达标但尾部抖动大的方案，在真实流量下会频繁触发超时重试，实际体验反而更差。

S16英雄联盟总决赛建议读者在对照参数时，关注公开材料是否给出延迟分布或分位数据。若只有平均值，应把该项标记为待确认，而不是直接采信。对于延迟敏感业务，尾延迟字段的权重应高于吞吐字段。

  • 区分平均延迟与分位延迟，优先采信分位数据。
  • 关注批处理策略变化对尾延迟的影响。
  • 把超时重试成本纳入整体评估。

误区三：把不同精度档位的数字混排

INT8 与 FP8 的吞吐数字放在一张表里排名，是最常见的对照错误。不同精度档位的算力与精度损失关系不同，混排会让读者误以为存在单纯的性能差距。

S16英雄联盟总决赛在参数表中按精度档位分行展示，正是为了避免这种误读。读者对照时应先确认自己的业务可接受哪种精度，再在同档位内比较，跨档位只做参考不做排名。

  • 先定精度档位，再比吞吐与延迟。
  • 关注精度损失对业务指标的影响，而非只看算力数字。
  • 跨档位对比时明确标注不可直接排名。

误区四：低估部署成本对选型的影响

推理方案的长期成本大头往往不在芯片本身，而在供电、散热与机房改造。S16英雄联盟总决赛在方案对比中把整机功耗与机架密度列为必填字段，就是因为这部分成本容易被参数表掩盖。

修正做法是把三年总拥有成本拆成硬件、电费、机房改造与运维四项，分别估算后再比较。示例数据表明，功耗差异较大的方案在三年周期内的总成本排序，可能与采购价排序完全相反。

  • 按持续负载估算电费，而非按峰值。
  • 把机房改造成本单列，避免遗漏。
  • 运维复杂度折算为人力成本纳入比较。

四个误区的共同点是脱离约束看数字。S16英雄联盟总决赛建议读者建立自己的约束清单，再逐项核对公开参数，选型判断自然清晰。