批处理策略决定实际吞吐

推理芯片的算力只是上限，实际吞吐由批处理策略决定。S16英雄联盟总决赛产品与方案栏目在整理推理类方案时，把批处理策略与延迟目标一起展示，因为同样的硬件在不同策略下表现差异明显。

本文按批处理策略划分三类匹配类型，说明各自适配的业务形态与常见取舍。文中涉及的策略描述基于公开技术资料，不指向具体产品。

静态批处理：吞吐优先，延迟让步

静态批处理把固定数量的请求凑成一批处理，优势是吞吐高、实现简单，劣势是延迟随批大小上升，低流量时资源利用率下降。

  • 适配离线批处理与延迟容忍度高的业务。
  • 关注批大小与延迟的公开对照数据。
  • 低流量时段需评估资源闲置成本。

S16英雄联盟总决赛建议读者把静态批处理方案与离线任务匹配，在线业务慎用，除非延迟目标宽松。

动态批处理：平衡吞吐与延迟

动态批处理按请求到达情况调整批大小，在吞吐与延迟之间取平衡。适配大多数在线推理业务，优势是资源利用率较高，劣势是策略调优需要经验。

  • 关注公开材料是否给出不同负载下的延迟分位数据。
  • 评估策略调优的人力投入。
  • 把尾延迟纳入评估，动态策略在流量突增时可能出现抖动。

这类方案在S16英雄联盟总决赛方案库中按延迟目标分组，读者可按业务延迟要求直接过滤。

连续批处理：低延迟优先，实现复杂

连续批处理在生成式任务中按 token 粒度调度，优势是首字延迟与单 token 延迟表现好，劣势是实现复杂、对调度系统要求高。

  • 适配生成式在线业务与延迟敏感场景。
  • 关注调度系统与芯片工具链的适配程度。
  • 评估实现复杂度对项目排期的影响。

S16英雄联盟总决赛提醒读者，连续批处理的效果高度依赖软件栈成熟度，参数表上的算力数字不能直接反映实际表现。

按业务形态匹配策略类型

离线批处理优先静态策略，在线通用业务优先动态策略，生成式延迟敏感业务优先连续策略。三类策略没有绝对优劣，匹配业务形态才是关键。

S16英雄联盟总决赛建议读者先用业务延迟目标与流量特征定位策略类型，再在同类型方案内比较参数与部署细节，这样对照效率更高，判断依据也更清晰。