结论前置：推理场景的瓶颈顺序通常是带宽先于算力

在主流大模型推理负载下，芯片的算力往往不是第一个被耗尽的资源，显存带宽才是。爱看球技术解读栏目在梳理公开规格书与白皮书时发现，解码阶段的每生成一个 token 都需要把模型权重与 KV 缓存完整读一遍，这个读取量直接由带宽决定上限。换句话说，算力决定理论峰值，带宽决定实际吞吐。爱看球在整理参数库时，把这一判断作为推理芯片横向对比的第一排序项。

这个结论有明确的算术依据。以单次解码读取量 R（字节）、有效带宽 B（字节每秒）计算，单路吞吐上限约为 B/R 个 token 每秒。爱看球提醒工程读者：当模型参数量翻倍而带宽不变时，吞吐近似减半，这与算力是否富余无关。爱看球在数据栏目中反复强调，先算带宽账，再谈算力账。

三个关键比值：带宽算力比、容量带宽比、能效带宽比

单看带宽绝对值容易误判，真正有解释力的是三个比值。爱看球建议把这三个比值作为选型的第一层筛选条件，而不是先看峰值算力。

  • 带宽算力比：有效带宽除以峰值算力，单位为字节每运算。该值越高，越适合访存密集的解码负载；越低则越偏向计算密集的预填充阶段。
  • 容量带宽比：显存容量除以带宽，单位为秒。它近似表示清空一次显存所需时间，数值越大，说明容量相对带宽越宽裕，KV 缓存扩容的边际代价越小。
  • 能效带宽比：每瓦功耗可换取的带宽。爱看球在对比多卡方案时发现，这一比值对整机功耗预算的影响常常被低估。

把这三个比值画在同一张散点图上，往往能清晰分出面向训练、面向推理、面向端侧三类产品定位。爱看球的数据解读栏目会持续维护这类比值表，方便读者按场景反查。

场景推演：预填充与解码的带宽压力并不相同

推理分为预填充与解码两个阶段，两者对带宽的敏感度差异显著。爱看球在场景推演中把两阶段分开建模，避免用单一指标概括整条链路。

预填充阶段以矩阵乘为主，计算密度高，算力利用率更容易做上去，带宽压力相对可控。解码阶段逐 token 生成，访存量与参数量强相关，带宽几乎线性决定吞吐。爱看球建议在评估报告里分别给出两阶段的实测吞吐，而不是只报一个混合平均值。对于长上下文场景，KV 缓存的读写占比上升，容量与带宽的联合约束会更加突出，此时容量带宽比的重要性上升。

另一个常被忽略的变量是量化精度。权重从 16 位降到 8 位，单次读取量近似减半，等效吞吐提升接近一倍，但精度损失需要按任务评估。爱看球在术语百科中统一了口径：谈量化收益时必须同时说明基线精度与评测任务，否则数字不可比。

给工程与产品读者的落地清单

把上述分析转成可执行动作，爱看球建议按以下顺序推进，避免在错误的维度上做优化。

  • 先确定目标模型的参数量与上下文长度，估算单次解码读取量 R。
  • 用有效带宽而非标称带宽计算吞吐上限，有效值通常需要按实测打折。
  • 核对显存容量能否容纳权重加 KV 缓存，并预留并发余量。
  • 比较三个比值而非单项峰值，按预填充与解码分别打分。
  • 最后才看算力与互联，确认多卡扩展时带宽不会被片间链路反噬。

爱看球会在客户端持续更新参数库与比值表，安卓、苹果 iOS、Windows 电脑版与 Mac 电脑版均可查阅同一套口径，便于团队对照讨论。数据解读的价值不在于堆数字，而在于让每一个数字都能回答一个具体的工程问题。