大模型速度测试报告

一个请求算「好」= 同时满足全部三条约束（SLO 是联合条件，不是分别打分再平均）。分母是本次运行发出的全部请求，不是「成功的请求」——把失败请求排除在分母外，会让达标率系统性偏乐观。
ITL 口径：GenAI-Perf（机器名 genai-perf，(E2E-TTFT)/(completion_tokens-1)，不含 TTFT）。LLMPerf 用的是含 TTFT 的口径，同一份数据两者能差 70% 以上，所以口径必须写明，否则数字不可比。
生成不足 2 个 token 的请求没有「token 间隔」可言，ITL 约束对其不适用也不判负（本次 11 条）。

一个请求可同时违反多项，故各行之和 ≥ 未达标数（4）。

「执行状态」只说明用例跑完没抛异常；「评测结论」才是断言是否全过——此前二者混为一谈，未做任何正确性判定。

档位字段 context_tokens_target（上下文 token）；用例级中位数取最慢档，档间差异是设计差异、不是抖动——所以各档的 CV / 稳定性才是抖动指标。
逐档达标率连起来就是这条曲线要回答的问题：从哪一档开始掉出 SLO（口径与阈值见下面的「SLO 达标率」一节）。
跨档混合中位数为 291.88 ms，不对应任何真实工况，仅列此备查。

档位字段 reasoning_level（推理档位）；用例级中位数取最慢档，档间差异是设计差异、不是抖动——所以各档的 CV / 稳定性才是抖动指标。
逐档达标率连起来就是这条曲线要回答的问题：从哪一档开始掉出 SLO（口径与阈值见下面的「SLO 达标率」一节）。
跨档混合中位数为 2295.83 ms，不对应任何真实工况，仅列此备查。

这是累积增长的序列（字段 round），不是同一工况的重复测量——中位数/P95 在增长曲线上没有意义，故不计算，只看逐轮变化。首轮到末轮增长 8.5%。

档位字段 context_tokens_target（上下文 token）；用例级中位数取最慢档，档间差异是设计差异、不是抖动——所以各档的 CV / 稳定性才是抖动指标。
逐档达标率连起来就是这条曲线要回答的问题：从哪一档开始掉出 SLO（口径与阈值见下面的「SLO 达标率」一节）。
跨档混合中位数为 820.01 ms，不对应任何真实工况，仅列此备查。

输出 token 固定为 8，重点看 prefill 与首 token，不看长输出 decode；测试档位 [32000, 64000, 96000, 128000]。

横轴为各历史运行（每次运行一根柱子），纵轴为该运行所有用例平均延迟的均值；橙色柱为当前正在查看的运行。
口径标记 measure_version = cases_v6_prompt_token_capture，只对比同口径的运行。另有 7 次旧口径运行未纳入对比（数字仍保留在 data/results/）。

平均延迟取各次重复的均值，中位延迟取中位数—— 重复次数少时二者差距本身就是抖动信号，故并列显示；判断稳定性看中位数与标准差。