principle-explain-the-number
更新于 2026-11-17
解释这个数字
Section titled “解释这个数字”- 运行前先写下要做的决定。 说清什么结果会改变决定,以及噪声底线。如果多次运行的波动大于效果,就停止。
- 问「为什么不是两倍?」 从一次运行中的 profile 或计数器找出限制结果的资源或代码路径。光读代码猜出来的,不算限制因素。
- 列出这个数字还可能在测什么(出错、跳过或命中缓存的工作、根本没运行的代码、未调优的一方、噪声、对端到端结果影响太小的部分),并用证据逐项排除。
- 把运行次数、波动范围和限制因素与数字放在一起。
性能数字要使用 benchmark-checklist skill。评测结果也要问:每次是否都完成任务,差距在多次试验和不同模型之间是否成立,这个场景是否重要。
