principle-explain-the-number
解释这个数字
Section titled “解释这个数字”- 问「为什么不是两倍?」 说出卡住结果的资源或代码路径,例如某个核心、一把锁、磁盘、网络,或施压程序本身。依据必须来自一次运行中的剖析(profile)或系统计数,再对应到源码。光读代码猜出来的,不算限制因素。如果你说不出这个数字为什么没有好一倍,你就并不知道自己测的是什么。
- 列出这个数字还可能在测别的什么,并用证据逐条排除。 常见的有:出错、工作被跳过或命中缓存、代码根本没跑、某一方没调优(留在默认设置)、随机波动,以及改动部分小到对整条路径不重要。
- 把证据和数字放在一起。 在笔记或一份链接到的产物里写上运行次数、波动范围和限制因素。
性能数字要完整走一遍 benchmark-checklist。评测结果问同样的事:每次是否真的完成了任务,差距在多次试验和不同模型之间是否成立,这个场景是否重要。
证据里没有运行次数、没有波动范围、或没有点名的限制因素,或者声称节省的时间比被改的那部分原本花的还多,就是跳过了这条原则。
这和 Prove It Works 不同。那条检查产出是真的。
