这是我被问到的一个问题。你有两台电脑和两个基准测试。第一台电脑上的第一个基准测试表现良好,而第二个基准测试表现不佳。下一台电脑则相反,在第一个基准测试中表现不佳,而在第二个基准测试中表现良好。我们可以假设这个差异是相同的。
根据给出的信息,可以比较这两台计算机吗?
我想说不,因为我们必须知道吞吐量,这意味着我们不知道每次的进程数。
除此之外还有其他原因吗?我的推理正确吗?
答案1
我认为您的推理存在缺陷 - 您说无法比较这两台机器。但仅根据您的描述,我们必须假设这两个基准测试是以类似的方式执行的 - 所以是的,当然,您可以将这两台机器与基准测试进行比较。
但你唯一可以说的是,机器 A 在基准测试 A 上运行得更好,而在基准测试 B 上运行得更差。反之亦然。
如果您想使基准测试结果无效,请寻找结果的相关性、执行方式的相关性以及参与者和测量模式之间的差异。
编辑 -
有关计算机基准测试技术和执行的出色介绍,请查看
Jain, Raj:《计算机系统性能分析艺术》(Wiley,1991 年)
如果允许我写一本,且只能写一本关于基准的书,那一定是这本。