使用 2 台计算机和 2 个基准测试套件进行基准测试

使用 2 台计算机和 2 个基准测试套件进行基准测试

这是我被问到的一个问题。你有两台电脑和两个基准测试。第一台电脑上的第一个基准测试表现良好,而第二个基准测试表现不佳。下一台电脑则相反,在第一个基准测试中表现不佳,而在第二个基准测试中表现良好。我们可以假设这个差异是相同的。

根据给出的信息,可以比较这两台计算机吗?

我想说不,因为我们必须知道吞吐量,这意味着我们不知道每次的进程数。

除此之外还有其他原因吗?我的推理正确吗?

答案1

我认为您的推理存在缺陷 - 您说无法比较这两台机器。但仅根据您的描述,我们必须假设这两个基准测试是以类似的方式执行的 - 所以是的,当然,您可以将这两台机器与基准测试进行比较。

但你唯一可以说的是,机器 A 在基准测试 A 上运行得更好,而在基准测试 B 上运行得更差。反之亦然。

如果您想使基准测试结果无效,请寻找结果的相关性、执行方式的相关性以及参与者和测量模式之间的差异。

编辑 -

有关计算机基准测试技术和执行的出色介绍,请查看

Jain, Raj:《计算机系统性能分析艺术》(Wiley,1991 年)

如果允许我写一本,且只能写一本关于基准的书,那一定是这本。

相关内容