Тест с 2 компьютерами и 2 наборами тестов

Question

Это вопрос, который мне задавали. У вас есть два компьютера и два теста. Первый бенчмарк работает хорошо, а второй бенчмарк не на первом компьютере. Следующий компьютер делает обратное, делая плохие результаты на первом и втором тестах. Можно предположить, что эта разница одинакова.

Из этой информации можно сравнить два компьютера?

Я бы сказал нет, потому что мы должны знать пропускную способность, то есть мы не знаем количество процессов за раз.

Кроме того, были бы какие-то другие причины и правильны ли мои рассуждения?

Answer 1

Я думаю, что в ваших рассуждениях есть недостаток - вы говорите, что невозможно сравнить две машины. Но имея только ваше описание, мы должны предположить, что эти два теста были выполнены сравнимым образом - так что да, конечно, вы можете сравнить эти две машины с тестами.

Но единственное, что вы можете сказать, это то, что машина A лучше работает в тесте A и хуже в тесте B. И наоборот.

Если вы хотите аннулировать результаты теста, посмотрите на релевантность результата, релевантность в том, как он был выполнен, а также различия между участниками и способ измерения.

Редактировать -

для отличного введения в методы и выполнение компьютерных тестов, взгляните на

Jain, Raj: Искусство анализа производительности компьютерных систем (Wiley, 1991)

Если бы мне разрешили одну и только одну книгу о тестах, вот и все.