Учитывая достаточно подробную информацию о ПК, можно ли рассчитать точный тест?

Question

Если я знаю достаточно о конкретной компоновке компьютера, возможно ли практически создать эталонный тест на основе спецификации компонентов?

Например, я буду знать скорости графического процессора и процессора, набор микросхем (плюс все скорости ввода-вывода), скорость памяти / каналы и т.д., И я хотел бы построить тесты на основе формул (а не тестов программного обеспечения).

Это представляется возможным, поскольку все компоненты должны работать на заявленной производителем скорости. Недостатком является то, что это будет теоретический эталон, зависящий от качества сборки материнской платы и компонентов, которые иногда могут быть переменными.

Мой вопрос: возможен ли этот подход, а если нет, то каковы факторы, препятствующие точной формуле эталонных показателей?

Кто-нибудь видел какие-либо алгоритмические подходы к бенчмаркингу?

Примечание: это связано с моим исходным постом (учитывая спецификацию процессора, как я могу определить, какую оперативную память он может использовать?). Теперь у меня появилось больше понимания важности чипсета, я перебираю вопрос.

Заранее спасибо,

Райан

Answer 1

Какую точность для эталонного теста вы ожидаете и какой тип эталонного теста вы хотите оценить? Если вам подойдет точность 5-10%, то вы можете попробовать. Вам придется собирать результаты тестов из разных журналов и сайтов ПК и часто обновлять базу данных, чтобы иметь возможность тестировать различные конфигурации.

В любом случае вам также придется приблизить некоторые результаты, потому что вы не сможете найти тесты для любой конфигурации, доступной на рынке. Например, вы нашли результаты тестов для чипсетов X и Y для процессора Intel 2 ГГц. Также у вас есть тесты для процессоров с тактовой частотой 2,0 ГГц и 2,33 ГГц, но для чипсета Z. Если скорость 2,33 ГГц выше, чем 2,0 ГГц, скажем, 10% на чипсете Z, можно ли ожидать, что он будет быстрее на 10% на чипсетах X и Y, поэтому Вы можете умножить свои предыдущие тесты на 1.1 ??? Это разумно, но это будет только приблизительный результат.

Также учтите, что не существует эталона, который подходит всем пользователям, и каждый эталон может зависеть больше от одних компьютерных компонентов и меньше от других. Например, если мы хотим измерить операции с плавающей запятой, мы получим лучшие результаты на более мощном процессоре. Если мы запустим бенчмарк-тест для базы данных Access, мы увидим, что результаты зависят от производительности жесткого диска гораздо больше, чем от процессора и так далее.

Теоретические тесты в какой-то момент становятся бесполезными для конечных пользователей, потому что конечные пользователи хотят знать, на каком ПК Vista будет запускаться быстрее, или FireFox откроет веб-сайт быстрее, и на нем потребуется меньше времени для сохранения огромного 20-мегабайтного документа Office. , Конечные пользователи редко заботятся о количестве операций с плавающей запятой.

Answer 2

Это хорошая идея, но я не думаю, что это действительно реалистично. Я видел, как одно и то же оборудование генерирует разные результаты тестов, основанные на необнаружимых различиях (предположительно, связанных с программным обеспечением).

Возможно, вы сможете сгенерировать ряд ожидаемых диапазонов для конкретных аппаратных конфигураций, используя основанный на фактических данных подход, который объединяет фактические тесты, но даже это не будет особенно точным.

Короче говоря, я считаю, что ответ нет, вы не можете.

Answer 3

Этот вопрос напоминает мне о популярной проблеме « сколько настройщиков пианино в городе ».
Теперь я знаю, что многие люди найдут недостатки в этой ассоциации,
Вот как я бы хотел это объяснить.
Пожалуйста, обратите внимание, я не говорю, что это та же проблема - просто несколько похожая.

То, что вы пытаетесь сделать, это
получить контрольную цифру (количество настройщиков фортепиано)
от различных других результатов, которые могут не коррелировать вместе.

Вы могли бы приблизить некоторые правила деривации, чтобы прийти к эталону,
однако, ряд параметров (субъективно для каждой рассматриваемой конфигурации)
приведет к тому, что ваш вычисленный показатель будет произвольно отклоняться от фактических значений.

Существующие инструменты бенчмаркинга сами имеют трудное время воспроизведения результатов
и нравится многое диктовать на условиях испытаний.

Answer 4

Вы должны иметь в виду, что будут сценарии, которые вы не сможете предсказать ... например, представьте:

• Два процессора A и B, где было показано, что скорость B примерно в 1,5 раза выше, чем у A в других идентичных системах
• Новая материнская плата X, протестированная с процессором A, дает ей 1,1-кратное увеличение по сравнению с предыдущим результатом благодаря оптимизации в чипсете

Означает ли это, что вы можете сделать вывод, что B также будет в 1,1 раза быстрее в X? Не обязательно; вполне возможно, что хотя набор микросхем теоретически лучше по этому фактору, но он все же может иметь некоторый (пока еще) необнаруженный предел пропускной способности, который не позволяет ему масштабировать более чем в 1,5 раза производительность A, поэтому более высокая производительность уже B использует весь этот запас.

И это всего лишь один пример ... между различными компонентами системы будут существовать бесчисленные ограничения, подобные этим, и некоторые из них никогда не будут обнаружены, пока не будет собрана только правильная комбинация компонентов. В результате любое алгоритмическое приближение, несомненно, приведет к множеству неожиданных угловых случаев, которые окажутся крайне неточными.