0 просмотров
Рейтинг статьи
1 звезда2 звезды3 звезды4 звезды5 звезд
Загрузка...

Есть ли смысл в бенчмарках

Есть ли смысл в бенчмарках?

Практика использования бенчмарков для определения производительности уходит корнями к синтетическим тестам для обычных ПК, а широкое распространение в отношении мобильных устройств приобрела сравнительно недавно — в 2008 году, после выхода Android. Конечно, бенчмарки для мобильных операционных систем существовали и ранее, но, как ни странно, почти не использовались — их «мнение» при выборе гаджета мало кого интересовало. Так что же привело к взлёту популярности синтетических тестов, и нужны ли они сегодня?

Доказательства неопровержимы

MediaTek развернула целую кампанию по обману бенчмарков, а через них – и потребителей. Специалисты AnandTech обнаружили в файлах прошивки Oppo Reno3 Pro файл power_whitelist_cfg.xml, название которого уже само по себе вызывает подозрение. Его содержимое пролило свет на то, что PCMark – далеко не единственный синтетический тест, который MediaTek хотела контролировать.

Обнаруженный файл включает в себя настройки управления питанием процессора для тестов GeekBench, AnTuTu, 3DBench и др., в том числе и GFXBench. Для каждого из них файл менял настройки параметра «спортивный режим» (Sports Mode), в котором процессор мог быстрее развить максимальную частоту процессора и удерживать ее в течение длительного времени, тем самым выдавая на выходе более высокую производительность и, соответственно, большее количество баллов по итогам тестирования.

Управление энергопотреблением

Конечно, производитель мог бы разрешить процессору смартфона работать на полную катушку и в других задачах, а не только тестах. Но этому мешают объективные причины. Тестирование, как правило, длится краткое время, и смартфон не успеет достичь критического перегрева или разрядиться. Поэтому производитель допускает нагрузки сверх нормы.

Если говорить о прикладном ПО (например, играх или плеерах), нагрузка запросто может длиться не 10 минут, а несколько часов. Если чипсет все это время будет работать на полную мощность – он перегреется, а заряд батареи уйдет на глазах. Инженеры не могут позволить этого: смартфон, который перегревается и не держит заряд, никому не нужен. Поэтому, для достижения золотой середины между скоростью и автономностью, они разрабатывают специальные режимы управления процессором в ОС.

Режим управления питанием – весьма сложная штука, работающая по хитрым алгоритмам. Он настраивается на этапе разработки прошивки, а при работе смартфона учитывает характер нагрузки, ее длительность, температуры железа и другие параметры. Исходя из них, задается режим работы чипсета.

Из-за сложности механизма, и разнородности нагрузок на железо (одной программе нужны все ядра на пару минут, другой – одно, но постоянно, и т.д.), пользователю практически нереально определить, как именно ведет себя чип в той или иной задаче. Все это остается «за кадром».

Высокий балл в бенчмарке может сопровождаться медлительностью в долговременных нагрузках, а кажущаяся низкой оценка – на практике компенсироваться тем, что в реальности ядра быстро работают на полную, выполняют свою задачу и снова «засыпают». Бенчмарк же никак не отражает этих нюансов поведения, так что объективным мерилом быть не может.

Тестируем производительность ПК: 5 бесплатных программ

Если вы хотите разогнать свой компьютер, сравнить систему с другими или просто похвастаться техникой, вам необходима оценка производительности вашего компьютера. Для Windows существует огромное количество бесплатных приложений для такого тестирования.

Перед выполнением любого теста убедитесь, что на вашем компьютере ничего не запущено. Работающее в фоновом режиме приложение замедлит тест и исказит конечные результаты. Кроме того, планируйте запуск любого теста на то время, когда вам не нужен будет компьютер, так как работа некоторых из этих приложений может занять определенное время. В представленном обзоре будет указано приблизительное время работы каждого из инструментов.

Произведите стресс-тестирование и оценку производительности вашего процессора при помощи Prime95

Prime95 — это программа, проводящая стресс-тестирование центрального процессора. Особой популярностью она пользуется среди оверклокеров — пользователей, занимающихся повышением производительности компьютера через установку режимов работы, превышающих номинальные. Это достаточно старое приложение, но оно будет работать практически с любой версией Windows, от XP до Windows 10.

Кроме того, Prime95 — это портативное приложение, поэтому нет необходимости его устанавливать. Можно просто скачать ZIP-файл Prime95, извлечь его, а потом запустить файл Prime95.exe. Если вы не хотите создавать учетную запись, то сразу нажмите кнопку «Простое стресс-тестирование».

Как правило, Prime95 предлагает сразу же запустить стресс-тестирование, отлично подходящее для оценки стабильности вашего процессора. Если вы «разгоняете» свой компьютер, то данный тест будет особенно полезен. Чтобы запустить тестирование прямо сейчас, то кликните на «ОК». Но учтите, что подобное тестирование может занять некоторое, возможно продолжительное время. Если же вы не хотите прямо сейчас подвергать ваш компьютер стресс-тесту, то просто отмените его выполнение.

Читать еще:  Что можно узнать по IP адресу и возможно ли что-то кокретное?

Вне зависимости от того, запустили ли вы или отменили стресс-тест, вы можете также запустить и другое тестирование, просто открыв меню «Опции» и выбрав «Бенчмарки».

Результаты тестов измеряются по времени: чем меньше значение, тем, соответственно, быстрее происходит процесс.

Выполнение тестирования может занять некоторое время, особенно если вы тестируете многопоточный процессор с несколькими ядрами, так как в таком случае программа должна запускать несколько тестов. В пробной тестируемой системе это заняло около 10 минут. Если вы тестируете «разогнанную» систему, то сравните результаты до и после разгона при помощи теста Prime95, чтобы увидеть разницу в производительности. На веб-сайте Prime 95 вы также можете сравнить результаты своих тестов с другими компьютерами.

Выполнение всестороннего тестирования с Novabench

Novabench — это программа для тестирования центрального процессора, графического процессора, оперативной памяти и некоторых других показателей. Novabench полностью бесплатна. У данной программы нет даже пробной версии. А работает она с Windows-системами от 7 до 10.

После скачивания и установки запустите ее. Вы увидите простое окно, в котором надо нажать «Начать тестирование». Также во вкладке «Тесты» можно выбрать, какие именно выполнять.

Тестирование при помощи данной программы проходит намного быстрее, чем посредством многих других. Потребовалось около минуты для оценки тестируемой системы, в то время как в других программах данный процесс занял намного больше времени.

По завершении тестирования NovaBench отображает сравнительный показатель NovaBench — чем он выше, тем лучше. Программа также показывает результаты каждого отдельного теста. Чтобы сравнить результаты своей системы с другими пользователями, нажмите кнопку «Сравнить эти результаты онлайн».

Тестирование игровой производительности с 3DMark

NovaBench предлагает простой 3D-тест, но для более интенсивного тестирования производительности вашего ПК вам может понадобиться специальный инструмент для 3D-тестирования. Одним из самых популярных считается 3DMark Futuremark. В принципе, бесплатная версия дает достаточный уровень для большинства людей. В расширенной платной версии ( 29.99 долларов) есть также некоторые дополнительные стресс-тесты, графические диаграммы результатов и возможность тестирования систем с несколькими графическими процессорами. Бесплатная версия — это объемная и требующая достаточно памяти загрузка, которая занимает почти 4 ГБ.

На домашней странице нажмите кнопку «Запустить», чтобы протестировать компьютер. После этого, как правило, для ПК с Windows 10 появляется так называемый «Time Spy».

3DMark запускает тесты в полноэкранном режиме и отображает сцены, которые можно увидеть в играх, только они не являются интерактивными. Тестирование займет около 10-15 минут. После этого вы получите совокупный балл производительности, а также отдельные оценки вашего графического оборудования и процессора. Чем выше баллы, тем лучше. Как и в большинстве подобных программ, вы можете сравнить полученные результаты с результатами других пользователей, нажав кнопку «Сравнить результат онлайн».

Для запуска других тестов просто нажмите кнопку «Главная» в верхнем левом углу, выберите вкладку «Тесты» из появившегося списка, а затем прокрутите и выберите необходимый из списка доступных бенчмарковых тестов.

Тестирование общей производительности ПК с PCMark

PCMark — это программа, разработанная фирмой Futuremark — той же самой, что разрабатывает 3DMark, только в PCMark основной упор делается на общую производительность ПК. В бесплатную версию входит не такое уж и большое количество тестов, но они все равно могут быть полезными. Необходимая вам версия зависит от того, какую Windows вы используете:

  • PCMark 10 используется для ПК с Windows 10.
  • PCMark 8 используется для ПК с Windows 8.
  • PCMark 7 используется для ПК с Windows 7.

И так же, как и в случае с 3DMark, можно как скачать бесплатную базовую версию, так и приобрести платную, но расширенную за 29.99 долларов. В платной версии есть некоторые дополнительные тесты, а также внешний вид графиков более детально проработан. Бесплатный вариант PCMark 10 весит около 2 GB, поэтому освободите достаточно памяти вашего компьютера.

Запустите PCMark, и на вкладке Главная нажмите «Запустить» для начала тестирования.

Тестирование займёт около 15 минут. В нижней части экрана программа показывает результаты уже проделанного тестирования. Кроме того, когда будет проходить тестирование видеоплеера и графики, на экране будут появляться дополнительные окна. Сразу после окончания тестирования появятся результаты, и, как и в случае с другими программами, чем выше ваш результат, тем лучше.

Прокрутите страницу вниз и увидите опцию «Сравнить онлайн». Кликнув на нее, заметите сравнительную характеристику вашей системы с другими протестированными.

Всесторонняя оценка производительности с помощью SiSoftware Sandra

SiSoftware Sandra — еще одно популярное информационно-диагностическое приложение, включающее бенчмарковые утилиты. SiSoftware предлагает платные версии, но и бесплатная версия содержит тесты, которые могут быть полезны. Для получения всестороннего обзора производительности вашей системы подойдет общая диагностика, но также можно выполнить и отдельные тесты для производительности виртуальных машин, управления питанием процессора, сетевых устройств, памяти и накопителей.

В главном окне перейдите на вкладку «Инструменты», а затем дважды щелкните по опции «Оценка общей производительности». Кроме того, можно запустить самые различные эталонные тесты для разных подсистем компьютера.

Оценка общей производительности включает в себя тестирование вашего центрального и графического процессоров, пропускной способности памяти и производительности файловой системы. Убедитесь, что выбрана опция «Обновить результаты путем запуска всех контрольных тестов», а затем нажмите «ОК» для запуска тестирования.

Читать еще:  ТОП-11 Лучших Приложений для Изучения Английского

Sisoft также предоставляет возможность настраивать механизмы отображения вашего рейтинга. Подобная настройка является бесплатной, но требует регистрации по электронной почте. Чтобы избежать этого, просто нажмите кнопку «Отмена» и переходите к тестированию.

Предупреждение: данная программа использует ряд достаточно тщательных тестов, поэтому этот процесс может занять продолжительное время — скорее всего час или около того. Во время тестирования вы не сможете ничего делать с вашим ПК, поэтому запускайте программу тогда, когда у вас не будет необходимости в компьютере. В ходе тестирования может показаться, что компьютер не реагирует на ваши команды и вообще банально завис. Но не волнуйтесь: как только программа закончит тестирование, на экран будут выведены результаты, и компьютер продолжит дальнейшую работу в нормальном режиме.

По завершении теста вы увидите подробные графики, которые сравнивают результаты каждого теста с результатами эталонных компьютеров. Вы можете использовать флажки слева, чтобы выбрать, какие эталонные компьютеры вы хотите использовать для сравнения.

Перейдите на вкладку «Рейтинг», чтобы узнать, какое место занимает ваша система по сравнению с компьютерами других пользователей, прошедших тестирование. Чтобы увидеть подробную информацию о вашей системе и системах других пользователей, перейдите на веб-сайт Sisoft.

Тесты в играх

Несмотря на неплохие показатели в синтетических тестах, куда нагляднее проверять железо в полевых условиях, запустив что-нибудь новенькое из игр. The Division 2 и Control показали себя прекрасно на максимальных настройках графики. Температура процессора и видеокарты держались в районе 70 градусов, FPS был стабильно выше 60 кадров в секунду.

А еще погоняли в The Division 2 Episode 3:

Но не обошлось без казусов. Во время теста некоторых ААА игр всплыло такое неприятное явление, как статтеринг. Независимо от настроек графики в Red Dead Redemption 2 игра с периодичностью в пять секунд замирала. Порывшись в файлах игры, обновив BIOS и потанцевав с бубном мне удалось изгнать этот недуг. Во время запуска Metro Exodus он снова дал о себе знать. Причина крылась во включенной функции Nvidia Hairworks.

К сожалению, часть фишек «зеленого» лагеря превращается в тыкву на «красной» сборке. Плюс часть игр банально не получают должной совместимости с продукцией AMD, затачиваясь в рамках маркетинговой кампании под карты Nvidia. Но справедливости ради отметим, что игры, в которых поддерживается Vulkan, кроссплатформенный API для 2D и 3D графики, отменно дружат с железом AMD. Компании в 2020 нужно плотнее продвигать свои новинки, предлагая разные графические улучшения.

Как сравнить видеокарту моего компьютера

Unigine Heaven

Хотя Heaven – старый тест, он по-прежнему пользуется популярностью среди энтузиастов по нескольким ключевым причинам:

  • Когда он опережал своё время
  • Сам тест выглядит довольно красиво

Unigine Heaven был выпущен в 2009 году, но графические процессоры, которые могли бы хорошо работать на более высоких пресетах, начали выпускаться только в 2012 году, с выпуском серии GTX 600. Это отличное приложение для тестирования производительности, которое можно запускать как на старых, так и на современных графических процессорах, благодаря отличной поддержке функций и DirectX 11, что упрощает сравнение графических процессоров разных эпох по фактическим показателям производительности.

Большая часть полностью бесплатна. В то время как некоторые более продвинутые функции (такие как анализ по кадрам и автоматическое циклическое тестирование) привязаны к платным версиям, тем не менее, основных функций сравнительного анализа будет более чем достаточно.

Basemark

Если вам нужен еще один бесплатный тест производительности, но более современный. мы рекомендуем Basemark. Базовые тесты c поддержкой Vulkan 1.0, Open GL 4.5 и OpenGL ES 3.1 и функции с большим количеством графических API-интерфейсов. Помимо того, что он доступен для настольных ПК, он также доступен для смартфонов, смарт-телевизоров и даже автомобилей.

Что касается тестов, вероятно, он не поможет оценить старые графические процессоры. Тем не менее, он служит отличным способом увидеть, как ваш современный графический процессор обрабатывает тяжелые графические эффекты, такие как глубина резкости, улучшенное освещение и т.д.

3DMark

И, наконец, что немаловажно, отраслевой стандарт премиум-класса: 3DMark. 3DMark – это один из самых популярных наборов тестов производительности GPU, благодаря широкому выбору тестов. Когда люди хотят похвастаться результатами своих тестов, 3DMark является одним из наиболее часто используемых приложений, но здесь есть одна загвоздка.

А именно, он не бесплатен. Если вы хотите его даже для индивидуального использования – вам нужно будет выложить $29,99. Тем не менее, 3DMark, безусловно, стоит своей цены. За те деньги, которые вы платите, вы получаете великолепные графические тесты, рассчитанные на годы, и большое сообщество других потребителей, чтобы сравнить ваши результаты.

Тестирование систем в TPC-C — быстро и просто

Простое и эффективное тестирование виртуальной инфраструктуры на производительность.

Первый шаг при работе с новыми вычислительными ресурсами, — неважно, строим ли мы их сами, или арендуем в облаке, — это оценка производительности. Для этого проводится ряд тестов, определяющих производительность нового стенда по отношению к существующему.

В идеальном мире такой тест проводится «по живому»: система копируется на новый стенд и проводится эмуляция реальной нагрузки. Но такой путь слишком трудоемкий, поэтому в реальном мире используются синтетические тесты.

Читать еще:  Суперпользователь Windows - получите максимум прав для работ?

Мне всегда было интересно измерить производительность наших систем и посмотреть на их место в мировых рейтингах. Кроме того, время от времени возникают задачи нагрузить сервер реальной нагрузкой и посмотреть, как ведет себя железо.

И сегодня я расскажу, как с помощью теста TPC-C измерить производительность стенда и получить результат в стандартных транзакциях в секунду.

Для начала вспомним, какие бывают синтетические тесты. Для процессоров подойдет 7-Zip Benchmark, для дисков — CrystalDiskMark. С их помощью мы можем очень быстро посмотреть, насколько быстро работает наш стенд на алгоритмах, заложенных в эти (!) тесты. Штука в том, что в нашей системе, для которой предназначен стенд, точно будут использоваться другие алгоритмы. И с этим приходится как-то жить.

Для более точных результатов тестирования дисков есть SQLIO или FIO. Обязательно прочитайте две исторические статьи amarao о тестировании дисков (https://habrahabr.ru/post/154235/, https://habrahabr.ru/post/168711/) и свежую статью коллеги — https://habrahabr.ru/company/nutanix/blog/348182/. По этим статьям вы научитесь правильно применять этот сложный тест.

Так почему же я выбрал TPC-тестирование для оценки производительности? TPC разрабатывает тесты, направленные на обработку данных, с 1988 года. Эти тесты давно стали индустриальным стандартом, их используют почти все вендоры оборудования и публикуют результаты, которых они достигают на различных образцах аппаратного и программного обеспечения.

Так как большинство бизнес-систем, для которых критична производительность, являются реляционными базами данных, то для нас наибольший интерес представляет тест TPC-C. Это комплексный тест, генерирующий многопользовательскую OLTP нагрузку из различных транзакций. Для его прохождения в базе данных генерируется набор данных, характерный для бизнес-систем, связанных с продажами или производством товаров и сервисов. TPC-C можно дополнить тестом TPC-H для эмуляции нагрузки OLAP системы.

Кто-то может сказать, что тестам более 10 лет. Но заложенный в них принцип обработки данных применяется практически в каждой бизнес-системе. И именно поэтому они подходят для симуляции реальной нагрузки.

Для проведения TPC-C теста мы будем использовать Open source проект HammerDB.

Параметры виртуальной машины для тестирования:

  • 4 vCPU 3ГГц,
  • 64 ГБ оперативной памяти,
  • диск на общей СХД с SSD дисками.

Почему такие параметры? Меньшее число процессоров на серверах с СУБД бывает редко, памяти для СУБД много не бывает, ну а на жесткие диски ее класть — себе дороже.

Установленное на машину ПО:

  • Microsoft Windows 2016 x64,
  • Microsoft SQL Server 2017 (не Express edition; или же следим за максимальным объемом базы данных),
  • SQL Server Management Studio,
  • и собственно HammerDB.

Конечно, можно разнести HammerDB и SQL сервер на разные ВМ/сервера для изоляции нагрузки пользователей от нагрузки сервера, что довольно правильно. Но в другой раз.

А теперь начнем тест.

  1. Первым шагом с помощью SQL Server Management Studio создаем базу данных для тестов и размещаем ее на отдельном диске — так у вас будет выше карма.
  2. Далее запускаем HammerDB.
    1. Выбираем MS SQL, TPC-C.
    2. Заполняем параметры подключения к MS SQL:
      • количество складов: можно начать с десяти, но для реальных тестов нужно, например, 2000,
      • количество виртуальных пользователей: удвоенное количество наших процессоров.
    3. Жмем Ок и ждем.

    Наш тестовый скрипт готов

    В нашем случае — 200 пользователей, но вообще рекомендуется выставлять в 10 раз меньше пользователей, чем складов

    Здесь же выбираем Show Output, чтобы результаты теста были видны в момент его работы, и Log Output to Temp для генерации текстового файла с результатами теста.

    Нажимаем Create, Run!

    У наших Virtual Users изменился статус

    Вот так отображаются результаты теста после запуска

    Итак, все довольно просто и теперь у нас есть ВМ с эталонным тестом. Перемещая ее по различным стендам, мы можем оценить их относительную производительность.

    И напоследок полезный совет. Во время теста постарайтесь снять все возможные графики производительности компонентов вашей системы. По ним вы увидите, что стало «узким местом» при прохождении теста. Достаточно ли вы нагрузили систему, или излишне. Может быть стоит вернуться на шаг настройки теста и поменять значения.

    Кому-то этот текст может показаться очень простым. Но я еще не встречал на русском языке ответа на вопрос: «Как мне измерить производительность нашей системы в TPC-C?» Enjoy! 🙂

    Kombustor

    Разработкой этого бенчмарка занимается компания MSI, которая имеет непосредственное отношение к разработке аппаратного обеспечения для компьютеров. Также они работают над специализированным «софтом» для так называемого разгона видеокарт. То есть ускорения производительности за счет изменения тактовой частоты и других параметров устройства. Поэтому они как никто другой знают, как нужно тестировать видеокарты.

    Дизайн на любителя, конечно, но программа полезная

    Kombustor разрабатывался как бенчмарк, способный по максимуму нагрузить комплектующие компьютера и выявить его сильные и слабые места. А еще он показывает все критически важные параметры, включая уровень нагрева, напряжение, объема памяти, количество кадров в секунду и так далее.

    Плюсы

    • Набор из 10 синтетических тестов.
    • Поддержка 32-битных операционных систем.
    • Тонкая настройка каждого теста (например, вывода количества 3D-объектов).
    • Распространяется бесплатно.

    Минусы

    • Отсутствует поддержка русского языка.
    • Результаты синтетических тестов в программе мало чем связаны с реальностью. Они не отражают того, как то или иное устройство проявит себя в современных видеоиграх.
Ссылка на основную публикацию
Статьи c упоминанием слов:
Adblock
detector