Методика тестирования 

Методика тестирования ноутбуков

версия для печати послать другу 0
|| Содержание статьи

Показать одной страницей

15.03.2007 00:05 Автор: Мирослав Бабицкий

Тестирование показателей автономной работы

Измерение времени автономной работы – это процедура, которую можно назвать наполовину объективным тестом. Почему только наполовину? Потому что результат, вполне достоверно измеряемый специальными программами, хоть и является сам по себе точным, но зависит от ряда условий, в которых происходит тестирование. Перечислим основные переменные, которые могут повлиять на время автономной работы при равной нагрузке:  

  • температура и влажность окружающего воздуха;
  • яркость матрицы ноутбука и громкость работы динамиков;
  • ограничение скорости работы привода оптических дисков;
  • установленная на компьютере схема управления электропитанием;
  • включенные в BIOS функции энергосбережения;
  • принудительное отключение ноутбука после достижения определенной емкости аккумулятора;
  • использование внешних устройств (таких, как USB-мышь);
  • установленные драйверы систем управления питания процессора и чипсета, видеокарты;
  • естественная предпродажная потеря емкости аккумулятора. 

Как видим, список переменных величин достаточно высок, и если не стараться минимизировать их влияние, результаты тестов автономной работы не будут иметь никакого смысла. Например, относительно недавно была устранена проблема с драйверами USB для Windows XP, из-за которых использование простой мыши или флэш-диска вызывало резкое падение времени автономной работы, причем не по вине изготовителей оборудования. Для того чтобы получить максимально точные данные в этих тестах, мы всегда используем следующие настройки энергосбережения Windows: 

Чтобы убрать влияние неодинаковой работы процессоров в различных энергосберегающих режимах, мы всегда проводим тесты в системе Windows XP, которая полностью поддерживает такие технологии, как Intel Enhanced SpeedStep, AMD PowerNow! и VIA Power Saver 2.0. Настройки энергопотребления видеокарты во всех случаях, кроме специально оговоренных условиями теста, мы выставляем в положение "balanced" как для автономной работы, так и для работы от сети.  

Мы не используем во время тестов никаких USB-устройств, а для того, чтобы убедится в минимальном влиянии температуры на заряд аккумулятора, контролируем стабилизацию расхода заряда аккумулятора средствами LavaLys Everest, а также проводим так называемое кондиционирование АКБ, полностью заряжая и разряжая его до первого теста. Кроме того, в наших тестах мы всегда учитываем, что литийионные батареи могут потерять незначительную часть (1-5%) своей максимальной паспортной емкости еще во время хранения на складе поставщика.  

Во всех случаях, кроме специально оговоренных условиями теста, мы выставляем яркость матрицы ноутбука в среднее положение (обычно это одна из 8-12 градаций), громкость динамиков также в среднее положение, а любые менеджеры скорости работы оптического привода отключаем.  

 

Поскольку в реальной жизни ноутбук может использоваться абсолютно в различных ситуациях, мы хотим дать нашим читателям как можно более подробное представление о ресурсах автономной работы. Для этого мы используем возможный максимум тестов, основанный на таких пакетах, как Battery Eater, BAPCO Mobile Mark 2005, а также собственные наработки. Результаты тестов мы всегда приводим в виде диаграммы. 

Программа Battery Eater максимально нагружает систему, задействуя одновременно процессор, жесткий диск и видеокарту ноутбука, выводя на экран рендеринг трехмерного объекта в OpenGL, задействуя процессор под вычислительные задачи и копируя файлы на жестком диске. Соответственно и время автономной работы в таком искусственном режиме минимальное. Это своеобразный стресс-тест, который показывает предельный ресурс аккумулятора. График разрядки аккумулятора, построенный этой программой, обычно бывает линейным: 

В режиме 3D Games мы запускали различные трехмерные игры, которые также серьезно сокращают ресурс работы аккумулятора. Обычно мы используем Need For Speed Underground. Тест DVD Playback из пакета BAPCO Mobile Mark 2005 проигрывает DVD с диска, вставленного в привод. Таким образом, энергия аккумулятора расходуется помимо декодирования видеопотока центральным процессором еще и на вращение шпинделя оптического привода, а также на активную работу жесткого диска по кэшированию MPEG2-потока и работу ноутбучных динамиков. Тест Wireless Server  имитирует активный обмен данными по Wi-Fi, то есть типичную ситуацию работы в Интернете при помощи беспроводного соединения. Тест Office Productivity запускает различные офисные приложения, такие, как Microsoft Outlook и PowerPoint, а также редакторы Macromedia Flash MX и Adobe Photoshop 7.0.  

При помощи теста Reader все из того же пакета BAPCO Mobile Mark 2005 мы оцениваем влияние интенсивности подсветки на время автономной работы, один раз прогоняя этот тест (скроллинг в окне браузера книги "Война и мир") с минимальной и с максимальной интенсивностью подсветки. Последний тест – это использование ноутбука в качестве MP3-плеера с закрытой крышкой и выключенным дисплеем. При этом обычно достигается максимальная продолжительность автономной работы. Дополнительно оценивается время полной зарядки аккумулятора ноутбука при включенном и выключенном  питании (так можно увидеть, имеет ли запас мощности блок питания).  

 

Дополнительно мы публикуем фотографии аккумулятора и блока питания ноутбука и указываем расчетную емкость элемента в Ватт-часах (полученных умножением Ампер-часов, указываемых на батарее на ее рабочее напряжение в Вольтах). Это позволяет дать предварительную грубую оценку времени автономной работы, а также указать на возможность замены аккумулятора более емким.  В результате, по нашему скромному мнению, полученные данные могут служить исчерпывающим источником информации о времени автономной работы ноутбука в самых различных условиях.  

Тестирование производительности 

Мы переходим к целиком и полностью объективному этапу в тестирования ноутбуков – тестированию в приложениях. Для того чтобы оценить производительность портативного компьютера  в различных задачах, мы используем набор специально подобранных бенчмарков. Бенчмарк, или тест производительности (англ. benchmark) — это контрольная задача, необходимая для определения сравнительных характеристик производительности компьютерной системы. Выбирая такие тесты, мы делали упор на системные бенчмарки, интегральные тесты, которые могли бы оценить производительность системы целиком, основываясь на работе реальных приложений или имитации типичной пользовательской активности. Именно поэтому центральными тестами в наших обзорах являются BAPCO SysMark 2004SE и FutureMark PCMark 2005.  

Интегральная производительность 

Тест BAPCO SysMark 2004SE состоит из двух подтестов, Internet Content Creation и Office Productivity, каждый из которых имитирует характерную активность пользователей в целом ряде приложений.  Internet Content Creation представляет собой имитацию создания корпоративного сайта. Дизайн сайта верстается в Macromedia Dreamweaver MX с применением технологий Flash MX, изображения для него редактируются в Adobe Photoshop 7,  а с помощью Adobe Premiere 6.5 добавляются спецэффекты и звук в видеоролики, которые затем сжимаются Microsoft Windows Media Encoder 9.0. Безусловно, версии используемых приложений нельзя назвать последними, но актуальность и сравнительная ценность результатов теста от этого не страдают.  

Вторая часть теста, Office Productivity, имитирует работу типичного "офис-самурая". В редакторе Microsoft Word 2002 создается описание двигателя внутреннего сгорания, а в Power Point делается отчет об обороте автомобильной компании, использующий составленные в Excel графики. Параллельно работает Microsoft Outlook, где пишется очередное корпоративное письмо и просматривается многотысячный архив переписки, сжимается архиватором файл,  в фоновом режиме работают антивирус и приложение Dragon Naturally Speaking. Как видим, нагрузка в одно и то же время и серьезная, и типичная.  Скрипт запускает одновременно от двух до пяти приложений и измеряет время отклика системы на команды пользователя, а потом считает по своей формуле итоговую оценку производительности компьютера.  

Тест Internet Content Creation использует следующие приложения: 

  • Adobe After Effects 5.5;
  • Adobe Photoshop 7.01;
  • Adobe Premiere 6.5;
  • Discreet 3ds max 5.1;
  • Macromedia Dreamweaver MX;
  • Macromedia Flash MX;
  • Microsoft Windows Media Encoder 9 Series;
  • Network Associates McAfee VirusScan 7.0;
  • WinZip Computing WinZip 8.1. 

Тест Office Productivity использует следующие приложения: 

  • Adobe Acrobat 5.0.5;
  • Microsoft Access 2002;
  • Microsoft Excel 2002;
  • Microsoft Internet Explorer 6;
  • Microsoft Outlook 2002;
  • Microsoft PowerPoint 2002;
  • Microsoft Word 2002;
  • Network Associates McAfee VirusScan 7.0;
  • ScanSoft Dragon Naturally Speaking 6 Preferred;
  • WinZip Computing WinZip 8.1. 

Итогом каждого из тестов является безразмерная величина, количество заработанных системой очков. Благодаря этому тесту можно сравнивать ноутбуки совершенно различных классов напрямую, по интегральному индексу производительности.  

Вторым таким интегральным тестом является FutureMark PCMark 2005. Несмотря на то, что, в отличие от SysMark 2004SE, этот тест не использует реальные приложения, а лишь имитирует некоторые типичные задачи, его ценность высока, поскольку тест в состоянии задействовать абсолютно все ресурсы ноутбука – от графического адаптера до жесткого диска. Список тестов, используемых этим бенчмарком, весьма внушительный:  

  • скорость работы жесткого диска при запуске Windows XP;
  • скорость работы жесткого диска при типичном использовании;
  • расчет физики и трехмерной графики;
  • ускорение обработки двумерных объектов (окна приложений);
  • ускорение обработки трехмерных объектов и пиксельные шейдеры версии 2.0;
  • рендеринг веб-страниц в окне;
  • шифрование файлов;
  • скорость работы видеопамяти;
  • параллельное кодирование аудио- и видеопотоков;
  • параллельное редактирование фотографии и текста;
  • параллельное шифрование файла, сканирование жесткого диска на вирусы, сжатие файла и копирование блоков данных в оперативной памяти. 

Как видим, FutureMark PCMark 2005 является неплохим синтетическим тестом, который также в состоянии оценить, насколько система приспособлена для многозадачной работы.  

Платформа 

Для тестирования подсистем процессор-кэш-память и/или видео мы используем ряд приложений, а также собственные контрольные задачи. Ключевым бенчмарком служит тестовый модуль пакета LavaLys Everest, который в состоянии оценить работу оперативной и кэш-памяти, а также процессора в специфических задачах, нагружающих отдельно арифметический блок и блок вычислений с плавающей запятой. Эти тесты полезны для сравнения различных архитектур или выявления влияний таких параметров, как частота процессора, частота системной шины, объем кэша и т.д. Для тестирования кэша служит отдельный модуль программы, который мы также используем для оценки влияния на производительность систем энергосбережения процессора.  

В число тестов LavaLys Everest, который мы запускаем на каждом ноутбуке, входят: 

  • Memory Read;
  • Memory Write;
  • Memory Copy;
  • Memory Latency;
  • CPU Queen;
  • CPU PhotoWorxx;
  • CPU ZLib;
  • FPU Julia;
  • FPU Mandel;
  • FPU SinJulia. 

Дополнительно производительность платформы оценивается такими контрольными задачами, как SuperPi (вычисление числа "Пи" с точностью до миллиона знаков), WinRar 3.0 (создание 2 GB архива), DivX 5.2.1 (двухпроходное кодирование 1.3 GB видеофайла в профиле High Definition) и Adobe Photoshop CS (фильтр Noise Reduction на 4-мегапиксельной фотографии).   

В отдельную группу тестов платформы выделяются пакеты FutureMark 3DMark2003, FutureMark 3DMark2005 и FutureMark 3DMark2006. Основную нагрузку в этих тестах несет видеоадаптер ноутбука, но итоговый результат, выражаемый в безразмерном счете, зависит и от других компонентов платформы. Подробному анализу теста FutureMark 3DMark2006 посвящена наша отдельная статья.  

 

Каждый ноутбук, оснащаемый новым типом видеоадаптера или процессора, проходит также тестирования в играх. Игровые приложения условно разбиты на четыре поколения, от каждого из которого берется по одной игре (в скобках указана возможная замена теста): Quake 3 (Comanche 4, Return to Castle Wolfenstein, Serious Sam First Blood), Unreal Tournament 2004 (Thief - Deadly Shadows), Half-Life 2 (Doom 3, FarCry), TES IV: Oblivion (F.E.A.R., Condemned – Criminal Origins). Запускаются игры в нативном или наиболее близком к нему разрешении матрицы ноутбука в максимальном качестве без использования анизотропной фильтрации и полноэкранного сглаживания.  

 

 

Для ноутбуков класса "ультрапортативный", "субноутбук" и "эконом"  запускаются игровые тесты 1-го и 2-го поколений, для ноутбуков бизнес-класса  запускаются тесты 1-го и 2-го поколений в случае наличия встроенной графики, 3-го и 4-го – в случае наличия дискретной графики. Для ноутбуков класса "замена настольного ПК" и "мультимедийный" запускаются игры 3-го и 4-го поколений. С выходом новых игр мы постоянно обновляем этот список.

|| Комментарии на форуме 0
Оставить комментарий