Методика тестирования 

Методика тестирования КПК/коммуникаторов на базе Windows Mobile

версия для печати послать другу 0
|| Содержание статьи

Показать одной страницей

15.09.2005 10:00 Автор: TECHLABS Team

За последние лет пять-шесть карманные компьютеры выросли из "продвинутых органайзеров" и "записных книжек" до устройств, возможности которых запросто можно сравнить с настольными системамима. Разумеется, сравнивать эти машинки только лишь по показателям времени автономной работы и цены уже бессмысленно. Нынче сравнение идет по всем параметрам: от комплекта поставки и внешнего вида до производительности в различных задачах и времени автономной работы. Рассказывать о том, как происходит выбор лучших – дело долгое и (в рамках данной статьи) совершенно не нужное.

Методика тестирования КПК/коммуникаторов на базе Windows Mobile

Сейчас мы расскажем, как происходит тестирование и сравнение карманных компьютеров и коммуникаторов у обозревателей нашего сайта.

Spb Benchmark

Этот тестовый пакет о петербургской компании Spb Software House, безо всякого преувеличения, можно назвать самым популярным бенчмарком для устройств на базе Windows Mobile. Главным достоинством этого теста, как мы многократно отмечали в обзорах, является то, что результаты каждого теста отображаются в реальных результатах. Т.е., например, скорость записи файла выражена в КБ/сек, а не в "попугаях" и не "рублях".

Для удобства восприятия результаты тестов мы сводим в таблицу и представляем в тексте обзора в полном виде, дабы читатель мог наблюдать полную картину.

Spb Benchmark

HP iPAQ hx4700 (624 МГц)

ASUS Mypal A730 (520 МГц)

Fujitsu Siemens Pocket LOOX 720 (520 МГц)

Spb Benchmark Index

1624

1008

1163

CPU Index

2377

1975

2161

File System Index

1469

1159

1253

Graphics Index

893

354

347

Platform Index

1298

1074

1214

Write 1 MB file (KB/sec)

1859

1507

1577

Read 1 MB file  (MB/sec)

33

26.2

29.4

Copy 1 MB file (KB/sec)

1826

1474

1575

Write 10 KB x 100 files (KB/sec) 

1200

903

1019

Read 10 KB x 100 files (MB/sec)

11.7

8.8

10.2

Copy 10 KB x 100 files (KB/sec) 

987

700

85.7

Directory list of 2000 files (thousands of files/sec)

26.2

21.5

21.5

Internal database read (records/sec)

1979

1621

1737

Graphics test: DDB BitBlt (frames/sec)

9091

105

6.46

Graphics test: DIB BitBlt (frames/sec)

6.45

5.38

5.41

Graphics test: GAPI BitBlt (frames/sec)

123

38.9

120

Pocket Word document open (KB/sec)

39.2

69.9

103

Pocket IE HTML load (KB/sec)

8.51

7.47

7.69

Pocket IE JPEG load (KB/sec)

0.059

205

242

File Explorer large folder list (files/sec)

652

563

584

Compress 1 MB file using ZIP (KB/sec)

317

253

289

Decompress 1024x768 JPEG file (KB/sec)

916

755

775

Arkaball frames per second (frames/sec)

97.7

35.3

89.5

CPU test: Whetstones MFLOPS (Mop/sec)

0.116

0.099

0.099

CPU test: Whetstones MOPS (Mop/sec)

86.6

71.8

72.1

CPU test: Whetstones MWIPS (Mop/sec)

7.81

6.47

6.51

Memory test: copy 1 MB using memcpy (Mop/sec)

111

95.1

109

Хотя, справедливости ради стоит заметить, что Spb Benchmark некорректно рассчитывает индекс графической подсистемы на устройствах с VGA-дисплеем и некорректно проводит тесты памяти под ОС Windows Mobile 5.0. Однако, это лишь вопрос времени – последующих версиях наверняка все промахи будут учтены.

BetaPlayer 0.096

Однако, к сожалению, Spb Benchmark не дает никакого представления о производительности КПК при воспроизведении видео. Для этого мы используем один из самых популярных проигрывателей видео – BetaPlayer версии 0.096. В этой версии есть поддержка графических ускорителей. Таких как, например, Intel 2700G (установленный в наладонниках Dell X50v и X51v) и ATI Imageon 3220. А это значит, что никаких условностей быть не может. Чем результат больше, тем КПК производительней при проигрывании видео.

Для тестирования применяются видеоролики, скачанные с официального сайта BetaPlayer:

  • RL_XQ – 640 x 480;
  • RL_HQ – 640 x 352;
  • RL_MQB – 320 x 240;
  • RL_LQB – 320 x 176;
  • RL_SQB – 216 x 116. 

Считается, что нормальная скорость воспроизведения – 100%. Но мы берем небольшой запас, считая за норму показатель 120%. Таким образом, если все ролики воспроизводятся со средней скоростью более чем 120%, то КПК можно рекомендовать для просмотра видео. Ну а при сравнении показателей разных моделей карманных компьютеров делаются выводы о производительности.

Методика тестирования КПК/коммуникаторов на базе Windows Mobile

Результаты всегда попадают в обзор в виде диаграммы. Так, на наш взгляд, читателю проще воспринимать разницу в производительности разных моделей в различных роликах.

Время автономной работы 

Здесь возможны варианты. Интереса ради, мы проводили сравнение результатов полученных при тестировании Spb Benchmark и результатами, которые получались при обычной загрузке КПК аналогичными задачами. Разница составляла от 10 до 30 секунд. Но это несущественно и столь малые разбежки можно списать на погрешность тестирования. Значит, что тестам времени автономной работы в Spb Benchmark можно доверять. 

Здесь есть три основных пункта, а вернее режима работы. Сначала наладонник воспроизводит МР3-композицию с битрейтом 128 kbps через наушники и с выключенным экраном. Затем режим чтения текста на средней яркости подсветки. И, наконец, режим максимальной нагрузки: когда включены все имеющиеся беспроводные модули, яркость подсветки максимальна и воспроизводится видеоролик RL_XQ со звуком на максимуме через встроенный динамик.

Методика тестирования КПК/коммуникаторов на базе Windows Mobile

Результаты, как и в случае с тестированием проигрывателем BetaPlayer, сводятся в таблицу для простоты восприятия. 

В случае с коммуникаторами проводится еще и тест в режиме разговора и ожидания – здесь все определяется на глаз, т.к. ювелирной точности не требуется. А также засекается время работы при обычном использовании (разговоры, сообщения, Bluetooth-синхронизация, чтение и т.д). Таким образом нам удается получить детальную картину о том, сколько времени устройство может проработать без подзарядки в различных режимах.

Вместо заключения 

В дальнейшем, разумеется, КПК продолжат эволюционировать. Уже сейчас мы видим, как все больше и больше производителей добавляют в свои разработки интегрированные GPS-модули, какие работы ведутся в области ускорителей трехмерной графики, и насколько быстро происходит нарастание возможностей карманных компьютеров. А это значит, что мы при всем желании не сможем топтаться на одном месте, и должны будем постоянно думать над новыми аспектами тестирования, которые позволят наиболее объективно оценивать КПК/коммуникаторы по всем параметрам и давать рядовому читателю ответ на вопрос "Что же все-таки выбрать?"

|| Комментарии на форуме 0
Оставить комментарий