Методика тестирования 

Методика тестирования мобильных устройств

версия для печати послать другу 0
|| Содержание статьи

Показать одной страницей

26.02.2007 00:05 Автор: TECHLABS Team

Тестирование производительности

Наконец, одними из самых важных моментов тестирования, является оценка производительности и времени автономной работы мобильных устройств. На примере десятков девайсов, прошедших через нашу тестовую лабораторию, мы убедились, что невозможно выделить какой-либо компонент, коренным образом влияющий на производительность или время автономной работы. Неопытный пользователь чаще всего смотрит на модель установленного процессора и емкость аккумулятора, поскольку вполне справедливо считает, что именно эти элементы определяют скорость и длительность работы.

По большому счету, он, конечно же, прав. Но, как мы уже неоднократно убеждались, все решает уровень отлаженности всей платформы в целом. Мы уже не раз сталкивались с ситуацией, когда устройство, оснащенное процессором, работающим на частоте 400 MHz, показывало производительность, идентичную 200-300 MHz процессорам. Вот почему так важно правильно подойти к тестированию мобильных устройств. Для девайсов, основанных на Windows Mobile, нами была разработана специальная методика, позволяющая оценить быстродействие. Мы условно разделили ее на две части:

  • синтетический тест SPB Benchmark;
  • тестирование с помощью реальных приложений. 

Ниже вы можете познакомиться с подробным описанием каждой части. 

SPB Benchmark 

Этот тестовый пакет петербургской компании Spb Software House, без всякого преувеличения, можно назвать самым популярным бенчмарком для устройств на базе Windows Mobile. SPB Benchmark уже давно получил признание среди тестеров и журналистов и является, по сути, стандартом при тестировании карманных устройств. Главным достоинством этого теста, как мы многократно отмечали в обзорах, является то, что результаты каждого теста отображаются в реальных значениях.То есть, например, скорость записи файла выражена в Кбайт/сек, а не в "попугаях" и не "рублях". На сегодняшний день мы используем SPB Benchmark 1.6. 

Разделы тестирования: 

  • основные параметры КПК: включает тесты для оценки файловой и графической систем, скорости работы стандартных приложений (Pocket Word, Excel, IE), мощность процессора и т.д.;
  • характеристики установленных карт памяти (Storage Cards);
  • проверка возможностей автономной работы устройства;
  • оценка скорости обмена информацией через программу ActiveSync. 

 

 

После проведения тестов подробные результаты сводятся в сравнительную таблицу, где вы, уважаемые читатели, сможет сравнить реальные результаты работы обозреваемых устройств.

Spb Benchmark

HP iPAQ hx4700 (624 МГц)

ASUS Mypal A730 (520 МГц)

Fujitsu Siemens Pocket LOOX 720 (520 МГц)

Spb Benchmark Index

1624

1008

1163

CPU Index

2377

1975

2161

File System Index

1469

1159

1253

Graphics Index

893

354

347

Platform Index

1298

1074

1214

Write 1 MB file (KB/sec)

1859

1507

1577

Read 1 MB file  (MB/sec)

33

26.2

29.4

Copy 1 MB file (KB/sec)

1826

1474

1575

Write 10 KB x 100 files (KB/sec) 

1200

903

1019

Read 10 KB x 100 files (MB/sec)

11.7

8.8

10.2

Copy 10 KB x 100 files (KB/sec) 

987

700

85.7

Directory list of 2000 files (thousands of files/sec)

26.2

21.5

21.5

Internal database read (records/sec)

1979

1621

1737

Graphics test: DDB BitBlt (frames/sec)

9091

105

6.46

Graphics test: DIB BitBlt (frames/sec)

6.45

5.38

5.41

Graphics test: GAPI itBlt (frames/sec)

123

38.9

120

Pocket Word document open (KB/sec)

39.2

69.9

103

Pocket IE HTML load (KB/sec)

8.51

7.47

7.69

Pocket IE JPEG load (KB/sec)

0.059

205

242

File Explorer large folder list (files/sec)

652

563

584

Compress 1 MB file using ZIP (KB/sec)

317

253

289

Decompress 1024x768 JPEG file (KB/sec)

916

755

775

Arkaball frames per second (frames/sec)

97.7

35.3

89.5

CPU test: Whetstones MFLOPS (Mop/sec)

0.116

0.099

0.099

CPU test: Whetstones OPS (Mop/sec)

86.6

71.8

72.1

CPU test: Whetstones MWIPS (Mop/sec)

7.81

6.47

6.51

Memory test: copy 1 MB using memcpy (Mop/sec)

111

95.1

       109

Таблица результатов тестирования с помощью SPB Benchmark 

Кроме этого, мы приводим вашему вниманию также обобщенное графическое представление результатов тестов по каждой подсистеме устройства.

Диаграмма SPB Benchmark  результатов теста процессора

Диаграмма SPB Benchmark  результатов теста файловой системы 

Диаграмма SPB Benchmark  результатов теста графической системы 

Эти диаграммы автоматически формируются на сайте SPB Software House по итоговым данным тестов и наглядно отображают их результаты. 

Core Pocket Media Player

TCPMP 0.71 

По нашему мнению, синтетический тест не может считаться всеобъемлющим. Реальная же производительность лучше всего демонстрируется при воспроизведении видео, которое задействует все ресурсы КПК в полном объеме. Для этого теста мы используем один из самых популярных проигрывателей видео – плеер TCPMP 0.71. Для нас он примечателен прежде всего тем, что имеет встроенный бенчмарк, который и оценивает скорость воспроизведения видео. Кроме того, плеер поддерживает графические ускорители, например такие, как, Intel 2700G (установленный в наладонниках Dell X50v и X51v) и ATI Imageon 3220. А это значит, что никаких условностей быть не может. Чем результат больше, тем КПК производительней при проигрывании видео. 

 

Считается, что нормальная скорость воспроизведения (без пропуска кадров видео ряда) – 100%. Но мы берем небольшой запас, принимая за норму показатель 110%. Таким образом, если все ролики воспроизводятся со средней скоростью более чем 110%, то КПК можно рекомендовать для просмотра видео. Ну а при сравнении показателей разных моделей карманных компьютеров делаются выводы о производительности.В роли тестового материала используется трейлер к блокбастеру "Матрица. Революция", который изобилует сложными для воспроизведения сценами. Фрагмент закодирован в 5 роликов. Степень сжатия и разрешения варьируются от традиционных "карманных" до настольных. Все ролики взяты с официального сайта плеера TCPMP и предназначены специально для тестирования. Ниже приведены их характеристики. 

  • RL_HQ_640x352_1024_128.avi. Разрешение 640х352, видеобитрейт 1024 Кбит/сек, аудиобитрейт 128 Кбит/сек;
  • RL_LQB_320x176_256_64.avi. Разрешение 320х176, видеобитрейт 256 Кбит/сек, аудиобитрейт 64 Кбит/сек;
  • RL_MQB_320x240_512_128.avi. Разрешение 320х240, видеобитрейт 512 Кбит/сек, аудиобитрейт 128 Кбит/сек;
  • RL_SQB_160x216_192_56.avi. Разрешение 160х216, видео битрейт 192 Кбит/сек, аудио битрейт 56 Кбит/сек;
  • RL_XQ_640x480_1500_128.avi. Разрешение 640х480, видеобитрейт 1500 Кбит/сек, аудиобитрейт 128 Кбит/сек; 

Результаты попадают в обзор в виде диаграммы, отображающей скорость воспроизведения видео в процентах.

Диаграмма, отображающая скорость воспроизведения тестового ролика 

Так, на наш взгляд, читателю проще воспринимать разницу в производительности разных моделей в различных роликах.

|| Комментарии на форуме 0
Оставить комментарий