Techlabs.ru

Методика тестирования мобильных устройств

26.02.2007 00:05, TECHLABS Team

Содержание статьи:

Портал Techlabs представляет вашему вниманию методику тестирования мобильных устройств. Под этим обобщенным понятием мы понимает девайсы, которые относятся к классу КПК, коммуникаторов, смартфонов, мобильных телефонов и GPS-навигаторов. Этот "курс молодого бойца" проходит каждый мобильный гаджет, попавший в нашу тестовую лабораторию. О том, как же это происходит, вы и узнаете из данного материала. Кроме того, прочитав его, неискушенные читатели, которые только начинают знакомиться с мобильным миром, смогут открыть для себя много нового. Итак, сейчас мы без лишних слов приоткроем для вас дверь в святая святых – тестовую лабораторию Techlabs. 

КПК. Коммуникаторы. GPS-навигаторы

На сегодняшний день КПК в чистом виде уже утратили свою былую популярность. На смену им пришли коммуникаторы и GPG-навигаторы. По большому счету, от полюбившихся всем КПК они отличаются только наличием GSM-модуля или приемника GPS. А это значит, что методика тестирования для вышеперечисленных девайсов будет отличаться только лишь оценкой работы того или иного компонента. 

Мобильные устройства, поступившие в нашу тестовую лабораторию, оцениваются по многим критериям, которые составляются исходя из потребностей и предпочтений большинства пользователей. Конечно, первое, на что обращает внимание человек, впервые столкнувшийся с незнакомым девайсом, так это его внешний вид.

От нашего пытливого взгляда не ускользает даже оформление  упаковки обозреваемых устройств 

Именно от первого впечатления будет зависеть дальнейшее отношение к КПК/коммуникатору/мобильному телефону. Сегодня же этот фактор приобретает еще большее значение, ведь имиджевые решения появляются все чаще. Вот почему для нас так важно рассказать об особенностях дизайна как можно больше. Но, как говорится – "лучше один раз увидеть…" А раз так, то мы просто не можем не подкрепить написанное десятком фотографий обозреваемого устройства.

Большое количество детальных и качественных фотографий – вот наше кредо 

Мобильные устройства снимаются так, чтобы читатель имел наиболее полное представление об их внешнем виде. Для получения наиболее качественных фотографий нами используется специально разработанный студийный стенд с равномерным освещением снимаемого объекта. 

Следующим критерием оценки является эргономика обозреваемого устройства или удобство его использования. В это понятие мы вкладываем компоновку органов управления, удобство ввода информации, а также уровень комфорта каждодневного использования обозреваемого гаджета.

Удобство использования и эргономика аппарата не менее важны, чем удачный дизайн 

Наконец, не последнюю роль играет уровень надежности аппарата. Здесь ключевыми факторами являются качество изготовления и сборки, применяемые материалы, а также надежность подвижных узлов и механизмов. 

Надежность сборки и прочность конструкции должны уберечь аппарат от преждевременного выхода из строя 

После того, как поверхностное знакомство с героем обзора произошло, можно приступать к рассмотрению его аппаратных и программных возможностей. В первую очередь нами оценивается качество отображения информации (читай – качество дисплея), а также качество воспроизведения звука. Поскольку тестируемые аппараты в большинстве своем не являются специализированными устройствами, вы не найдете здесь графиков цветопередачи, заумных бенчмарков и прочей цифири. Для пользователя обозреваемых мобильных устройств  в первую очередь важны такие показатели, как яркость экрана, количество отображаемых цветов, его размер, соотношение сторон, разрешение, поведение на солнце и т.д. Вот почему оценка качества изображения носит несколько субъективный характер. То же самое касается и способности обозреваемого устройства воспроизводить музыкальные композиции. Если перед нами не потенциальный кандидат в полноценный заменитель MP3-плеера, мы не проводим специализированных тестов на качество воспроизведения.

Объем памяти КПК или коммуникатора, а также возможности ее расширения отмечаются нами в первую очередь 

Следующими факторами, влияющими на итоговую тестовую оценку, являются объем памяти, а также наличие тех или иных беспроводных модулей связи. О тесте подсистемы памяти мы поговорим чуть позже. Что же касается беспроводных модулей, то мы проверяем корректность работы всех интерфейсов, способность к приему сигнала в сложных условиях, а также стабильность функционирования. Кроме того, важным критерием является поддержка того или иного актуального протокола или Bluetooth-профиля.

Наличие в стандартной поставке дополнительных утилит всегда приветствуется 

Не последнюю роль в оценке играет программная составляющая обозреваемых девайсов. Под этим понятием мы подразумеваем Программное Обеспечение, которое не входит в состав утилит Операционной Системы Windows Mobile и предустанавливается самим производителем. К таким программам могут быть отнесены утилиты голосового набора, программы обработки фотографий и так далее. 

Практически все современные сотовые телефоны и коммуникаторы оснащаются цифровыми камерами. Конечно же, мы не можем не оценить их работу. Однако и в этом случае мы отдаем предпочтение субъективной оценке, не прибегая к специализированным тестам.

Экспертной оценке подвергается и встроенная камера обозреваемых устройств 

Факторами, на основании которых складывается наше мнение, является разрешение матрицы, ее тип (CMOS, CCD), наличие вспышки, специфических режимов съемки (макро-, автофокус), а также способность пользователя повлиять на процесс съемки, то есть количество настроек. Ну и, конечно же, главное, на что мы обращаем внимание, это качество получаемых снимков. Мнение о нем складывается исходя из правильности работы баланса белого, оценки экспозиции, четкости картинки, динамического диапазона матрицы.



Тестирование производительности

Наконец, одними из самых важных моментов тестирования, является оценка производительности и времени автономной работы мобильных устройств. На примере десятков девайсов, прошедших через нашу тестовую лабораторию, мы убедились, что невозможно выделить какой-либо компонент, коренным образом влияющий на производительность или время автономной работы. Неопытный пользователь чаще всего смотрит на модель установленного процессора и емкость аккумулятора, поскольку вполне справедливо считает, что именно эти элементы определяют скорость и длительность работы.

По большому счету, он, конечно же, прав. Но, как мы уже неоднократно убеждались, все решает уровень отлаженности всей платформы в целом. Мы уже не раз сталкивались с ситуацией, когда устройство, оснащенное процессором, работающим на частоте 400 MHz, показывало производительность, идентичную 200-300 MHz процессорам. Вот почему так важно правильно подойти к тестированию мобильных устройств. Для девайсов, основанных на Windows Mobile, нами была разработана специальная методика, позволяющая оценить быстродействие. Мы условно разделили ее на две части:

Ниже вы можете познакомиться с подробным описанием каждой части. 

SPB Benchmark 

Этот тестовый пакет петербургской компании Spb Software House, без всякого преувеличения, можно назвать самым популярным бенчмарком для устройств на базе Windows Mobile. SPB Benchmark уже давно получил признание среди тестеров и журналистов и является, по сути, стандартом при тестировании карманных устройств. Главным достоинством этого теста, как мы многократно отмечали в обзорах, является то, что результаты каждого теста отображаются в реальных значениях.То есть, например, скорость записи файла выражена в Кбайт/сек, а не в "попугаях" и не "рублях". На сегодняшний день мы используем SPB Benchmark 1.6. 

Разделы тестирования: 

 

 

После проведения тестов подробные результаты сводятся в сравнительную таблицу, где вы, уважаемые читатели, сможет сравнить реальные результаты работы обозреваемых устройств.

Spb Benchmark

HP iPAQ hx4700 (624 МГц)

ASUS Mypal A730 (520 МГц)

Fujitsu Siemens Pocket LOOX 720 (520 МГц)

Spb Benchmark Index

1624

1008

1163

CPU Index

2377

1975

2161

File System Index

1469

1159

1253

Graphics Index

893

354

347

Platform Index

1298

1074

1214

Write 1 MB file (KB/sec)

1859

1507

1577

Read 1 MB file  (MB/sec)

33

26.2

29.4

Copy 1 MB file (KB/sec)

1826

1474

1575

Write 10 KB x 100 files (KB/sec) 

1200

903

1019

Read 10 KB x 100 files (MB/sec)

11.7

8.8

10.2

Copy 10 KB x 100 files (KB/sec) 

987

700

85.7

Directory list of 2000 files (thousands of files/sec)

26.2

21.5

21.5

Internal database read (records/sec)

1979

1621

1737

Graphics test: DDB BitBlt (frames/sec)

9091

105

6.46

Graphics test: DIB BitBlt (frames/sec)

6.45

5.38

5.41

Graphics test: GAPI itBlt (frames/sec)

123

38.9

120

Pocket Word document open (KB/sec)

39.2

69.9

103

Pocket IE HTML load (KB/sec)

8.51

7.47

7.69

Pocket IE JPEG load (KB/sec)

0.059

205

242

File Explorer large folder list (files/sec)

652

563

584

Compress 1 MB file using ZIP (KB/sec)

317

253

289

Decompress 1024x768 JPEG file (KB/sec)

916

755

775

Arkaball frames per second (frames/sec)

97.7

35.3

89.5

CPU test: Whetstones MFLOPS (Mop/sec)

0.116

0.099

0.099

CPU test: Whetstones OPS (Mop/sec)

86.6

71.8

72.1

CPU test: Whetstones MWIPS (Mop/sec)

7.81

6.47

6.51

Memory test: copy 1 MB using memcpy (Mop/sec)

111

95.1

       109

Таблица результатов тестирования с помощью SPB Benchmark 

Кроме этого, мы приводим вашему вниманию также обобщенное графическое представление результатов тестов по каждой подсистеме устройства.

Диаграмма SPB Benchmark  результатов теста процессора

Диаграмма SPB Benchmark  результатов теста файловой системы 

Диаграмма SPB Benchmark  результатов теста графической системы 

Эти диаграммы автоматически формируются на сайте SPB Software House по итоговым данным тестов и наглядно отображают их результаты. 

Core Pocket Media Player

TCPMP 0.71 

По нашему мнению, синтетический тест не может считаться всеобъемлющим. Реальная же производительность лучше всего демонстрируется при воспроизведении видео, которое задействует все ресурсы КПК в полном объеме. Для этого теста мы используем один из самых популярных проигрывателей видео – плеер TCPMP 0.71. Для нас он примечателен прежде всего тем, что имеет встроенный бенчмарк, который и оценивает скорость воспроизведения видео. Кроме того, плеер поддерживает графические ускорители, например такие, как, Intel 2700G (установленный в наладонниках Dell X50v и X51v) и ATI Imageon 3220. А это значит, что никаких условностей быть не может. Чем результат больше, тем КПК производительней при проигрывании видео. 

 

Считается, что нормальная скорость воспроизведения (без пропуска кадров видео ряда) – 100%. Но мы берем небольшой запас, принимая за норму показатель 110%. Таким образом, если все ролики воспроизводятся со средней скоростью более чем 110%, то КПК можно рекомендовать для просмотра видео. Ну а при сравнении показателей разных моделей карманных компьютеров делаются выводы о производительности.В роли тестового материала используется трейлер к блокбастеру "Матрица. Революция", который изобилует сложными для воспроизведения сценами. Фрагмент закодирован в 5 роликов. Степень сжатия и разрешения варьируются от традиционных "карманных" до настольных. Все ролики взяты с официального сайта плеера TCPMP и предназначены специально для тестирования. Ниже приведены их характеристики. 

Результаты попадают в обзор в виде диаграммы, отображающей скорость воспроизведения видео в процентах.

Диаграмма, отображающая скорость воспроизведения тестового ролика 

Так, на наш взгляд, читателю проще воспринимать разницу в производительности разных моделей в различных роликах.



Тестирование времени автономной работы 

Пожалуй, самой интересной и захватывающей частью тестирования является проверка времени автономной работы тестируемого аппарата. Описанный ранее тестовый пакет SPB Benchmark 1.6 способен также оценить и этот параметр. Однако в этом разделе тестирования мы не позволили себе целиком довериться синтетике, а предпочли комбинированный вариант.

С помощью SPB Benchmark 1.6 мы лишь замеряем точное время работы в том или ином режиме. В то же время для загрузки тестируемого аппарата нами используются реальные приложения. Тестирование проводится в следующих режимах работы до остатка заряда батареи в 5%:

Полученные в результате тестов данные мы представляем в виде сравнительных диаграмм.

 

Результаты тестов на время автономной работы 

Кроме этого, в случае с коммуникаторами (а теперь это основные гости нашей тестовой лаборатории) проводится еще и тест в режиме разговора и ожидания – здесь все определяется на глаз, т.к. ювелирной точности не требуется. А также засекается время работы при обычном использовании (разговоры, сообщения, Bluetooth-синхронизация, чтение и т.д.). Таким образом, нам удается получить детальную картину о том, сколько времени устройство может проработать без подзарядки в различных режимах. 

Тестирование GPS-навигаторов

Поскольку львиная доля поступающих в нашу тестовую лабораторию коммуникаторов оснащена GPS-приемником, нам пришлось разработать специальную методику для тестирования качества GPG-навигации. Но перед тем, как мы раскроем вам ее секреты, мы позволим себе немного рассказать вам об основах GPS-навигации. 

Принцип работы системы состоит в определении местоположения путем измерения расстояний до объекта от точек с известными координатами – спутников. Для нахождения расстояния необходимо вычислить время задержки распространения сигнала, посылаемого от спутника приемнику. Для определения трехмерных координат приемнику необходимо решить систему из трех уравнений. Чтобы устранить погрешность, вызванную разницей между точными часами на спутнике и намного менее точными в приемнике, вводится четвертое уравнение. Все эти математические изыски говорят лишь о том, что для однозначного определения координат приемник должен «видеть» не менее четырех спутников. 

Всего же над нашими головами на 6 околоземных орбитах на высоте 20200 км вращается 24 основных и несколько резервных спутников. Распределены они так, что из любой точки Земли в любой момент времени выше 15° над горизонтом находятся от 4 до 8 спутников.  

В приемнике же на основе корреляционной обработки выделяются: составляющие, относящиеся к конкретным спутникам, кодовые последовательности и навигационные сообщения. В составе последних передается два типа информации: о параметрах орбит и о текущем состоянии спутников. Называются они «альманах» и «эфемериды». Альманах содержит приближенные параметры орбит, в то время как данные эфемерид очень точные и действительны лишь несколько часов. В зависимости от того, какой объем этих данных хранится в памяти приемника на момент его включения, различают следующие типы стартов (Time To First Fix): hot-start – известны и альманах, и эфемериды; warm-start – известен только альманах; cold-start – данные отсутствуют или недействительны (приемник был долгое время выключен или перевезен на другое место).  

Следует сказать, что при использовании кода, передающего информацию от спутника, среднеквадратическая ошибка в определении координат составляет около 10 м. Так что погрешность в определении будет присутствовать в любом случае. 

На рынке электронных компонентов всего лишь несколько фирм занимаются выпуском микросхем для построения GPS-приемников. Среди наиболее известных можно отметить NemeriX, SiRF, Sony, uNav и Garmin. Собственно, качество работы приемника в основном определяется характеристиками применяемого в нем чипсета. Самым современным на сегодняшний день является чипсет компании SiRF. Называется он StarIII. Именно на нем и основаны все поступающие в нашу тестовую лабораторию навигационные комплексы. Для сравнения приводим характеристики и некоторых других чипов. 

Таблица. Характеристики чипсетов

Разработчик чипсета

NemeriX

SiRF II LP

SiRF XT2

SiRF StarIII

Sony

uNAV

Garmin

Xemics

Число каналов

16

12

12

20

16

12

12

8

Корреляторы

64

1920

1920

200000

?

4092

?

32

Потребляемая мощность, mW

25

220

220

220

210

210

?

25

Чувствительность, dBm

-147

-142

-158

-159

-152

-150

>-135

-143

TTFF (Cold/Warm/Hot)

43/38/9

45/35/8

45/35/8

42/38/8

50/35/2

50/35/8

45/45/5

120/42/8

Коррекция точности

Нет

Да

Нет

Да

Нет

Нет

Да

?

Видно, что SiRF StarIII выделяется на общем фоне высокой чувствительностью приема сигнала. Кроме того, обладая 20 каналами, приемник может улавливать как прямые, так и отраженные от  строений сигналы, что повышает точность определения координат и стабильность приема. 

В роли тестового ПО  мы используем навигационный пакет OziExplorer 1.11.1 и растровые карты города Минска. Таким образом мы оцениваем способность реальной навигации в городских условиях.

C помощью OziExplorer 1.11.1 мы можем оценивать точность позиционирования навигационного комплекса в городских условиях 

Для того, чтобы увидеть, сколько спутников способен "поймать" обозреваемый, какой уровень имеет принимаемый от них сигнал, да и вообще оценить "спутниковую" ситуацию над головой, мы применяем утилиту VisualGPSCe 1.00.3.

 

 

VisualGPSCe 1.00.3 позволяет определить детали приема сигнала от спутника 

Поочередно применяя эти утилиты, мы проходим через 3 этапа тестирования GPS-приемника. 

Для наглядной демонстрации результатов тестирования GPS-навигации мы предоставляем в обзорах массу скриншотов. 

Мобильные телефоны. Смартфоны

Тестирование мобильных телефонов в некотором роде схоже с описанной выше методикой. Например, мы точно  оцениваем внешний вид, уровень комплектации, а также мультимедийные качества "мобильника". Здесь играет большую роль позиционирование девайса производителем. Например, если телефон выступает в роли имиджевого решения, то вопросы цены и функциональности отходят на второй план. В этом случае мы стараемся акцентировать внимание именно на реализации дизайнерских идей, а также на общей концептуальной стороне вопроса. Например, очень важно внимание производителя к мелочам, сочетание внешнего и внутреннего оформления и т.д. Если же перед нами мультимедийный комбайн, то к вопросам функциональности мы подходим несколько по-другому. Здесь уже на первый план выступают способности телефона к обработке тех или иных форматов файлов, воспроизведение видео или аудио. Большую роль также играет наличие тех или иных актуальных на момент тестирования беспроводных интерфейсов. Удобство использования телефона оценивается нами отдельно. Сюда мы относим не только эргономические факторы, но и внутреннее содержание – оформление меню, удобство навигации, наличие тех или иных утилит в стандартной поставке ПО. 

Что же касается производительности, то нам кажется, что для мобильных телефонов этот параметр не столь критичен, поскольку для большинства моделей он определяется скоростью работы с меню и отрисовкой интерфейса пользователя. Тем не менее мы прекрасно понимаем, что многие используют свой телефон в качестве мобильной игровой платформы, а потому важна скорость работы с JAVA-апплетами. Вот почему большинство моделей проходят тестирование с помощью тестового пакета JBenchmark. Он позволяет оценить производительность различных подсистем телефона. Результаты тестирования приводятся в табличном виде. 

Если же говорить о смартфонах, то мы заведомо разделяем их по типу Операционной Системы – Symbian и Windows Mobile For Smartphone. Основные этапы тестирования аналогичны описанным выше для мобильных телефонов, поскольку на сегодняшний день для смарфтонов не существует специальных версий тестовых пакетов, кроме JBenchmark. Однако есть и свои нюансы. Например, мы всегда рассматриваем ПО, которое предустанавливается производителем и не является стандартным для данной версии Операционной Системы. Кроме того, благодаря тому, что существует "смартфонная" версия плеера TCPMP, мы можем оценить способность смартфонов на Windows Mobile воспроизводить видеоролики.

Вместо заключения 

На этом, уважаемые читатели, описание методики тестирования мобильных устройств можно считать пока что приостановленной, но не завершенной. Дело в том, что развитие мобильного рынка происходит столь стремительно, что появление у наших карманных помощников новых функциональных возможностей невозможно предугадать. Вот почему не исключаются новые методы тестирования, которые относятся к девайсам, выходящим за рамки описанных ранее. Мы же в свою очередь будем незамедлительно оповещать вас об этом в соответствующих обзорах, а после дополнять данный материал опробованными в деле и доказавшими свою состоятельность методами. От вас же, уважаемые читатели, мы с радостью примем любые конструктивные замечания и пожелания, связанные с описанной здесь методикой тестирования мобильных устройств.

Методика

Карта сайта1 . Карта сайта2 . Карта сайта3 . Карта сайта4 . Карта сайта5 . Карта сайта6 . Карта сайта7 . Карта сайта8 . Карта сайта9 . Карта сайта10 . Карта сайта11 . Карта сайта12 . Карта сайта13 . Карта сайта14 . Карта сайта15 . Карта сайта16 . Карта сайта17 . Карта сайта18 . Карта сайта19 . Карта сайта20 . Карта сайта21 . Карта сайта22 . Карта сайта23 . Карта сайта24 . Карта сайта25 . Карта сайта26 . Карта сайта27 . Карта сайта28 . Карта сайта29 . Карта сайта30 . Карта сайта31 . Карта сайта32 . Карта сайта33 . Карта сайта34 . Карта сайта35 . Карта сайта36 . Карта сайта37 . Карта сайта38 . Карта сайта39 . Карта сайта40 . Карта сайта41 . Карта сайта42 . Карта сайта43 . Карта сайта44 . Карта сайта45 . Карта сайта46 . Карта сайта47 . Карта сайта48 . Карта сайта49 . Карта сайта50 . Карта сайта51 . Карта сайта52 . Карта сайта53 . Карта сайта54 . Карта сайта55 . Карта сайта56 . Карта сайта57 . Карта сайта58 . Карта сайта59 . Карта сайта60 . Карта сайта61 . Карта сайта62 . Карта сайта63 . Карта сайта64 . Карта сайта65 . Карта сайта66 . Карта сайта67 . Карта сайта68 . Карта сайта69 . Карта сайта70 . Карта сайта71 . Карта сайта72 . Карта сайта73 . Карта сайта74 . Карта сайта75 . Карта сайта76 . Карта сайта77 . Карта сайта78 . Карта сайта79 . Карта сайта80 . Карта сайта81 .