Методика тестирования 

Методика тестирования мобильных устройств

версия для печати послать другу 0
|| Содержание статьи

Показать одной страницей

26.02.2007 00:05 Автор: TECHLABS Team

Тестирование времени автономной работы 

Пожалуй, самой интересной и захватывающей частью тестирования является проверка времени автономной работы тестируемого аппарата. Описанный ранее тестовый пакет SPB Benchmark 1.6 способен также оценить и этот параметр. Однако в этом разделе тестирования мы не позволили себе целиком довериться синтетике, а предпочли комбинированный вариант.

С помощью SPB Benchmark 1.6 мы лишь замеряем точное время работы в том или ином режиме. В то же время для загрузки тестируемого аппарата нами используются реальные приложения. Тестирование проводится в следующих режимах работы до остатка заряда батареи в 5%:

  • стресс-тест. Все ресурсы КПК задействованы в  полном объеме. При этом все модули (разумеется, при их наличии), такие как, GSM-модуль, Bluetooth, GPS и Wi-Fi, включены, яркость подсветки и громкость максимальны, коммуникатор проигрывает в цикле видеоролик RL_XQ;
  • просмотр видео. Громкость динамика и яркость подсветки выставлены на половину от максимума. Плеер TCPMP в цикле проигрывает видеоролик RL_MQB. GSM-модуль, Bluetooth, GPS и Wi-Fi выключены;
  • чтение электронных книг. Чтение осуществляется с помощью программы Haali Reader в режиме автоскролла. GSM-модуль, Bluetooth, GPS и Wi-Fi выключены, подсветка на первом делении от минимума;
  • проигрывание аудио. Прослушивание производилось с помощью встроенного плеера Windows Media и наушников. Файлы с битрейтом 192 KB/s проигрывались с карты памяти. GSM-модуль, Bluetooth, GPS, Wi-Fi и экран выключены. В этом тесте мы целиком доверились SPB Benchmark 1.6. 

Полученные в результате тестов данные мы представляем в виде сравнительных диаграмм.

 

Результаты тестов на время автономной работы 

Кроме этого, в случае с коммуникаторами (а теперь это основные гости нашей тестовой лаборатории) проводится еще и тест в режиме разговора и ожидания – здесь все определяется на глаз, т.к. ювелирной точности не требуется. А также засекается время работы при обычном использовании (разговоры, сообщения, Bluetooth-синхронизация, чтение и т.д.). Таким образом, нам удается получить детальную картину о том, сколько времени устройство может проработать без подзарядки в различных режимах. 

Тестирование GPS-навигаторов

Поскольку львиная доля поступающих в нашу тестовую лабораторию коммуникаторов оснащена GPS-приемником, нам пришлось разработать специальную методику для тестирования качества GPG-навигации. Но перед тем, как мы раскроем вам ее секреты, мы позволим себе немного рассказать вам об основах GPS-навигации. 

Принцип работы системы состоит в определении местоположения путем измерения расстояний до объекта от точек с известными координатами – спутников. Для нахождения расстояния необходимо вычислить время задержки распространения сигнала, посылаемого от спутника приемнику. Для определения трехмерных координат приемнику необходимо решить систему из трех уравнений. Чтобы устранить погрешность, вызванную разницей между точными часами на спутнике и намного менее точными в приемнике, вводится четвертое уравнение. Все эти математические изыски говорят лишь о том, что для однозначного определения координат приемник должен «видеть» не менее четырех спутников. 

Всего же над нашими головами на 6 околоземных орбитах на высоте 20200 км вращается 24 основных и несколько резервных спутников. Распределены они так, что из любой точки Земли в любой момент времени выше 15° над горизонтом находятся от 4 до 8 спутников.  

В приемнике же на основе корреляционной обработки выделяются: составляющие, относящиеся к конкретным спутникам, кодовые последовательности и навигационные сообщения. В составе последних передается два типа информации: о параметрах орбит и о текущем состоянии спутников. Называются они «альманах» и «эфемериды». Альманах содержит приближенные параметры орбит, в то время как данные эфемерид очень точные и действительны лишь несколько часов. В зависимости от того, какой объем этих данных хранится в памяти приемника на момент его включения, различают следующие типы стартов (Time To First Fix): hot-start – известны и альманах, и эфемериды; warm-start – известен только альманах; cold-start – данные отсутствуют или недействительны (приемник был долгое время выключен или перевезен на другое место).  

Следует сказать, что при использовании кода, передающего информацию от спутника, среднеквадратическая ошибка в определении координат составляет около 10 м. Так что погрешность в определении будет присутствовать в любом случае. 

На рынке электронных компонентов всего лишь несколько фирм занимаются выпуском микросхем для построения GPS-приемников. Среди наиболее известных можно отметить NemeriX, SiRF, Sony, uNav и Garmin. Собственно, качество работы приемника в основном определяется характеристиками применяемого в нем чипсета. Самым современным на сегодняшний день является чипсет компании SiRF. Называется он StarIII. Именно на нем и основаны все поступающие в нашу тестовую лабораторию навигационные комплексы. Для сравнения приводим характеристики и некоторых других чипов. 

Таблица. Характеристики чипсетов

Разработчик чипсета

NemeriX

SiRF II LP

SiRF XT2

SiRF StarIII

Sony

uNAV

Garmin

Xemics

Число каналов

16

12

12

20

16

12

12

8

Корреляторы

64

1920

1920

200000

?

4092

?

32

Потребляемая мощность, mW

25

220

220

220

210

210

?

25

Чувствительность, dBm

-147

-142

-158

-159

-152

-150

>-135

-143

TTFF (Cold/Warm/Hot)

43/38/9

45/35/8

45/35/8

42/38/8

50/35/2

50/35/8

45/45/5

120/42/8

Коррекция точности

Нет

Да

Нет

Да

Нет

Нет

Да

?

Видно, что SiRF StarIII выделяется на общем фоне высокой чувствительностью приема сигнала. Кроме того, обладая 20 каналами, приемник может улавливать как прямые, так и отраженные от  строений сигналы, что повышает точность определения координат и стабильность приема. 

В роли тестового ПО  мы используем навигационный пакет OziExplorer 1.11.1 и растровые карты города Минска. Таким образом мы оцениваем способность реальной навигации в городских условиях.

C помощью OziExplorer 1.11.1 мы можем оценивать точность позиционирования навигационного комплекса в городских условиях 

Для того, чтобы увидеть, сколько спутников способен "поймать" обозреваемый, какой уровень имеет принимаемый от них сигнал, да и вообще оценить "спутниковую" ситуацию над головой, мы применяем утилиту VisualGPSCe 1.00.3.

 

 

VisualGPSCe 1.00.3 позволяет определить детали приема сигнала от спутника 

Поочередно применяя эти утилиты, мы проходим через 3 этапа тестирования GPS-приемника. 

  • Приемник находится в помещении. Наиболее сложная для приема сигнала ситуация. В этом случае установить реальное местоположение достаточно проблематично. Большинство навигаторов, оснащенных встроенной антенной, не справляется с этой задачей.
  • Движение в автомобиле. Стандартная ситуация, для которой, в общем-то, и предназначено большинство обозреваемых устройств. В этом случае нами оценивается точность позиционирования на карте во время движения, влияние на прием сигнала зданий, а также мостов и других сооружений. Кроме того, оценивается скорость восстановления приема потерянного сигнала в случае проезда в туннеле.
  • Движение пешком. Немаловажный для туристов пункт. В этом случае мы просто берем навигатор в руки и движемся пешком по улицам Минска. Далее мы следуем методике, применяемой нами при движении в автомобиле. Однако в этом случае есть свои тонкости, которые предполагают большую погрешность. Объясняется это достаточно просто. Дело в том, что при движении на машине приемнику достаточно просто предсказать, где будет следующая точка отсчета, и внести коррективы в координаты.  При перемещении же пешком каждая следующая точка лежит внутри той самой зоны погрешности (10 м), как следствие, определить следующие координаты значительно труднее. 

Для наглядной демонстрации результатов тестирования GPS-навигации мы предоставляем в обзорах массу скриншотов. 

Мобильные телефоны. Смартфоны

Тестирование мобильных телефонов в некотором роде схоже с описанной выше методикой. Например, мы точно  оцениваем внешний вид, уровень комплектации, а также мультимедийные качества "мобильника". Здесь играет большую роль позиционирование девайса производителем. Например, если телефон выступает в роли имиджевого решения, то вопросы цены и функциональности отходят на второй план. В этом случае мы стараемся акцентировать внимание именно на реализации дизайнерских идей, а также на общей концептуальной стороне вопроса. Например, очень важно внимание производителя к мелочам, сочетание внешнего и внутреннего оформления и т.д. Если же перед нами мультимедийный комбайн, то к вопросам функциональности мы подходим несколько по-другому. Здесь уже на первый план выступают способности телефона к обработке тех или иных форматов файлов, воспроизведение видео или аудио. Большую роль также играет наличие тех или иных актуальных на момент тестирования беспроводных интерфейсов. Удобство использования телефона оценивается нами отдельно. Сюда мы относим не только эргономические факторы, но и внутреннее содержание – оформление меню, удобство навигации, наличие тех или иных утилит в стандартной поставке ПО. 

Что же касается производительности, то нам кажется, что для мобильных телефонов этот параметр не столь критичен, поскольку для большинства моделей он определяется скоростью работы с меню и отрисовкой интерфейса пользователя. Тем не менее мы прекрасно понимаем, что многие используют свой телефон в качестве мобильной игровой платформы, а потому важна скорость работы с JAVA-апплетами. Вот почему большинство моделей проходят тестирование с помощью тестового пакета JBenchmark. Он позволяет оценить производительность различных подсистем телефона. Результаты тестирования приводятся в табличном виде. 

Если же говорить о смартфонах, то мы заведомо разделяем их по типу Операционной Системы – Symbian и Windows Mobile For Smartphone. Основные этапы тестирования аналогичны описанным выше для мобильных телефонов, поскольку на сегодняшний день для смарфтонов не существует специальных версий тестовых пакетов, кроме JBenchmark. Однако есть и свои нюансы. Например, мы всегда рассматриваем ПО, которое предустанавливается производителем и не является стандартным для данной версии Операционной Системы. Кроме того, благодаря тому, что существует "смартфонная" версия плеера TCPMP, мы можем оценить способность смартфонов на Windows Mobile воспроизводить видеоролики.

Вместо заключения 

На этом, уважаемые читатели, описание методики тестирования мобильных устройств можно считать пока что приостановленной, но не завершенной. Дело в том, что развитие мобильного рынка происходит столь стремительно, что появление у наших карманных помощников новых функциональных возможностей невозможно предугадать. Вот почему не исключаются новые методы тестирования, которые относятся к девайсам, выходящим за рамки описанных ранее. Мы же в свою очередь будем незамедлительно оповещать вас об этом в соответствующих обзорах, а после дополнять данный материал опробованными в деле и доказавшими свою состоятельность методами. От вас же, уважаемые читатели, мы с радостью примем любые конструктивные замечания и пожелания, связанные с описанной здесь методикой тестирования мобильных устройств.

Методика

|| Комментарии на форуме 0
Оставить комментарий