Сценарий юзабилити тестирования пример

В этой статье будет подробно рассказано о том, как проводить удаленное модерируемое юзабилити-тестирование на наглядном примере

Расскажу вам историю о том, как непродуманный интерфейс помешал мне сделать покупку.

Однажды знакомый посоветовал почитать книгу Робертса “Шантарам”, он так ярко и красочно рассказывал, что заинтересовал меня не на шутку. Придя домой, я стал искать книгу в интернет-магазине Лабиринт. Вот только незадача — я не записал название и забыл, как правильно оно пишется. В голове крутилось то ли “Шантрам”, то ли “Шанторам”, то ли “Шонтарам”. Искать по фамилии автора я даже не пытался — писателей с фамилией “Робертс” ни один десяток.

Я ввел в поисковой строке “Шантрам” и получил коллекцию книг про “шатры”. Это меня озадачило.

Попробовал “Шанторам” — опять мимо. Думаю вы уже догадались, что и третья попытка провалилась. Я расстроился. Что делать? То ли я не то ввожу, то ли в магазине книги нет. Но я упорный. Так просто не сдаюсь.

Я открыл еще несколько книжных интернет-магазинов и попробовал ввести в каждом “Шантрам”. Бинго! Из трех магазинов, один нашел “Шантарам” Робертса, несмотря на то, что я переврал название. Как я был рад. Времени на поиски потратил много, но в итоге нашел желаемое и купил книгу.

А в Лабиринте, кстати, книга была, просто поиск у него работает так, что если ошибешься, то ничего не найдешь. Такое часто встречается в интернет-магазинах.

В целом интерфейс Лабиринта хорош, но казалось бы проблема в поисковом алгоритме привела к потере клиента и падению конверсии. Обидно, досадно! Этого можно было бы избежать, если провести юзабилити-тестирование на пользователях и исправить обнаруженные проблемы.

Юзабилити-тестирование — один из самых эффективных методов проверки удобства интерфейса. К участию в таком исследовании привлекают реальных пользователей продукта. Этот метод действенный и показательный, потому что никто не найдет проблемы в интерфейсе лучше, чем те, кто им пользуются.

Тестирование организует юзабилити-специалист, который планирует исследование, проводит сессии тестирования, анализирует результаты и пишет отчет.

Мы в компании “Ю-эксперт” специализируемся на юзабилити-услугах и особое место среди них занимает юзабилити-тестирование. В этой статье мы познакомим вас ближе с этим методом и подробнее расскажем как он работает.

Что можно узнать благодаря юзабилити-тестированию

Где применяют юзабилити-тестирование

Для каких продуктов подходит

Тестировать можно любые продукты, с которыми работают пользователи и это не только компьютерные интерфейсы:

В каких отраслях применяется

Юзабилити-тестирование применимо во многих отраслях, но чаще всего его используют интернет-магазины, банки и финансовые организации, сотовые компании, государственные структуры, онлайн-сервисы предоставляющие услуги, например: обучение английскому, продажа электронных билетов и тп.

Юзабилити-тестирование используется для:

Виды юзабилити-тестирований:

Качественное — в таком исследовании участвует по 6-8 человек на каждый сегмент целевой аудитории. Основная задача исследования — найти проблемы и их причины, определить потребности пользователей и способы их удовлетворения. В качественном тестировании всегда участвует модератор (юзабилити-специалист), он голосом дает пользователю задания и общается с ним в процессе тестирования.

Качественное тестирование проводят:

Количественное — в таком исследовании обычно участвует более 50 респондентов, часто число достигает 200 и более. Основная задача такого тестирования — проверить как часто пользователи сталкиваются с теми или иными проблемами в интерфейсе. Здесь сложно получить ответ на вопросы “почему” и “каким образом”, зато узнаете насколько проблемы критичны и как часто встречаются. Каждое такое тестирование проходит без непосредственного участия модератора. Пользователь самостоятельно заходит в программу для тестирования и последовательно выполняет задания, которые выводятся на экране. После каждого задания участник отвечает на несколько вопросов. Дополнительно ведется запись экрана, а иногда даже голоса респондента. Количественное тестирование обычно проводят через специальный сервис.

Количественное тестирование никогда не заменит качественное и наоборот. Они гармонично дополняют друг друга отвечая на разные вопросы. Качественное — на вопросы “почему, каким образом, в чем заключается проблема”, а количественное — “как часто, насколько критично”.

Если у компании есть бюджет только на один вид тестирования, то мы советуем начинать с качественного, так как оно найдет проблемы, а затем переходить к количественному, которое определит, насколько проблемы критичны.

Помимо перечисленных вариантов юзабилити тестирование можно комбинировать с другими типами исследований, например, с глубинным интервью, карточной сортировкой, наблюдением и тп.

Плюсы юзабилити-тестирования:

Минусы юзабилити-тестирования:

Этапы проведения юзабилити-тестирования

Интервью с бизнесом

Прежде чем начинать юзабилити-тестирование определитесь с целями и объектом тестирования. Этот этап нужен всегда, включая случай, когда тестирование проводится внутри компании без привлечения внешних специалистов.

На встрече с бизнесом обсуждаем:

Примеры вопросов бизнесу

Пример: сервис доставки пиццы

Представьте, что нужно провести юзабилити-тестирование сервиса доставки пиццы и роллов. У компании есть сайт, мобильная версия сайта и мобильное приложение. Бюджет и время ограничены, поэтому нужно выбрать только один интерфейс для тестирования. Посмотрев аналитику сайта (yandex или google), специалист увидел, что наиболее востребован мобильный сайт, поэтому с него он будет начинать тестирование.

На встрече с бизнесом были обозначены три основные задачи для тестирования:

Подбор и рекрутинг участников тестирования

Состав участников тестирования зависит от задач бизнеса. На исследование можно приглашать как существующих клиентов, так и потенциальных пользователей.

Если цель бизнеса привлечь новых пользователей или заинтересовать клиентов конкурирующей компании, то на тестирование стоит приглашать респондентов, которые еще не работали с продуктом, но он может быть им интересен.

Например, для исследования личного кабинета сайта онлайн-обучения английскому языку, мы пригласили респондентов из двух групп — новичков, которые изучают язык на этом сайте не больше месяца и опытных пользователей, которые занимаются больше полугода и знакомы с личным кабинетом. Часть заданий для этих групп повторялись, а часть отличались. Например, новые пользователи покупали подписку на курс английского, а опытные — продлевали.

Сколько человек приглашать на юзабилити-тестирование

Якоб Нильсен, один из основоположников юзабилити, писал, что 5 пользователей находят 85% проблем в интерфейса. Мы склоняемся к тому, чтобы приглашать по 8 человек из каждой целевой группы, так как это позволит обнаружить 95% проблем.

Если тестирование проводится для двух и более сегментов целевой аудитории, то из каждого приглашают по 4-6 человек, в зависимости от того, насколько сильно они отличаются. Например, если группа 1 никогда не работала с продуктом, а группа 2 состоит из опытных пользователей, то из каждой нужно взять минимум по 5-6 человек.

Пример: каких пользователей пригласить на тестирование сервиса доставки пиццы

Теперь заказчику нужно определиться с целевой аудиторией. Если в компании есть специалисты, которые непосредственно общаются с пользователями, то они могут помочь с портретами клиентов. Также хорошим подспорьем будет статистика на сайте. Требования к участникам тестирования прописываются в “скринере”.

В случае с доставкой еды аудитория будет широкой, многие любят пиццу и роллы. Основной критерий для набора респондентов можно сформулировать так: пользователь заказывал роллы или пиццу с доставкой хотя бы раз в течение трех месяцев.

Можно пригласить 4 опытных пользователей, которые хотя бы 1-2 раза в месяц заказывают еду через мобильный сайт и 4 неопытных пользователей, которые делают заказы реже раза в месяц.

В случае с пиццерией достаточно 8 пользователей:

Вознаграждение респондентам

Важно помнить, что участники тестирования не будут работать на чистом энтузиазме, их надо поощрять. В зависимости от проекта вознаграждение варьируется.

Самое банальное — деньги. Обычно за участие в тестировании мы платим 1000-1500 руб. Но это не всегда лучший вариант, так как можно попасть на пользователей, которые будут тестировать только в целях заработать.

Самый лучший респондент тот, кому интересен продукт. Поэтому, если можно наградить участника непосредственно тем, что предлагает компания, на тестирование придут самые заинтересованные пользователи.

Например, если тестируется интернет-магазин для кошек и собак, то респонденту дают купон на определенную сумму для приобретения любых товаров на сайте. Если тестируются курсы английского языка, то пользователь получает несколько бесплатных уроков. Если важно привлечь пользователей, которые не являются фанатами продукта, то тогда предлагайте денежное вознаграждение.

Пример: какое вознаграждение использовать для респондентов, тестирующих сервис доставки пиццы

В случае с доставкой пиццы и роллов респондент во время исследования может заказать настоящую пиццу и роллы, которые съест после тестирования, плюс его наградят дополнительным купоном на будущий заказ.

Сценарий тестирования

Важный этап исследования — это создание сценария тестирования. Его могут называть по-разному и “скрипт”, и “гайд” и “сценарий”, и “вопросы тестирования”.

Сценарий тестирования в чем-то похож на сценарий фильма. В нем прописываются все основные вопросы, который модератор задает пользователю, действия, которые в идеальной ситуации должен совершить пользователь и критерии, по которым мы считаем эти действия успешными или нет. Как и в случае с кино, без сценария тестирование не проводят.

Основные разделы сценария

Пример сценария для тестирования сервиса доставки пиццы

Вступительная часть сценария стандартная. Здесь модератор рассказывает респонденту, что тестировать будут не его способности, а интерфейс. В зависимости от целей исследования пользователя просят комментировать выполнение задач или хранить молчание. Второй метод используется, когда необходимо замерить время выполнения задания. Тогда комментарии респондент дает уже после выполнения задания.

Пользователя обязательно спрашивают не против ли он, если тестирование будет записываться на видео. А также просят хранить детали тестирования в тайне, если это важно для заказчика.

Вводные вопросы:

Сформулируем первую задачу сценария

Представьте, что к вам скоро придут ваши друзья. У вас будет компания из 4 человек. Закажите на компанию пиццу и напитки через этот сервис.

Зададим вопросы после выполнения задания

Далее замеряем метрики, после задания

Подробнее мы рассмотрим метрики далее, а в данном случае замерим следующие:

Кроме представленных в примере метрик, можно замерять и другие. Подробнее о них мы расскажем дальше в статье.

Завершающие вопросы

После тестирования сервиса доставки пиццы у пользователя можно спросить:

Далее можно измерить несколько метрик, если есть необходимость и завершить тестирование, выразив пользователю благодарность за участие.

Метрики в юзабилити-тестировании

Обычно во время юзабилити тестирования специалист замеряет несколько метрик. В зависимости от конкретного проекта и типа тестирования они варьируются. Но есть одна метрика, которая замеряется всегда — успешность.

Успешность — удалось ли пользователю выполнить задание. Обычно она отмечается как 1 для ответа “Да” и как 0 для ответа “Нет”.

Время выполнения. Время с одной стороны понятие объективное — его можно измерить секундами, минутами, часами. С другой стороны субъективное, так как один и тот же промежуток времени может показаться человеку длинным или коротким.

В юзабилити тестировании в зависимости от задачи можно измерять объективное и/или субъективное время. В некоторых случаях и задачах время вообще не измеряется. Например, если мы имеем дело с игрой. Задача игры — это убить время и/или потратить время на то, чтобы расслабиться, поэтому измерять время здесь можно только на этапе регистрации и не более того.

Когда применяется объективное время и как оно измеряется:

Когда применяется субъективное время и как оно измеряется:

Сложность. Это субъективная метрика, которая определяет, насколько было сложно или легко выполнять задание. Пример вопроса:

“Насколько сложно было выполнять это задание? Оцените по пятибалльной шкале, где 1 — очень легко, а 5 — очень сложно”.

В зависимости от продукта и целей исследования вопросы можно задавать тем или иным образом.

В отдельных исследованиях мы используем SUM (Single Usability Metrics). Идея данной оценки — свести все юзабилити-метрики к одной и таким образом получить инструмент для сравнения. В этой оценке учитываются метрики разной размерности — время (в секундах), показатель ошибок (в штуках), завершенность задания (бинарный показатель), усредненный показатель удовлетворенности (баллы Ликера). Чтобы не складывать секунды со штуками, основатель этой системы Джеф Соро предлагает привести все показатели к безразмерной шкале. Для вычисления SUM используется специальный калькулятор (его можно найти в интернете или скачать специальный файл excel).

Кроме перечисленных можно измерять другие, такие как: семантический дифференциал, количество ошибок, критичность ошибок и тп. Это обширная тема для обсуждения, мы постараемся рассказать о ней в отдельной статье.

Пример: сервис доставки пиццы

Для тестирования мобильной версии сайта сервиса доставки пиццы мы выбрали следующие метрики.

После завершения всех сессий тестирования модератор считает среднее значение для каждой метрики по всем респондентам и обращает внимание на те, которые вышли из диапазона.

Самая важная метрика — успешность. В идеальной ситуации, все 8 пользователей должны выполнить задание. Если хотя бы 1 респондент не справился с заданием, интерфейс нужно дорабатывать.

Вторая важная метрика — сложность. Если сложность получилась между 1 и 2, то все хорошо, но если она больше 2, то на интерфейс нужно обратить внимание. Если сложность колеблется между 4 и 5, то нужно обратить на эту задачу пристальное внимание.

Третья по важности метрика — время. Если субъективное время находится между 1 и 2, то это хороший знак, если оно больше 2, то стоит обратить внимание.

Пилотное тестирование

После того, как сценарий написан и утвержден бизнес-заказчиком важно провести пилотное тестирование. У него есть несколько целей:

К “пилоту” желательно привлекать пользователя из целевой аудитории, тогда оно будет наиболее приближено к реальному тестированию. Если такой возможности нет, то можно тестировать коллегу или знакомого, который наиболее близок к целевой аудитории.

Иногда во время пилота выясняется, что нужно:

Таким образом, пилотное тестирование — необходимая часть процесса.

Проведение тестирований на пользователях

После пилотного тестирования и рекрутирования нужно составить график тестирований. Для комфорта пользователя и качественных результатов каждая сессия тестирования должна длится не более часа. Однако, на каждое тестирование нужно закладывать 1,5-2 часа, так как пользователь может опоздать к началу или сессия тестирования затянуться.

В случае очного тестирования заказчик может наблюдать процесс из соседней комнаты, если тестирование удаленное, то он подключается к zoom или skype, а также может посмотреть тестирование в записи.

Пример: юзабилити тестирование сервиса доставки пиццы

Юзабилити тестирование сервиса доставки пиццы было решено проводить на мобильном телефоне, так как мобильной версией сайта пользуется больше половины клиентов. Тестирование проводится удаленно на мобильном телефоне респондента.

Программа, через которую проводится тестирование должна уметь расшаривать экран и вести видеозапись. В качестве инструментов мы выбрали Skype и Zoom. Предпочтительно иметь в распоряжении две программы, так как одна может не работать на устройстве респондента.

При звонке пользователю рекрутер предупреждает, что тестирование будет удаленным, оно будет длиться около часа и для этого нужно приложение Zoom или Skype, установленное на телефон.

Модератор созванивается с пользователем и просит его расшарить экран телефона через приложение, а также включает запись.

Во время тестирования важно, чтобы модератор не подсказывал пользователю и не помогал выполнять задания. Модератор может отвечать на вопросы пользователя и помочь разобраться с продуктом только после окончания тестирования или в отдельных случаях после выполнения задания.

Анализ результатов

После завершения сессий юзабилити-тестирования специалист работает с данными, полученными на тестировании, и пишет отчет. Для этого он:

Пример: усредненные метрики после тестирования сервиса доставки пиццы (8 участников тестирования)

В этом тестировании измерялись:

Успешность (1 — выполнил, 0 — не выполнил). В таблице обычно отмечают, сколько респондентов справилось с заданием.

Субъективное время по 5-балльной шкале, где 1 — потратил очень мало времени, 5 — потратил очень много времени.

Сложность по 5-балльной шкале, где 1 — было очень легко, 5 — было очень сложно.

Примеры цитат пользователей из тестирования:

“Я бы никогда здесь не стала заказывать пиццу. Вот как заказать сет? Я не понимаю. Тут просто название пиццы “Деревенская”. А что в нее входит? Не понятно. И главное не нажать никуда и не посмотреть. Честно говоря у меня нет времени искать ее в каталоге и смотреть состав. Я бы уже на другой сайт ушла”

“Ой, я нажала на сеты роллов и суши, а он мне тут игральные карты и туалетную бумагу предлагает. Вот умора. Я бы уже ушла с сайта, честное слово”

Отчет о тестировании

После анализа видеозаписей и метрик специалист пишет отчет о тестировании, который состоит обычно из следующих разделов:

Рассмотрим подробнее разделы отчета на примере тестирования сервиса заказа пиццы.

Пример: отчет о юзабилити-тестировании сервиса заказа пиццы

Сначала идет описание методологии тестирования. Здесь кратко описывается метод тестирования и процедура, а также используемые метрики.

Кратко описывается сценарий тестирования: вводные вопросы, на которые пользователь отвечал до начала тестирования, а также перечисляются задачи.

Далее отдельным слайдом идет описание участников тестирования без указания их персональных данных. Можно указывать только основные параметры, например: город проживания, возраст, опыт заказа пиццы и тп.

Затем слайд с общими выводами о юзабилити-тестировании сервиса. Здесь вкратце описываются наиболее критичные проблемы и приводится таблица с метриками.

Далее в отчете подробно описываются проблемы, возникшие при выполнении каждого из заданий. Дается подробная разбивка по экранам. Для каждой проблемы специалист выставляет критичность от 1 до 3, где 1 — низкая критичность, 2 — средняя, 3 — высокая. Критичными считаются проблемы, которые могут привести к отказу от покупки и возникают у большинства пользователей. Их нужно устранять в первую очередь.

Заключение

Юзабилити-тестирование помогает найти проблемы в интерфейсе, “побывать в голове пользователя” и понять, как он работает с продуктом. Нужно иметь в виду, что по результатам исследования юзабилити-специалист не сможет перепроектировать интерфейс, он даст советы, как это сделать, а дальше нужно привлекать проектировщиков, дизайнеров и программистов.

К юзабилити-тестированию стоит относиться как диагнозу, который дает врач, а дальше начинать “лечение продукта” в соответствии с рекомендациями.

Юзабилити-тестирование процедура многоразовая. Его нужно повторять регулярно, особенно после таких важных этапов, как проектирование, редизайн и тп.

Для большего погружения в юзабилити-тестирования советую почитать книгу Стива Круга “Не заставляйте меня думать”, пройти курс по юзабилити на одном из порталов онлайн-обучения или обратиться в юзабилити-агентство, которое проведет тестирование за вас.

В случае, когда нет возможности провести юзабилити-тестирование (например, нет времени или не хватает бюджета), мы советуем заказать юзабилити-экспертизу интерфейса. Она поможет найти основные проблемы в продукте и получить рекомендации, как их устранить.

Полезные материалы по теме

Юзабилити-аудит сайта: полный гид + примеры

Как написать эффективный скрипт теста юзабилити приложения

Получение отзывов пользователей всегда было центральным в том, как мы создаем привлекательные приложения, которые приносят бизнес-ценность для клиентов и передают восхитительный пользовательский опыт. Мы делаем это, чаще всего, путем тестирования пользователями приложения. Электронная книга, «Практическое руководство по тестированию пользователей приложений», предлагает пошаговое руководство для дизайнеров и групп разработчиков, как проводить пользовательское тестирование в модерируемых и немодерируемых (онлайн) тестах. В этом посте мы рассмотрим один из ключевых компонентов: как написать эффективный сценарий тестирования юзабилити.

Отличный сценарий тестирования юзабилити прост и поучителен

Почему важно, чтобы у модераторов был сценарий, который нужно соблюдать в пользовательских тестах? Во-первых, вы хотите, чтобы ваши тесты были как можно более стандартными. Это гарантирует, что вы не будете смещать ответы отдельных участников. А уверенность в том, что каждый пользователь отвечает на одни и те же вопросы, гарантирует, что вы сможете увидеть сходства и различия в ваших пользовательских ответах, что поможет вам сделать более убедительные выводы из своего исследования.

В конечном счете, сценарий должен быть простым, но содержать достаточно инструкций, чтобы помочь фасилитатору направлять участников во время модерируемой сессии — или предоставлять всю информацию, которую участники должны знать на немодерируемых (онлайн) сессиях. Вот разделы, которые должен включать документ сценария, с рекомендациями о том, что включать в каждый из них:

СОВЕТ: чтобы сделать сценарий более легким для чтения во время модерируемого теста, используйте другой стиль текста или цвет, чтобы отделить инструкции от реального сценария, который будет прочитан участнику.

1. Справочная информация

Этот раздел предназначен для фасилитаторов и всех, кто читает сценарий теста юзабилити, но не делится с участниками теста. Обычно мы включаем справочную информацию о датах тестирования, клиенте, количестве и типе участников, истории версий и методологии тестирования. Мы также опишем, что вы тестируете, цели теста и сколько времени это должно занять для каждого участника. Также полезно включить информацию о поощрениях участников и компенсации.

2. Введение

Пример вводного раздела из скрипта тестирования юзабилити.

В этом разделе представлен скрипт для модератора, который приветствует участников и дает им общее представление о том, чего ожидать в тесте. Если тестирование проходит проверку модератором, мы также представляем координатора и все участвующие компании.

На этом этапе полезно сообщить участникам, что нет правильных или неправильных ответов. Это поможет им чувствовать себя более комфортно. Кроме того, поощряйте пользователей говорить вслух во время выполнения заданий. Вы захотите понять их мыслительный процесс, их действия и их чувства.

Также важно запросить согласие на запись сеанса. Убедитесь, что получили явное устное согласие на это.

СОВЕТ. Во время личного модерируемого теста вы должны дать участникам возможность задать любые вопросы перед началом.

3. Предварительная проверка анкеты

В этом разделе пользовательского теста ваша основная цель — сделать так, чтобы ваши участники чувствовали себя комфортно.

В сценарий теста юзабилити вы включите вопросы об основной информации, такой как имя, возраст, род занятий и любые другие демографические данные, относящиеся к вашему тесту. Во время модерируемых тестов достаточно запросить подтверждение (например, «Пожалуйста, подтвердите, что вас зовут [ИМЯ].») Уже имеющейся у вас информации.

Затем задайте любые общие вопросы, связанные с вашим проектом. Например, если вы тестируете приложение для путешествий, вы можете спросить, как часто участники летают и используют ли они какие-либо приложения для бронирования и планирования поездок.

4. Задачи и сценарии

Задачи — это действия, которые вы просите участников выполнить на устройстве или другом интерфейсе тестирования. Каждое задание должно иметь цель.
Создание сценариев помогает участникам взаимодействовать с интерфейсом и представлять, как они будут использовать приложение в реальной жизни. Цель и задача пользователя могут выглядеть так:

• Цель теста: просмотреть гостиничные номера и забронировать один.
• Пример плохой задачи: забронировать номер в отеле.
• Пример лучшего задания (со сценарием): вы планируете отпуск в Бангкок с 3 по 14 сентября. Вам нужно забронировать отель для вашего пребывания. Зайдите в приложение, просмотрите информацию и забронируйте номер, который вы считаете лучшим.

СОВЕТ: всегда позволяйте пользователям возвращаться и читать задание столько раз, сколько им нужно.

Советы по написанию лучших заданий

Попытка не искажать поведение пользователя является сложной задачей, но она важна, если вы хотите получить полезные результаты. Вот пять советов, чтобы написать более эффективные, нейтральные задачи:

1. Сделайте задачу реалистичной, чтобы помочь участникам взаимодействовать с интерфейсом. Создавайте сценарии, максимально имитирующие реальный мир. Не заставляйте их делать то, чего они обычно не делают. Например:
   • Цель теста: просмотреть продаваемые товары на site.com .
   • Пример плохой задачи: купите пару белых высоких джинс Levi’s которые в продаже.
   • Пример лучшей задачи: купите пару джинсов Levi’s менее чем за 20 долларов .
   • В реальных условиях пользователи, вероятно, будут просматривать, прежде чем выбрать то, что они хотят купить. В первом примере мы не предоставляем пользователю возможность выбирать то, что он обычно выбирает. Вместо этого мы говорим им, что делать. Они сосредоточатся на поиске джинсов, которые мы им сказали найти, и могут не взаимодействовать с интерфейсом так, как обычно.

2. Не заставляйте участников взаимодействовать с определенной функцией. Вместо этого попытайтесь выяснить, как они решили использовать интерфейс. Таким образом, вы узнаете, могут ли они найти функции и использовать их, как вы ожидаете.
   • Цель теста: найти рецепт.
   • Пример плохой задачи: используйте панель поиска, чтобы найти индийский рецепт.
   • Лучший пример задачи: вы хотите приготовить индийскую еду сегодня. Используйте приложение, чтобы найти рецепт.

3. Избегайте добавления подсказок или описания шагов. Лучше предложить контекст для сценария, чем предоставить четкие шаги для достижения цели. Идея состоит в том, чтобы позволить участникам самостоятельно перемещаться по интерфейсу.
   • Цель теста: следить за прогрессом в книге.
   • Пример плохой задачи: вы хотите обновить прогресс в книге, которую вы читаете. Перейдите в приложение, найдите книгу, добавьте ее в свой список и обновите достигнутый прогресс.
   • Лучший пример задачи: вы начали читать новую книгу и не хотите терять место на котором закончили в прошлый раз. Используйте приложение, чтобы обновить ваш прогресс.

4. Не облегчайте задачу участникам, используя тот же язык, который они могут легко найти в тестируемом интерфейсе. Например, если интерфейс демонстрирует кнопку с надписью «Пользуйтесь месяц бесплатно», вам не следует использовать эту же формулировку в задании:
   • Цель теста: попробуйте сервис бесплатно.
   • Пример плохого задания: зайдите на сайт и пользуйтесь бесплатно в течение месяца .
   • Лучший пример задачи: вы хотите попробовать этот сервис в первый раз. Зайдите на сайт и зарегистрируйтесь.

5. Будьте максимально прямыми в том, как вы формулируете задачи. Посмотрите на эти два примера задачи:
   • Цель теста: записаться на прием.
   • Пример плохой задачи: теперь, посмотрите, можете ли вы попытаться найти способ записаться на прием к диетологу.
   • Пример лучшего задания: теперь, записаться на прием к диетологу.
   • Первая из них с дополнительной фразой «посмотрим, сможете ли вы попытаться найти способ», создает впечатление, что задача будет трудной для выполнения, или даже подсказка, которая может ожидать определенного ответа, поскольку интерфейс имеет плохой опыт или дизайн.

СОВЕТ: При необходимости вы можете задавать вопросы между заданиями. Лучше подождать, пока участник выполнит задание, чтобы не отвлекать их.

5. Пост-тестовая анкета

После завершения основного теста, часть вопросника сценария теста юзабилити направляет модератора задавать дополнительные вопросы. В этом разделе модератор захочет исследовать области, где ответы были неясными или неоднозначными.

Вы можете задать участникам вопросы высокого уровня о продукте или конкретной функции, или если они ожидают, что что-то будет отличаться. Вы также можете задавать открытые вопросы о новых функциях, которые они хотели бы использовать.

6. Подведение итогов

В этом разделе скрипта юзабилити-теста вы поблагодарите участников за их время. И вы можете спросить пользователей, если у них есть какие-либо вопросы для вас. Наконец, вы должны обсудить с вашими пользователями детали их компенсации.

Получение отзывов пользователей всегда было центральным в том, как мы создаем привлекательные приложения, которые приносят бизнес-ценность для клиентов и передают восхитительный пользовательский опыт. Мы делаем это, чаще всего, путем тестирования пользователями приложения. Электронная книга, «Практическое руководство по тестированию пользователей приложений», предлагает пошаговое руководство для дизайнеров и групп разработчиков, как проводить пользовательское тестирование в модерируемых и немодерируемых (онлайн) тестах. В этом посте мы рассмотрим один из ключевых компонентов: как написать эффективный сценарий тестирования юзабилити.

Отличный сценарий тестирования юзабилити прост и поучителен

Почему важно, чтобы у модераторов был сценарий, который нужно соблюдать в пользовательских тестах? Во-первых, вы хотите, чтобы ваши тесты были как можно более стандартными. Это гарантирует, что вы не будете смещать ответы отдельных участников. А уверенность в том, что каждый пользователь отвечает на одни и те же вопросы, гарантирует, что вы сможете увидеть сходства и различия в ваших пользовательских ответах, что поможет вам сделать более убедительные выводы из своего исследования.

В конечном счете, сценарий должен быть простым, но содержать достаточно инструкций, чтобы помочь фасилитатору направлять участников во время модерируемой сессии — или предоставлять всю информацию, которую участники должны знать на немодерируемых (онлайн) сессиях. Вот разделы, которые должен включать документ сценария, с рекомендациями о том, что включать в каждый из них:

СОВЕТ: чтобы сделать сценарий более легким для чтения во время модерируемого теста, используйте другой стиль текста или цвет, чтобы отделить инструкции от реального сценария, который будет прочитан участнику.

1. Справочная информация

Этот раздел предназначен для фасилитаторов и всех, кто читает сценарий теста юзабилити, но не делится с участниками теста. Обычно мы включаем справочную информацию о датах тестирования, клиенте, количестве и типе участников, истории версий и методологии тестирования. Мы также опишем, что вы тестируете, цели теста и сколько времени это должно занять для каждого участника. Также полезно включить информацию о поощрениях участников и компенсации.

2. Введение

Пример вводного раздела из скрипта тестирования юзабилити.

В этом разделе представлен скрипт для модератора, который приветствует участников и дает им общее представление о том, чего ожидать в тесте. Если тестирование проходит проверку модератором, мы также представляем координатора и все участвующие компании.

На этом этапе полезно сообщить участникам, что нет правильных или неправильных ответов. Это поможет им чувствовать себя более комфортно. Кроме того, поощряйте пользователей говорить вслух во время выполнения заданий. Вы захотите понять их мыслительный процесс, их действия и их чувства.

Также важно запросить согласие на запись сеанса. Убедитесь, что получили явное устное согласие на это.

СОВЕТ. Во время личного модерируемого теста вы должны дать участникам возможность задать любые вопросы перед началом.

3. Предварительная проверка анкеты

В этом разделе пользовательского теста ваша основная цель — сделать так, чтобы ваши участники чувствовали себя комфортно.

В сценарий теста юзабилити вы включите вопросы об основной информации, такой как имя, возраст, род занятий и любые другие демографические данные, относящиеся к вашему тесту. Во время модерируемых тестов достаточно запросить подтверждение (например, «Пожалуйста, подтвердите, что вас зовут [ИМЯ].») Уже имеющейся у вас информации.

Затем задайте любые общие вопросы, связанные с вашим проектом. Например, если вы тестируете приложение для путешествий, вы можете спросить, как часто участники летают и используют ли они какие-либо приложения для бронирования и планирования поездок.

4. Задачи и сценарии

Задачи — это действия, которые вы просите участников выполнить на устройстве или другом интерфейсе тестирования. Каждое задание должно иметь цель.
Создание сценариев помогает участникам взаимодействовать с интерфейсом и представлять, как они будут использовать приложение в реальной жизни. Цель и задача пользователя могут выглядеть так:

• Цель теста: просмотреть гостиничные номера и забронировать один.
• Пример плохой задачи: забронировать номер в отеле.
• Пример лучшего задания (со сценарием): вы планируете отпуск в Бангкок с 3 по 14 сентября. Вам нужно забронировать отель для вашего пребывания. Зайдите в приложение, просмотрите информацию и забронируйте номер, который вы считаете лучшим.

СОВЕТ: всегда позволяйте пользователям возвращаться и читать задание столько раз, сколько им нужно.

Советы по написанию лучших заданий

Попытка не искажать поведение пользователя является сложной задачей, но она важна, если вы хотите получить полезные результаты. Вот пять советов, чтобы написать более эффективные, нейтральные задачи:

1. Сделайте задачу реалистичной, чтобы помочь участникам взаимодействовать с интерфейсом. Создавайте сценарии, максимально имитирующие реальный мир. Не заставляйте их делать то, чего они обычно не делают. Например:
   • Цель теста: просмотреть продаваемые товары на site.com .
   • Пример плохой задачи: купите пару белых высоких джинс Levi’s которые в продаже.
   • Пример лучшей задачи: купите пару джинсов Levi’s менее чем за 20 долларов .
   • В реальных условиях пользователи, вероятно, будут просматривать, прежде чем выбрать то, что они хотят купить. В первом примере мы не предоставляем пользователю возможность выбирать то, что он обычно выбирает. Вместо этого мы говорим им, что делать. Они сосредоточатся на поиске джинсов, которые мы им сказали найти, и могут не взаимодействовать с интерфейсом так, как обычно.

2. Не заставляйте участников взаимодействовать с определенной функцией. Вместо этого попытайтесь выяснить, как они решили использовать интерфейс. Таким образом, вы узнаете, могут ли они найти функции и использовать их, как вы ожидаете.
   • Цель теста: найти рецепт.
   • Пример плохой задачи: используйте панель поиска, чтобы найти индийский рецепт.
   • Лучший пример задачи: вы хотите приготовить индийскую еду сегодня. Используйте приложение, чтобы найти рецепт.

3. Избегайте добавления подсказок или описания шагов. Лучше предложить контекст для сценария, чем предоставить четкие шаги для достижения цели. Идея состоит в том, чтобы позволить участникам самостоятельно перемещаться по интерфейсу.
   • Цель теста: следить за прогрессом в книге.
   • Пример плохой задачи: вы хотите обновить прогресс в книге, которую вы читаете. Перейдите в приложение, найдите книгу, добавьте ее в свой список и обновите достигнутый прогресс.
   • Лучший пример задачи: вы начали читать новую книгу и не хотите терять место на котором закончили в прошлый раз. Используйте приложение, чтобы обновить ваш прогресс.

4. Не облегчайте задачу участникам, используя тот же язык, который они могут легко найти в тестируемом интерфейсе. Например, если интерфейс демонстрирует кнопку с надписью «Пользуйтесь месяц бесплатно», вам не следует использовать эту же формулировку в задании:
   • Цель теста: попробуйте сервис бесплатно.
   • Пример плохого задания: зайдите на сайт и пользуйтесь бесплатно в течение месяца .
   • Лучший пример задачи: вы хотите попробовать этот сервис в первый раз. Зайдите на сайт и зарегистрируйтесь.

5. Будьте максимально прямыми в том, как вы формулируете задачи. Посмотрите на эти два примера задачи:
   • Цель теста: записаться на прием.
   • Пример плохой задачи: теперь, посмотрите, можете ли вы попытаться найти способ записаться на прием к диетологу.
   • Пример лучшего задания: теперь, записаться на прием к диетологу.
   • Первая из них с дополнительной фразой «посмотрим, сможете ли вы попытаться найти способ», создает впечатление, что задача будет трудной для выполнения, или даже подсказка, которая может ожидать определенного ответа, поскольку интерфейс имеет плохой опыт или дизайн.

СОВЕТ: При необходимости вы можете задавать вопросы между заданиями. Лучше подождать, пока участник выполнит задание, чтобы не отвлекать их.

5. Пост-тестовая анкета

После завершения основного теста, часть вопросника сценария теста юзабилити направляет модератора задавать дополнительные вопросы. В этом разделе модератор захочет исследовать области, где ответы были неясными или неоднозначными.

Вы можете задать участникам вопросы высокого уровня о продукте или конкретной функции, или если они ожидают, что что-то будет отличаться. Вы также можете задавать открытые вопросы о новых функциях, которые они хотели бы использовать.

6. Подведение итогов

В этом разделе скрипта юзабилити-теста вы поблагодарите участников за их время. И вы можете спросить пользователей, если у них есть какие-либо вопросы для вас. Наконец, вы должны обсудить с вашими пользователями детали их компенсации.

Дизайн продукта, сайта или приложения — весьма длительный процесс, требующий терпения, проницательности и наличия ряда инструментов. Чтобы понять, что в действительности работает, а что нет, важно знать мнение пользователей. Здесь-то и приходит на помощь пользовательское тестирование (user testing).

Объединив усилия, UXPin, UserTesting и Optimal Workshop решили описать UX-процесс, которому они следовали для гипотетического редизайна сайта Yelp:

Весь процесс скорее напоминал дизайн-спринт, состоящий из 1-3 недельных проектов, сфокусированных на решении конкретных задач.

• Пользовательское тестирование: 4 идеи от The Home Depot

Краткий обзор процесса UX-дизайна

1. Определение продукта

На начальном этапе специалисты определили ценностное предложение (value proposition), незаслуженное преимущество (unfair advantage) и общую бизнес-модель. Поскольку Yelp уже добился значительного успеха в привлечении посетителей, они решили, что было бы интересно понять, как можно повысить частоту использования (frequency of use). Далее был разработан общий план тестирования.

2. Тестирование и анализ

На этапе исследования команда рассмотрела в деталях план тестирования и перешла к немодерируемым сессиям. Была определена демография пользователей и детализированы конкретные задачи. В ходе работы использовались различные методы тестирования, начиная от анализа записей взаимодействий пользователей с сайтом, удаленной карточной сортировки (card sorting) и тестирования первого клика (first-click testing).

По мнению UserTesting, одним из основных принципов юзабилити-тестирования является использование общих и конкретных заданий. Первые позволяют узнать о том, что думают пользователи, в то время как последние выявляют причины разочарования.

Во время всех тестирований разработчики придерживались следующих принципов:

• Переработка текста. В целях извлечения максимальной пользы специалисты несколько раз корректировали инструкции, чтобы язык был как можно более лаконичным и побуждал к конкретным действиям. Это непременное условие для удаленных немодерируемых тестирований, поскольку письменные инструкции являются единственными директивами для участников.
• Проведение пилотного тестирования (pilot test). Как только инструкции были готовы, было проведено немодерируемое удаленное тестирование с одним пользователем из группы тестирования. Он также оставил отзыв касательно самих инструкций, чтобы команда могла исправить мелкие недочеты и обеспечить полную ясность.
• Обеспечение задач релевантными вопросами. По каждому заданию участник тестирования должен был ответить на вопрос «Была ли выполнена задача?», а также «Оцените уровень ее легкости/сложности». Ответ на первый вопрос давал понять, осуществима ли задача; в то время как второй — позволял углубиться в возможные улучшения дизайна.
• Избегание наводящих вопросов. При тестировании использовался такой, к примеру, вопрос, как «Насколько легко или трудно было вам выполнить эту задачу?» вместо «Насколько трудно было выполнить эту задачу?», что предотвращает вероятность необъективного ответа.

Для сбора качественных и количественных данных специалисты провели три удаленных юзабилити-тестирования, в каждом из которых участвовало минимум 5 человек. Выявив болевые точки, они разработали потоки задач (task flows), имитируя шаги каждого пользователя на основе текущего дизайна. Проанализировав их и выявив недостатки юзабилити, они улучшили потоки, котоорые и послужили в качестве функциональных принципов редизайна.

3. Дизайн и итерация

Глен Липка (Glen Lipka), вице-президент User Experience, считает, что последовательный пользовательский интерфейс (UI, user interface) лучше, чем совершенный пользовательский интерфейс. Последовательность порождает узнаваемость, которая в свою очередь способствует более частому обращению. Ниже приводятся несколько руководящих принципов:

• Дизайн для информации. Люди используют веб-сайты не для того, чтобы восхищаться красивыми дизайнами, но потому что им нужен контент. В описываемом случае, учитывая, что Yelp — это сайт для поиска на местном рынке услуг, редизайн нуждался в лучшей доставке нужной информации нужным людям, и тестирование информационной архитектуры при помощи карточной сортировки было неотъемлемой частью этого процесса.
• Следование принципу MAYA (Most Advanced Yet Acceptable), «наиболее передовой и в то же время воспринимаемый». В то время как команда хотела обеспечить лучший опыт для изредка заходящих на сайт Yelp пользователей, они не хотели создать нечто настолько чужеродное, что могло бы оттолкнуть опытных пользователей или запутать новых.
• Изучение паттернов пользовательских интерфейсов. Были изучены существующие модели пользовательского интерфейса на других известных сайтах и найдено то, что можно было перенять у них.
• Сделать сайт приятным и удобным для использования (usable). Опыт для изредка заходящих на сайт Yelp пользователей должен был быть более понятным. В то же время, специалисты хотели сохранить приятный внешний вид сайта.

Конечная цель состояла в достижении локального максимума (local maximum). Проект был завершен как только затраты превысили выгоды дополнительной итерации. С учетом ограниченности по времени дизайн-спринта, разработчики не зацикливались на получении глобального максимума (global maximum).

• Локальный максимум и оптимизация конверсии

Понимание вашего бизнеса перед проведением тестирования

Прежде чем начать работу над UX, вы должны сперва понять свой бизнес. Какие проблемы он решает, каким образом приносит деньги? В чем он успешен, а в чем его можно улучшить?

Таким образом, на первом этапе редизайна вы анализируете бизнес-модель, выявляете необходимые улучшения UX, а затем определяетесь с гипотезами и планом тестирования.

1. Анализ бизнеса

Для первого шага специалисты выбрали метод Lean Canvas, поскольку это легкая и вместе с тем всесторонняя визуализация бизнеса:

Не будем утомлять вас всей документацией, поэтому просто посмотрим на то, как вы можете сделать это в целях UX на примере Yelp:

• Самая главная проблема: Люди в определенном городе хотят получить [лучший / быстрый / самый дешевый / самый простой] [продукт / услугу].
• 3 самые основные функции: Отзывы пользователей, лента активности (activity stream), поиск по городу / категории.
• Уникальное ценностное предложение: Возможность вносить компании в список, добавлять отзывы и видеть компании, рекомендованные друзьями и другими пользователями.
• «Несправедливое преимущество» (то, что не может быть скопировано или куплено): Сетевые эффекты (network effects) наличия большой базы пользователей.

Наиболее важными моментами являются функция поиска и информационная архитектура. Если люди не могут найти то, что им надо, они не будут писать отзывы. Редизайн должен наилучшим образом организовывать и направлять людей к необходимой им информации.

2. Определение объектов пользовательского тестирования

Учитывая уже имеющуюся у сайта огромную базу пользователей, было решено, что наиболее интересными областями исследования станут частота обращений и удержание пользователей. По мнению Нила Патела (Neil Patel), генерального директора QuickSprout, добавление или удаление функций может добавить ценности продукту. Исходя из этих соображений, мы определись с нужными вопросами:

• Какие функции используют люди при выборе ресторана? (например, фотографии, рейтинг и т.д.)
• Могут ли пользователи выбрать ресторан на основе нескольких конкретных критериев?
• Знают ли пользователи, как сохранять варианты?
• Могут ли они узнать, открыто ли конкретное место в данный момент?

3. Выбор методов тестирования

Поскольку описываемый проект основывался на дизайн-спринтах, разработчики хотели, чтобы он был всеобъемлющим, но также рентабельным. Выбор был сделан в пользу немодерируемого удаленного тестирования, включавшего анализ заснятых карточных сортировок, древовидную сортировку (tree sorting) и тестирование первого клика. С помощью этих тестирований специалисты смогли узнать, как участники испытаний используют продукт в жизни, какой информации они отдают приоритет и какие действия являются наиболее популярными.

• 4 способа протестировать ваш продукт в реальной жизни

Планирование и сбор качественных данных (qualitative data)

Удаленное юзабилити-тестирование с использованием специального ПО (например, UserTesting) для записи экрана и голоса участника позволяет увидеть действия пользователя и услышать его мысли во время выполнения им определенной задачи.

Чтобы провести пользовательское тестирование, для начала следует определить, какая аудитория соответствует целям вашего исследования.

В нашем случае это были текущие пользователи Yelp, посещавшие этот сайт изредка.

Такие критерии отбора как возраст, пол, уровень дохода или уровень владения интернетом были не важны. Поскольку это исследование проводилось исключительно с целью качественного анализа, специлаисты не нуждались в статистической значимости (statistical significance) для подтверждения полученных данных. Они последовали лучшим отраслевым практикам и провели свое исследование с участием 5 пользователей. И, наконец, для простоты дизайн-спринта они тестировали сайт Yelp только на стационарном компьютере.

Целью тестирования было выяснить, как эти пользователи справляются с несколькими заданиями общего характера (для определения наиболее важных функций) и, по крайней мере, с одной менее распространенной задачей (чтобы выяснить, умеют ли они пользоваться более продвинутыми функциями).

Задания общего характера включали в себя:

• Сфокусированное задание — найти компанию на основании конкретных параметров
• Открытое задание — найти компанию при наличии очень малого количества директив
• Очень конкретное задание — найти определенное место и узнать конкретную информацию о нем

Разработчикам было интересно выяснить, как пользователи взаимодействуют с фильтрами и на основании чего выбирают ту или иную компанию.

Что касается менее распространенных заданий, они предусмотрели различные варианты для каждой группы пользователей. Так как поступило несколько жалоб от зарегистрированных пользователей Yelp касательно функций «Закладка» и «Списки», специалисты попросили зарегистрированных пользователей (группа 1) сохранить компанию для последующего к ней обращения. Для пользователей без учетных записей (группа 2) задачей было найти мероприятие. Важно было увидеть, воспользуются ли они функцией поиска или нет при выполнении этого задания и как они будут принимать решение о том, какое событие посетить.

В конце каждого задания участников попросили написать, удалось ли им выполнить поставленную задачу и оценить уровень сложности или легкости ее выполнения.

После отбора испытуемых и подготовки тестовых вопросов было проведено собственно само пользовательское тестирование, и спустя час получены видеозаписи для дальнейшего их анализа.

• Зачем нужно пользовательское тестирование: кейс от Feedly

1. Функция поиска была основной отправной точкой для любой задачи.

Все пять участников воспользовались панелью поиска (search bar) даже в тех заданиях, где можно было легко обойтись и без нее.

4 из 5 участников сразу же обратились к функции поиска для того, чтобы найти ресторан. Только один пользователь начал просматривать категории, что сразу же показалось ему чересчур неудобным, и в конечном счете он также прибегнул к строке поиска.

2. Вкладка «События» не была достаточно заметной.

В одном из заданий участников, не имеющих учетных записей Yelp, попросили найти интересное событие в их городе в ближайшие выходные. Специалисты хотели узнать, будут ли они использовать вкладку «События» в верхней части страницы:

Как ни странно, никто не воспользовался вкладкой «События». Один из участников теста обратился к панели поиска, а другой перешел в категорию «Искусство и Развлечения».

3. Функция закладок оказалось непонятной, а также никто не использовал списки.

Разработчики хотели выяснить, какой способ выберут пользователи, чтобы сохранить место для последующего обращения к нему. В Yelp это можно сделать двумя способами: добавить место в закладки, либо создать список.

Из трех участников:

• Один воспользовался закладками для сохранения компаний, но посетовал на то, что процесс занял много времени.
• Один начал сохранять компании с помощью закладок, но перестал по той же самой причине, что и пользователь выше.
• Один пользователь вовсе не понял, как сохранять компании на сайте и отказался от задачи.

Двое участников, воспользовавшиеся закладками, сказали, что было бы хорошо иметь возможность делать это также со страницы результатов поиска вместо того,
чтобы переходить на страницу каждой компании для этой цели.

4. Поиск конкретного места оказалось очень быстрым и легким заданием.

Все пять пользователей, имевших задание найти конкретное место и узнать, открыто ли оно в данный момент, успешно справились с ним и оценили его как очень легкое.

5. Пользователи руководствовались фотографиями для определения атмосферы ресторана.

В ответ на просьбу найти ресторан с определенной атмосферой ни один из пяти участников не попытался воспользоваться панелью поиска. Вместо этого трое просмотрели фотографии ресторана на Yelp, один посетил сайт ресторана, а последний посчитал, что символы стоимости ($,$$,$$$,$$$$) — достаточный показатель того, обладает ли ресторан нужной атмосферой.

6. Фильтры использовались участниками, но могут быть улучшены.

В задании, где нужно было найти ресторан для компании из 15 человек, трое из пяти участников воспользовались фильтром «Подходит для большой компании», другой задействовал функцию «Забронировать» и затем прокрутил страницу с результатами вниз, пока не нашел подходящий под требование ресторан.

Последний пользователь попытался выбрать две категории, чтобы отфильтровать результаты, однако когда он кликнул по одному из вариантов, второй в этот момент исчез.

7. Категории цен не были предельно ясными.

Когда участники искали ресторан по определенным параметрам, одним из требований было найти ресторан в пределах $ 20/чел. Двое из пяти пользователей были сбиты с толку, в какую категорию следует отнести ресторан с таким бюджетом: $, $$, или $$$ категорию. Один из них заявил, что не знает, что означают эти символы, а другой выбрал неверную категорию. Остальные трое пользователей верно выбрали $$ категорию.

Значения символов отображаются не во время выбора фильтра, а только тогда, когда человек переходит на страницу конкретного ресторана. Так как ценовые ожидания весьма субъективны, участникам было неясно, какую категории они должны выбрать.

• Как использовать методы качественных исследований для оптимизации конверсии?

Сбор количественных данных о поведении пользователя

Следующей целью стал более подробный анализ информационной архитектуры. Для этого специалисты провели тестирование первого клика и тестирование с закрытыми картами.

1. Сортировка закрытыми картами с помощью инструмента OptimalSort.

Сортировка закрытыми картами предполагает выдачу участникам карт, содержащих названия, которые затем участники должны сопоставить с имеющимися категориями (в отличие от сортировки с открытыми картами, где пользователи должны сами создать категории). При назывании карт следует придерживаться принципа «чем проще, тем лучше». Несколько рекомендаций, применимых к сортировке как закрытыми, так и открытыми картами:

• Не следует смешивать родительские и дочерние категории. Другими словами, используйте категории одного уровня, иначе вы запутаете участников.
• Обеспечьте наличие открытых форм для дополнительной обратной связи после тестирования.
• Имейте в виду, что иногда пользователи не группируют данные. Отсутствие группировки может быть столь же информативным, как и ее наличие. В этом случае, непременно, узнайте у участника причину этого.

Применяемая в описываемом тесте сортировка картами имела три простые цели:

• Определить, как часто люди используют поисковые фильтры на сайте Yelp
• Определить, какие фильтры являются наиболее важными
• Определить, какие фильтры являются наименее важными

В общей сложности у разработчиков было 47 карт, отображающих все 47 фильтров поиска Yelp (цена, расстояние и т.д.). Затем участников попросили рассортировать их по категориям важности: «очень важный», «довольно важный», «не важный», и «я не знаю, для чего нужен этот фильтр»:

2. Тестирование первого клика с помощью инструмента Chalkmark

Это тестирование фиксирует участок сайта, на котором кликает пользователь, чтобы выполнить определенное задание. Вот некоторые советы относительно его проведения:

1. Пропишите четко задачи. Убедитесь, что участник думает о том, как решить проблему, а не просто о том, где кликнуть.
2. Определите лучшие пути для выполнения задачи. Начиная с домашней страницы, постройте все возможные пути для достижения каждой цели.
3. Отведите определенное время на выполнение задач.

Данное тестирование должно было:

• Определить, дает ли информационная архитектура возможность быстрого выполнения задачи
• Определить, ясны ли навигационные ярлыки

Специалисты попросили пользователей выполнить определенные задачи, снабдив их скриншотами страниц Yelp. Затем они проанализировали результаты тепловой карты (heatmap) и скорость выполнения этих задач участниками.

Количественный анализ пользовательского исследования

После проведения качественного анализа были проанализированы данные двух дистанционных исследований с помощью инструмента Optimal Workshop.

1. Результаты тестирования фильтров поиска на сайте Yelp с помощью сортировки закрытыми картами

92,5% участников сказали, что регулярно используют фильтры поиска на этом сайте.

Наиболее важными фильтрами для пользователей оказались «Отрыто сейчас», «Принимают кредитные карты» и «Специальные предложения».

Более 88% участников решили, что 7 фильтров вовсе не важны.

В результате этого исследования были определены три ключевых задачи редизайна домашней страницы Yelp:

• Сделать наиболее популярные фильтры поиска более заметными.
• Убрать неиспользуемые фильтры поиска или перепроектировать их таким образом, чтобы приоритет имели более общие фильтры, а менее распространенные фильтры были легко доступны.
• Провести сортировку закрытыми картами по уже имеющимся категориям, чтобы установить, какие фильтры должны идти в каждую из категорий по мнению пользователей. Если обнаружатся большие разногласия между участниками, необходимо будет перестроить информационную архитектуру.

Результаты тестирования первого клика на домашней странице Yelp

2. 30% участников посчитали сайт «перенасыщенным» или «сбивающим с толку».

Тепловая карта продемонстрировала значительные различия того, где именно кликали пользователи. Участников попросили найти ресторан с умеренными ценами, который мог бы вместить компанию до 20 человек. Выполнение задания заняло в среднем 15 секунд — что в условиях интернета много. На изображении ниже вы видите, что 55% кликнули по пункту меню «Рестораны» в верхнем правом углу. Остальные 45% кликнули в совершенно разных местах. Наличие потенциальных ответов в нескольких местах на странице увеличивает когнитивную нагрузку пользователей и вероятность неверного первого клика:

24% участников использовали панель поиска, когда искали механика из их города (одно из заданий). Большинство участников перешли к категориям услуг, расположенных в левой части сайта. Но вторым по популярности действием все же стало использование панели поиска.

Вкладка «События» ввела пользователей в заблуждение, когда их попросили узнать больше о предстоящем фестивале в их городе. Вкладка «События» в верхней панели навигации ведет людей на страницу с главными событиями (не к тем, что они выбрали). Чтобы увидеть события, которые они планируют посетить, они должны нажать на нижнюю вкладку «События».

В результате 37% людей проигнорировали обе эти вкладки и перешли сразу же к строке поиска. 37% людей кликнули по нужной вкладке «События». 18% нажали на вкладку, находящуюся в главной панели навигации.

На основе полученных количественных данных были определены следующие задачи для редизайна:

• Уменьшить хаос на страницах, чтобы пользователям было легче воспринимать информацию и действовать.
• Создать ясные, однозначные наименования вкладок и удалить двусмысленные, ведущие пользователей неправильными путями.
• Провести сортировку открытыми картами основного содержания, чтобы установить, каким образом, по мнению пользователей, должна быть организована информация, и узнать, как они будут именовать категории.
• Сделать вкладку «События» более заметной.
• Перепроектировать вид «Аккаунта» таким образом, чтобы не было путаницы между основным меню сайта и меню учетной записи.

• Методы изучения пользовательского опыта: что выбирать и когда использовать?

Дизайн, ориентированный на пользователя, и Итерация

После завершения анализа пользовательских данных можно начинать создавать и перерабатывать дизайн.

Якоб Нильсен (Jakob Nielsen), соучредитель Nielsen Norman Group, классифицирует большинство процессов проектирования, включающих юзабилити-тестирование, по двум категориям: итерационное проектирование (iterative design) и параллельное проектирование (parallel design).

1. Итерационный процесс проектирования

В ходе итерационного процесса мы просто переходим от одной версии дизайна к другой, основываясь на открытиях юзабилити-тестирования. Каждая стрелка в графике ниже представляет раунд тестирования и анализа:

1 схематично изображенный каркас, несколько итераций → бумажный / интерактивный каркас, несколько итераций → визуальные дизайны, несколько итераций

При таком процессе рекомендуется минимум две итерации для каждого эскиза, каркаса и макета. Конечно же, этот процесс может быть расширен в зависимости от размера и сложности, и вы можете легко создавать 5-10 итераций для каждой стадии.

2. Параллельный процесс проектирования

Этот процесс проектирования придает особое значение творческому мышлению на ранней стадии. Несколько версий дизайна, немного отличающихся друг от друга с точки зрения макета, предпочтительнее итераций.

3 разных одновременно сделанных дизайна → Пользовательское тестирование (соединяются лучшие идеи дизайна) → 1 дизайн → Итерационый процесс проектирования

Один большой раунд пользовательского тестирования приводит к одному унифицированному дизайну. Для дальнейшего его усовершенствования лучше использовать итерационный процесс, при котором небольшие изменения тестируются небольшими группами по 5-10 пользователей до тех пор, пока дизайн не станет окончательным.

Описанный процесс редизайна Yelp был по существу параллельным процессом совместно с UX-тестированием, проведенного в самом начале. Так как это был лишь гипотетический редизайн, разработчики остановились после шага «1 дизайн». Если бы это был настоящий редизайн, следующим шагом стало бы проведение дальнейшего тестирования для улучшения прототипа.

• 12 правил веб-дизайна от Дона Нормана

Составление эскиза

В целях редизайна Yelp составление эскиза было первым шагом на пути к изменению структуры домашней страницы и страницы результатов поиска Yelp.

1. Домашняя страница Yelp

Для составления эскиза домашней страницы Yelp потребовалось две итерации, и команда фокусировалась исключительно на структуре.

Эскиз был выполнен с учетом некоторых основных проблем юзабилити, выявленных в ходе тестирования домашней страницы:

• Повышение видимости панели поиска
• Сделать вкладку «События» более заметной
• Оптимизировать категории

Кроме того, был добавлен футер и «Отзыв дня» перемещен с правой части страницы в низ.

2. Страница результатов поиска Yelp

Поскольку страница результатов содержит меньше разнообразной информации по сравнению с домашней страницей, понадобилась лишь одна итерация, чтобы составить эскиз нового дизайна.

В этом эскизе были учтены следующие моменты:

• Фотографии должны быть более заметными
• Обозначить категории цен

• Полезные сервисы и инструменты для создания макетов, эскизов и прототипов мобильных приложений

Создание каркаса

Существует довольно много споров относительно каркасов с низкой и высокой точностью. Разработчики отдали предпочтением первым, поскольку хотели сосредоточиться исключительно на структуре на данном этапе.

1. Домашняя страница Yelp

Учитывая сложность текущей домашней страницы Yelp, специалистам потребовалось 4 итерации. В добавок к устранению проблем юзабилити, они также хотели сохранить
SEO-аспекты (например, список других городов). Ниже мы сосредоточимся на последней итерации.

• Улучшение панели поиска

Текущий дизайн:

Панель поиска находится в верхней части страницы.

Измененный каркас:

Разработчики добавили больше точности, а также обеспечили свободное пространство вокруг панели для большего ее выделения. Поскольку написание отзывов является ключевым взаимодействием для Yelp, они также добавили кнопку «Написать отзыв» в верхнем левом углу.

• Оптимизировать перечень категорий

Текущий дизайн:

Категории занимают ⅔ страницы (левой ее части) по вертикали.

Измененный каркас:

Новая конструкция является более визуальной и представляет только 8 категорий одновременно. Чтобы увидеть больше, пользователям надо просто нажать на кнопку «Другие компании», которая была перемещена ближе к верхней ⅓ страницы для более сильного визуального акцента.

• Облегчить нахождение вкладки «События»

Текущий дизайн:

«События» либо скрыты в дальнем правом углу в верхней панели навигации (не показано здесь), либо отодвинуты на боковую панель в середине прокрутки.

Измененный каркас:

Измененный макет помещает «События» в центр прокрутки. Можно либо вставить функцию «Фото» слева от текста, либо добавить видео, проигрывающееся в фоновом режиме.

• Уменьшение общего хаоса

Текущий дизайн:

Измененный каркас:

Любые вторичные элементы, такие как «Популярные события» или «Списки» (которые по результатам юзабилити-тестирования ни разу не были даже использованы) были перенесены в футер.

2. Страницы результатов поиска Yelp

Поскольку страницы результатов поиска были менее сложными, редизайн потребовал только две итерации. Ниже мы сосредоточимся на последней итерации.

• Улучшение фильтров и сортировки

Текущий дизайн:

Фильтры и сортировка Yelp испытывают недостаток иерархии.

Измененный каркас:

Новый каркас выделяет наиболее важные фильтры и перестраивает всю область на квадраты. Каждая категория фильтра включает в себя только четыре варианта, что дает визуальную упорядоченность.Так как 90% пользователей посчитали фильтр «Открыто сейчас» важным, разработчики выделили его как отдельный элемент. Цены прояснены диапазонами доллара, а 7 неважных фильтров скрыты.

• Улучшение макета результатов поиска

Текущий дизайн:

Большинство пользователей опирались на фотографии для определения атмосферы места, но иконки изображений в списках слишком малы. Также нет возможности сохранить компанию в закладки.

Измененный каркас:

Специалисты увеличили миниатюры и переместили кнопку «Сохранить для дальнейшего применения» в верхнюю часть для легкой установки закладок. Также был изменен макет и обособлен адрес и номер телефона.

• 4 метрики, чтобы оценить эффективность редизайна сайта

Прототипирование: низкая и высокая точность

В то время как создание каркаса касается структуры, прототипирование целиком относится к опыту. Прототипирование также может иметь либо низкую, либо высокую точность.

1. Прототипирование с низкой точностью

Поскольку такие прототипы являются по своей сути незавершенными, люди дают более объективную обратную связь по основным функциям и общему дизайну.

Разработчики из UXPin, UserTesting и Optimal Workshop хотели, чтобы просмотр категорий, выбор фильтров, и переключение между главной страницей и страницей с результатами поиска было беспроблемным опытом для участников. Если бы это был настоящий редизайн, их следующим шагом было бы пользовательское тестирование этого прототипа, а затем повторная итерация.

2. Прототипирование с высокой точностью

Прототипирование с высокой точностью идеально на более поздних стадиях дизайна, и итерация затрагивает уже такие моменты как внешний вид, типографика, брендинг, и другие детали.

Специалисты добавили точности, задействовав свою библиотеку элементов пользовательского интерфейса. Что нельзя было сделать в браузере, было создано в Photoshop или Sketch, а затем импортировано непосредственно в UXPin с помощью функции drag & drop. Слои были сохранены, так что надо было только нажимать на элементы и добавлять взаимодействия.

Опять же, если бы это был настоящий редизайн, команда протестировала бы новый прототип на те же самые задачи и по мере необходимости сделала итерацию.

• Оптимизация дизайна для быстрого тестирования прототипов

Заключение

Самая сложная задача, с которой сталкиваются дизайнеры и менеджеры по продукту, — это не то, как работают рынок или различные технологии, а то, как ведет себя человек. Что пользователи говорят и что они делают— две совершенно разные вещи, и единственный способ проверить это — провести тестирование.

Юзабилити-тестирование — это больше, чем галочка в списке требований. Это наиболее убедительное основание для ваших проектных решений. В конце концов, если вы не проектируете для пользователей, то вы проектируете исключительно для себя.

К слову, дизайн сайта Yelp, описанный в данной статье, все же претерпел некоторые изменения и теперь выглядит так:

Не исключено, что его разработчики использовали перечисленные выше принципы, чтобы добиться результата, отчасти напоминающего тот, к которому пришли специалисты из UXPin, UserTesting и Optimal Workshop

Высоких вам конверсий!

По материалам: earnworthy.com 

28-07-2016

Вы читаете перевод статьи Nielsen Norman Group «Usability Testing 101». Над переводом работали: Валерия Новожилова, Анастасия Свеженцева.

Фразу “юзабилити-тестирование” еще употребляют в качестве синонима фразы “пользовательское тестирование”.

Иногда возникают возражения по поводу использования фразы “пользовательское тестирование”, так как кажется, что исследователи тестируют пользователей. Но это в корне неверно: мы никогда не тестируем пользователей – только интерфейс. Этот термин о том, что тестирование проводится совместно с пользователями – это важный аспект эмпирических исследований.

Содержание:

• Что такое юзабилити-тестирование
• В чем ценность юзабилити-тестирования
• Что требуется для проведения юзабилити-тестирования
• Типы юзабилити-тестирования
• Дополнительные ресурсы NNGroup
• Что еще почитать на тему организации юзабилити-тестирования
• Вывод и рекомендации

Что такое юзабилити-тестирование

Юзабилити-тестирование – это популярная методология UX-исследований. Во время сессии юзабилити-тестирования исследователь (он же модератор или фасилитатор) просит участника выполнить несколько задач и достичь определенных целей с помощью интерфейса. Пока участник занят задачами, модератор наблюдает за поведением участника и делает заметки, в том числе и о том, что говорит участник тестирования.

В чем ценность юзабилити-тестирования

Юзабилити-тестирование помогает нам выявить барьеры, обнаружить точки роста и узнать больше о пользователях.

Цели юзабилити-тестирования зависят от конкретного исследования, но как правило они включают:

• Выявление барьеров в дизайне продукта/услуги (барьеры мешают пользователям достигать целей);
• Обнаружение точек развития (все, что помогает сделать дизайн сильнее);
• Изучение поведения и предпочтений пользователей (из целевой аудитории);

Зачем нам все-таки проводить юзабилити-тестирование? Разве опытный UX-дизайнер не знает, как спроектировать отличный пользовательский интерфейс? На самом деле, даже лучшие UX-дизайнеры не могут создать идеальный — или даже просто хороший — пользовательский опыт без итеративного подхода в дизайне, основанного на наблюдениях за реальными пользователями и их взаимодействием с интерфейсом.

В процессе создания современных пользовательских интерфейсов существует множество переменных, а в человеческом мозгу — их еще больше. Итоговое число их комбинаций просто огромно. Единственный способ разработать отличный UX-дизайн – это протестировать его.

Что требуется для проведения юзабилити-тестирования

Юзабилити-тестирование бывают разные, но в основе каждого есть: модератор (фасилитатор), задачи и участник (пользователь).

Сессия юзабилити-тестирования включает в себя присутствие участника и фасилитатора, который дает участнику задачи и наблюдает за его поведением.

Модератор (фасилитатор)

Модератор поддерживает участника в процессе всего тестирования: выдает инструкции, отвечает на вопросы участника и задает дополнительные вопросы.

Модератор призван обеспечить высокое качество результатов тестирования, избегая прямого влияния на поведение участника. 

При проведении удаленного немодерируемого тестирования (одна из форм удаленного юзабилити-тестирования) роль модератора берет на себя специальное приложения для организации таких тестирований.

Задания

Задания в юзабилити-тесте – это действия, которые участник может выполнять в реальной жизни. Они могут быть как очень конкретными, так и общими – все зависит от вопросов, поставленных для исследования и типом самого юзабилити-тестирования.

Примеры заданий из реальных юзабилити-тестирований:

• Ваш принтер показывает “Ошибка 5200”. Как Вы избавитесь от этого сообщения?
• Вы подумываете оформить новую кредитную карту в банке Wells Fargo. Зайдите, пожалуйста, на их сайт и выберите, какую бы карту вы хотели оформить (если там таковая имеется)
• Вам сообщили, что нужно поговорить с Тайлером Смитом из отдела управления проектами. Используйте интранет, чтобы найти, где этот отдел расположен. Скажите исследователю свой ответ.

Формулировка задач – очень важная составляющая юзабилити-тестирования. Даже небольшие ошибки в задачах могут привести к тому, что участник не поймет, ЧТО ему нужно сделать, или повлиять на то, КАК участник будет выполнять задание (имеется в виду психологический феномен — прайминг).

Задания озвучивают устно (модератор просто зачитывает все задачи) или передают участнику в виде списка. Мы часто просим участников зачитать инструкции к заданиям вслух. Это помогает убедиться, что участник прочитал инструкции полностью, а еще помогает исследователям делать заметки, потому что они всегда будут знать, какую именно задачу сейчас выполняет пользователь.

Участник (пользователь)

Участником должен быть настоящий пользователь продукта/услуги. Это может означать, что пользователь уже использует продукт/услугу в реальной жизни. Или, как альтернатива – в некоторых случаях участником может быть человек из целевой группы с похожим опытом или такими же потребностям (даже если он еще не использует ваш продукт).

Во время сессии юзабилити-тестирования участников просят думать вслух (так называемой метод “мысли вслух”). Пока участник выполняет задания, модератор может попросить озвучивать мысли и действия: такой подход помогает понять поведение, цели, мысли и мотивацию участника.

На фото выше сессия юзабилити-тестирования. Участник сидит слева, а фасилитатор справа. У участника специальный ноутбук для тестирования, на котором запущена программа для записи экрана. У этого ноутбука есть также веб-камера, которая записывает выражения лица участника, а еще она соединена с внешним монитором для модератора. Модератор вникает в обратную связь, управляет потоком заданий и пишет заметки. 

Типы юзабилити-тестирований

Качественное и количественное

Юзабилити-тестирование может быть качественным или количественным.

• Качественное юзабилити-тестирование фокусируется на сборе инсайтов, каких-либо выводов и историй о том, как люди используют продукт или услугу. Лучше всего качественное юзабилити-тестирование подходит для обнаружения барьеров в пользовательском опыте. Такая форма юзабилити-тестирования встречается чаще, чем количественное юзабилити-тестирование.

• Количественное юзабилити-тестирование фокусируется на сборе метрик, которые описывают пользовательский опыт. Самые распространенные метрики, которые обычно собирают при таком тестировании – успешное выполнение задачи и время, потраченное на выполнение задачи. Лучше всего количественное юзабилити-тестирование подходит для бенчмаркинга.

Число участников, необходимое для проведения юзабилити-тестирования зависит от типа исследования. Для типичного качественного юзабилити-исследования в одной группе пользователей (сегменте), мы рекомендуем ограничиться 5 участникам – такого количества будет вполне достаточно, чтобы обнаружить большинство основных проблем в продукте.

Удаленное и очное тестирование

Удаленное юзабилити-тестирование более популярно, чем очное, так как на него требуется меньше временных и финансовых затрат. Существует 2 типа удаленного юзабилити-тестирования: модерируемое и немодерируемое. 

• Удаленное модерируемое юзабилити-тестирование очень похоже на очное исследование. Фасилитатор по прежнему взаимодействует с участником и просит выполнять задания. Но участник и фасилитатор находятся в разных местах. Обычно, модерируемое тестирование проводится с помощью программ, которые позволяют делиться экраном (например, Skype или GoToMeeting).

• Удаленное немодерируемое юзабилити-тестирование протекает без взаимодействия между фасилитатором и участником. С помощью инструментов для онлайн тестирования исследователь составляет список заданий для участников. Участник начинает выполнять задания, как только будет готов. Инструмент для тестирования предоставляет все инструкции для выполнения задания и дополнительные вопросы. После того, как участник завершит выполнение заданий, исследователь получает запись сеанса и метрики (например, такие как “успешное завершение задания”).

Платформа тестирования берет на себя роль модератора и администрирует задачами для участника. Исследователь проектирует исследование и загружает задания с инструкциями на платформу. После того, как данные тестирования будут записаны и собраны, исследователь приступает к изучению и анализу этих видеозаписей.

Стоимость юзабилити-тестирования

Небольшое юзабилити тестирование, “со скидкой”, вполне может быть недорогим, хотя обычно участникам все-таки нужно заплатить несколько сотен долларов, чтобы поощрять и мотивировать их. 

Сессию тестирования можно провести в конференц-зале, а самое простое юзабилити исследование займет 3 дня вашего времени (при условии, что вы уже знаете, как его проводить и у вас уже есть участники):

• День 1: Планирование исследования
• День 2: Тестирование 5 участников
• День 3: Анализ результатов, составление на их основе рекомендаций по редизайну для следующей итерации

С другой стороны, иногда все-таки нужны более дорогие исследования, когда требуется собирать специфическую аудиторию в нужном количестве. В таком случае, для самых сложных исследований затраты могут достигать несколько сотен тысяч долларов.

Вот что увеличивает стоимость исследований:

• сравнение с конкурентами (оцениваем и сравниваем по определенным параметрам наш продукт с конкурентами)
• тестирование пользователей в разных странах
• тестирование с несколькими группами пользователей (или персонами)
• количественные исследования
• использование современного оборудования, например, айтрекера
• использование юзабилити-лаборатории или комнаты для фокус-группы, чтобы дать дополнительным исследователям возможность наблюдения
• детализированные аналитика и отчет о результатах исследования

В продвинутых исследованиях окупаемость инвестиций (ROI) довольно высокая, но обычно не такая высокая, как при простых методах исследований.

Дополнительные ресурсы NNGroup

«Карта местности» по юзабилити исследованиям: от старта до методов комплексной прокачки пользовательского опыта.

Юзабилити

• Что такое юзабилити: 7 правил юзабилити по Якобу Нильсену, которые помогут создать сайт и увеличить конверсию →
• Метрика юзабилити: что такое стоимость взаимодействия и как рассчитать ее правильно →
• Как анимация влияет на UX: применяем ui-анимации для улучшения пользовательского опыта в приложениях →

ТОП-ошибок юзабилити на сайтах и в приложениях

• ТОП-10 самых популярных ошибок web-дизайнеров →
• Топ-10 ошибок в дизайне десктопных- веб- и мобильных приложений →

Поведенческий дизайн в digital

• UX исследования: как пользователи просматривают сайты →
• 5 самых важных принципов визуального дизайна для UX/UI-дизайнеров от NNGroup →

Методы исследований и прокачка пользовательского опыта

• Обзор 20 методов UX-исследований от NNGroup: какой метод выбрать и когда →
• Что такое Customer Journey Map (CJM) и как построить ее правильно →
• Раскадровки UX- идей и исследований: зачем дизайнеру интерфейсов сториборд →
• От тактики к стратегии: что такое сервис-дизайн? →

Что еще почитать на тему организации юзабилити-тестирования

Основательный практический курс по юзабилити-тестированию от Кэрол М. Браун, в котором объясняется, как провести свой первый юзабилити-тест, проанализировать и применять результаты и как вообще действоват, если вы ограничены во времени и у вас небольшой бюджет (а также как выстраивать развитие юзабилити-подразделение вокруг вашего продукта/экосистемы). Данную книгу (с развернутым описанием практической ценности) также рекомендуем в рамках статьи о методах UX-тестирования.

Вывод и рекомендации

• Выбирайте настоящих пользователей. Людей, кто встречает такие ситуации в реальной жизни;
• Используйте 5-8 участников для оптимального юзабилити-тестирования;
• Избегайте влияния на участников во время тестирования (будьте потише);
• Задавайте открытые, нейтральные вопросы, когда говорите с участником. Например, вместо “Вам это нравится?” спросите “Что вы думаете насчет этого?”

Оригинальная публикация

Всем привет! Эту статью мы пишем вместе: Аня Долгинова и Миша Яковенко — UX-исследователи в Lamoda. Мы хотим рассказать, как правильно проводить юзабилити-тестирование с респондентом и получать четкие результаты.

Кажется, что исследовать пользовательский опыт просто: снял метрики, поговорил с участником, проанализировал показатели — и все готово. Но на самом деле все чуточку сложнее: начинающие исследователи делают много ошибок, поэтому получают некорректные данные, что может повлиять на дальнейшие решения по продукту.

Наша статья поможет правильно подготовиться к работе с респондентом, расположить его к себе, улучшить навыки своей работы и снять страх перед этим методом. Особенно она будет полезна начинающим UX-специалистам и всем специалистам, которые так или иначе взаимодействуют с интерфейсами.

Зачем нужны UX-исследования

UX-исследования появились не вчера: в какой-то степени мы продолжаем социологические исследования. Сейчас мы просто работаем преимущественно с интерфейсом. 

Исследования помогают понять, какие есть проблемы с продуктом, о чем думает клиент, как он его использует, почему он его использует именно так. В общем, оно может ответить на многие вопросы о взаимодействии человека с продуктом.

Сейчас это важно, потому что направление пользовательского опыта активно развивается, а еще меняется рынок потребления. Раньше компании достаточно было сделать клевую рекламу, и человек выбирал по тому, что красивее и что дешевле. Но в наши дни во всех сферах очень много конкурентов: у пользователя появился выбор, и его не получится привлечь и удержать красивой этикеткой. 

На первый план выходит то, как человек взаимодействует с продуктом, насколько он отвечает его потребностям, как он ведет коммуникацию. 

Что такое юзабилити-тестирование и где оно применяется

Мы используем разные методы исследований: интервью, опросы, фокус-группы, юзабилити-тестирования. Но сегодня мы поговорим о последнем методе, потому что используем его чаще всего. 

Юзабилити-тестирование — это метод оценки интерфейса со стороны удобства и эффективности его использования. Чаще всего оно проводится, когда у страницы, сайта, приложения низкая посещаемость или есть жалобы на проблемы в работе интернет-ресурса. Например, пользователи пишут в поддержку: «Я не могу оформить заказ, товар не отображается в корзине», и мы проводим тестирование, чтобы разобраться с этой жалобой.

Или еще один пример: мы замечаем, что на определенных этапах пользовательского пути довольно высокий процент отвалов. Предположим, мы видим, что много людей добавляют товары в избранное, но при этом из него редко что переходит в корзину. Мы можем сформулировать гипотезу, что есть какие-то проблемы на этапе избранного: что-то останавливает пользователей при оформлении заказа. 

А еще мы планируем исследования, когда хотим сделать редизайн, внедрить новые функции или как-то изменить существующие, и не уверены, насколько это будет удобно или понятно пользователям. Прежде чем что-то отдавать на разработку, мы должны это протестировать на этапе прототипа, и понять, стоит ли нам вкладывать много ресурсов, или это не так уж необходимо.

Методы юзабилити-тестирования

Прежде всего, нужно понимать, что юзабилити — это не всемогущий метод. Благодаря ему мы можем собрать список проблем, но не можем утверждать, что этот список исчерпывающий. 

Всего мы проводим приблизительно от 5 до 10 тестов по конкретной выборке с представителями целевой аудитории. Именно поэтому мы не можем заявлять, что с теми проблемами, которые мы выявили, сталкивается 100% наших пользователей, даже если с ними столкнулись 10 из 10 человек в нашей выборке. Мы только можем говорить о том, что такие проблемы есть и насколько они критичны для пользователя.

Юзабилити — это тест на понятность и доступность. Мы хотим понять, насколько наш интерфейс удобен для пользователя, а уже потом думаем о его внешней привлекательности. 

Есть четыре вида юзабилити-тестирования. В описаниях мы опирались на статью Натальи Спрогис, главы исследовательского отдела в СберМегаМаркете. 

Наблюдение. Респондент остается один на один с продуктом, и он ведет себя так, как вел бы в реальной жизни при решении аналогичной задачи. То есть мы не вмешиваемся в процесс взаимодействия пользователя с продуктом: мы даем ему задачу (например, оформить заказ) и молча наблюдаем за его эмоциональными реакциями, комментариями, вопросами. Но при этом мы не помогаем ему и ничего не комментируем.

Этот метод используется довольно часто. Он помогает провести тест в естественных условиях и приносит пользу в тех случаях, когда нам нужно посмотреть метрики — например, скорость выполнения задания.

Но есть и минусы: многое так и остается за кадром, и мы не можем найти объяснение, почему респондент в какой-то момент запнулся или встретился со сложностями, потому что мы не вступаем с ним в прямой диалог. При этом есть большая вероятность, что к концу исследования респондент уже не вспомнит, где он делал паузы, особенно если для него это было не сильно критично.

Мысли вслух. Респондент озвучивает все свои мысли, пока выполняет задание — любую идею или комментарий, которые придут ему в голову касательно интерфейса, задания. В обычной жизни человек так себя не ведет, но это довольно полезно, потому что мы можем найти объяснения всем проблемам, с которыми сталкивается респондент на этапе выполнения задания. 

Но и тут есть минусы: есть вероятность, что респонденты могут уделять больше внимания тем вещам, на которые они бы не обратили внимания в обычной жизни. 

Активное вмешательство. В этом методе модератор активно взаимодействует с пользователем: он может остановить респондента, спросить у него, почему здесь он поступил так, а также изменять сценарии по ходу теста. Этот метод очень удобен, когда мы тестируем прототип или когда путь пользователя довольно сильно ограничен, и нам нужно провести его по этому пути.

Ретроспектива. Это комбинация первых двух методов: наблюдения и мыслей вслух. Сначала человек выполняет все задания молча и без помощи. После модератор показывает респонденту видео того, как он выполнял задание, и респондент комментирует то, что он делал. 

Минусы: респондент может забыть проблемы, с которыми он столкнулся, а еще тест длится больше часа, потому что помимо прохождения задания мы просматриваем вместе с респондентом получившуюся запись.

Мы в Lamoda чаще всего используем мысли вслух и активное вмешательство. Иногда комбинируем эти методы: можем задавать дополнительные вопросы, когда респондент рассказывает о своих действиях.

Как проходит юзабилити-тестирование

Постановка задачи

К нам приходит продакт или дизайнер и говорит, что у него есть проблема, которую нужно решить. Мы проводим брифинг с заказчиком и выясняем все подробности: почему появилась потребность в исследовании, проводилось ли оно ранее, что будем исследовать, какой сценарий, какая целевая аудитория, на какие метрики нацелен этот продукт, что будет с результатами исследования, какие сроки. 

Составление гипотез

Здесь нужно брать во внимание первоначальные гипотезы заказчика и те, которые появились после брифинга. В итоге у нас получается набор предположений о пользовательском поведении, которые в результате мы подтвердим или опровергнем.

Разработка гайда исследования

Это документ, в котором отображено все, что связано с исследованием: цель, задачи, целевая аудитория, структура тестирования (гайд). Поскольку мы говорим про юзабилити-тестирование, здесь же мы формулируем легенду и задания, которые будем давать респонденту, а также критерии оценки. 

Под легендой мы подразумеваем историю, которая поможет респонденту погрузиться в контекст. Например, если мы хотим проверить чекаут, то говорим респонденту, что он планирует покупки каких-то вещей и для этого решил воспользоваться Lamoda. Ему нужно зайти на сайт или в мобильное приложение, выбрать и оформить заказ.

Готовый гайд нужно согласовать с заказчиком: возможно, у него появятся свои вопросы и комментарии.

Рекрутинг

Мы должны позвать людей, которые пользуются нашим продуктом или потенциально готовы пользоваться. В идеале позвать и тех и других, но это не всегда необходимо. 

В целом, это два главных критерия по респондентам. Но есть и другие: например, в зависимости от того, тестируем ли мы мобильное приложение или сайт. Если тестируем сайт, нам нужны люди, которые пользуются сайтом в реальной жизни. Если к нам на исследование придет человек, который пользуется только приложением, для него все будет в новинку, поэтому мы получим не совсем релевантный результат.

Здесь также может быть разбивка по географии, по возрасту и даже по опыту использования интернета. А может быть разбивка по принципу «клиенты Lamoda — не клиенты Lamoda»: какую одежду они покупают и как часто они ее покупают.

Все критерии опять же важно согласовать с заказчиком. Дальше начинается рекрут. Его можно проводить несколькими способами. Самый простой — обратиться к агентству. Это быстро, но дорого. Есть другой вариант, когда ты работаешь по готовой базе: просто попросишь у заказчика выгрузку пользователей, которые пользуются продуктом, и начинаешь обзванивать или писать. Это бесплатно, но достаточно долго.

Еще можно поворошить соцсети или просто поспрашивать друзей — любой способ, где вы можете достучаться до людей, приемлем. Главное, чтобы эти люди подходили под критерии выборки. 

В Lamoda есть страница, на которой человек может записаться и стать потенциальным респондентом. За участие в исследовании ему полагаются приятные бонусы.

Проведение исследования

На этапе самого исследования сложно что-то предугадать, поэтому дадим несколько базовых советов. 

1. Нужно постараться расслабить респондента, показать, что ты такой же человек, как и он. Это важно, потому что процесс исследования для респондента — сильный стресс. Он пришел в неизвестные условия к неизвестному человеку, и его еще просят выполнять задания. 

2. Нужно сфокусировать все свое внимание. То есть, слышать, наблюдать, анализировать. Юзабилити-тестирование — это про то, понятен ли интерфейс. И чаще всего нужно смотреть не только на то, что говорит респондент, а больше на то, что он делает. Например, человек может выполнять задание достаточно долго, но при этом он после исследования скажет, что не видит никаких проблем. Таким образом, обращая внимание именно на поведение, мы сможем понять, что все-таки есть проблемы. А если опираться только на слова респондента, то проблема может от нас ускользнуть. 

3. Не стоит нервничать и сильно бояться. Это помешает вам провести исследование, потому что респондент почувствует, что вы переживаете, и тоже начнет переживать. В итоге вы вместе на нервах, и ни к чему хорошему это не приведет. 

4. Нужно обратить внимание респондента, что на исследовании вы тестируете интерфейс, а не оцениваете его самого. Это достаточно важная вещь, чтобы у респондента не осталось ощущения, что ему будут выставлять оценки за правильность выполнения заданий. Для этого стоит объяснить, что здесь нет правильного или неправильного ответа: любое действие, которое он совершит — правильное. 

5. Подстраивайте задание под реального респондента. Например, вы тестируете фильтры. В легенде к заданию написано: «Давайте представим, что ваши любимые бренды — это Massimo Dutti и Dolce Gabbana. Вы хотите посмотреть их блузки». А потом вы с респондентом выяснили, что он любит Adidas и Calvin Klein. Здесь будет правильнее попросить его найти одежду от этих брендов, потому что это более естественная задача для конкретно этого человека: он будет выполнять ее так, как он бы это сделал в реальной жизни, потому что делал это много раз.

6. Не бойтесь ошибаться. Даже самые опытные исследователи допускают ошибки. Важно правильно на них реагировать и стараться  исправлять.

Анализ результатов

Здесь мы поделимся теми советами, которые разработали для себя, исходя из нашего опыта. Но помните, что все случаи уникальны, поэтому тут нет серебряной пули.

Важная вещь, о которой часто забывают: неподтвержденная гипотеза тоже результат. Всегда хочется, чтобы все гипотезы подтвердились, это кажется логичным. Но на самом деле неподтвержденная гипотеза иногда дает больше эффекта, чем подтвержденная. 

Например, у нас есть гипотеза, что пользователи не понимают, как исключать вещи из списка. У нас есть фильтр, сто брендов, а респондент не понимает, как из них выбрать 98. Если эта гипотеза подтвердится, нам нужно будет переделывать всю систему фильтров, думать над новой функциональностью — это деньги и время компании. А если эта гипотеза не подтвердится, и мы увидим, что все пользователи понимают, как работать с этими фильтрами, то эти ресурсы пойдут на разработку нового продукта. 

Также стоит отметить, что проблемы нужно ранжировать по степени критичности — от высокой к низкой. Проблемы с высокой критичностью дают больше эффекта на наш продукт. Но при этом частота проблемы не определяет ее критичность.

Например, у нас было исследование формы отзывов. Она состоит из трех экранов, где на финальном экране вверху висит информация о том, что за отзыв получаешь 10 баллов. У нас было 6 респондентов, никто из них не заметил эту надпись. Вроде бы это частотная проблема и кажется, что она критична, раз никто вообще не заметил эту строчку. Но если мы посмотрим на результаты всего исследования, то увидим, что респонденты все равно понимали, как оставить отзывы и в целом они были удовлетворены этим процессом. Несмотря на то что с этой проблемой столкнулись все, она никак не влияет на клиентский опыт, поэтому у нее низкая степень критичности.

По итогу исследования у нас есть таблица с записями, что делал респондент. Из нее нужно достать артефакты и проблемы. При этом важно отличить, где у человека возникли реальные сложности, а где он просто задумался о чем-то своем. Также мы смотрим, подтвердились ли гипотезы. 

Потом все это мы собираем в презентацию. Наша задача — проанализировать результаты так, чтобы при просмотре заказчик понял: какая была цель, какие есть проблемы в этом продукте, чем они вызваны, что с ними можно сделать. 

Немного о кейсах в Lamoda

Расскажем о том, как исследования помогли улучшить клиентский опыт Lamoda.

Респондентам казалось, что они могут выбрать другой пункт выдачи на карте, хотя задумывалось, что карта будет выполнять информационную функцию — показывать адреса других ПВЗ, в которые также можно принести товар без предварительного подтверждения. Пользователи заходили на карту и ожидали увидеть там опцию перевыбора ПВЗ в виде кнопки «Подтвердить».

Поскольку добавление кнопки перевыбора — длительный и технически сложный процесс, мы нашли альтернативное решение, которое также справляется с проблемой — изменить текст, ведущий на карту. Вместо «Вы можете принести товар в другой пункт выдачи заказов» мы написали «Вы можете принести товар в любой пункт выдачи заказов». Также добавили ссылку на карту с адресами ПВЗ и текстом «Посмотреть адрес».

Кейс второй. Есть немного обратный пример. Когда в поиске вы пишете «джинсы», внизу появляется выпадающий список с саджестами — «джинсы Calvin Klein», «джинсы длинные» и им подобные. Мы решили раскатать баблы — кружочки над обычными саджестами.  Гипотеза была в том, что с помощью этих баблов можно очень быстро написать свой запрос. 

В самом верху те самые баблы, а белые надписи — это обычные саджесты

Реализовали, запустили А/В-тест, и он показал, что главная метрика стала красной — то есть переходы по баблам. Мы провели исследование, и в ходе него выяснили, что пользователи просто не понимают, что такое баблы. К обычным саджестам все привыкли, и они воспринимаются как подсказка, а баблы — как то, что популярно на Lamoda. То есть вы пишете «джинсы», и бабл предлагает «джинсы короткие» — люди думали, что на Lamoda все сейчас ищут короткие джинсы. 

Несколько советов напоследок

Одна из вещей, которая нам очень нравится в исследованиях — то, что у нас есть возможность быть адвокатом пользователя. Когда работаешь дизайнером или продактом, первостепенно ты заточен на то, чтобы рос бизнес. А у исследователя есть небольшое преимущество: он может встать на сторону клиента и говорить, что нужно сделать, чтобы клиенту было хорошо. 

Исследователь должен защищать пользователя и рассказывать дизайнерам и продактам, как будет удобнее пользоваться продуктом, даже если это не влияет на метрики.

Тем, кто хочет войти в сферу изучения пользовательского опыта, советуем всегда помнить, что само исследование — не панацея. Оно никогда не ответит вам на вопрос, как надо сделать. Оно подскажет, что не так и в чем есть проблемы.

Не бойтесь проводить как можно больше исследований, но не погружаться в них с головой. В свое время основатель Amazon Джеф Безос сказал, что нужно принимать решение на основе 75% информации, которая у вас есть, а если вы будете принимать решение на основе 80%, то отстанете от рынка. Всегда оставляйте процент на интуицию и понимание рынка.

И пытайтесь оставаться беспристрастным. Хороший исследователь как хороший журналист: он просто собирает данные, не заставляя респондента уклоняться в сторону своей точки зрения и не подавая информацию под определенным углом. 

Но главное — не бойтесь ошибаться. Учитесь вовремя замечать свои ошибки и исправлять их. А если сомневаетесь, вам на помощь всегда придут коллеги.

Что почитать и посмотреть

• Дэн Ариели «Предсказуемая иррациональность».

• Elizabeth Goodman, Mike Kuniavsky «Observing the User Experience: A Practitioner’s Guide to User Research».

• Anders Drachen, Pejman Mirza-Babaei, Lennart Nacke «Games User Research».

• Jeffrey Rubin, Dana Chisnell, Jared Spool «Handbook of Usability Testing: How to Plan, Design, and Conduct Effective Tests».

Если вы начинающий UX/UI-дизайнер и создаете свой первый сервис, важно проверить, насколько интерфейс получился удобным, понятно ли пользователям, как зарегистрироваться, куда нажимать или как оплатить заказ. Как раз для этого проводят юзабилити-тестирование. В этой статье расскажем, как организовать его самостоятельно, можно ли делегировать работу, и если да, то кому.

Что такое юзабилити-тестирование

Юзабилити-тестирование (usability testing) — это возможность посмотреть на интерфейс глазами пользователя и проверить удобство продукта. Тесты помогут определить:

• впечатление о продукте — что пользователь чувствует при первом использовании;
• прозрачность навигации — легко ли найти нужный раздел;
• доступность формулировок и качество контента — все ли понятно сформулировано и достаточно ли информации.

Протестировать можно все что угодно: приложения, сайты, онлайн-сервисы, терминалы, стойки информации, банкоматы и даже интерфейс кофемашины. Проводить тесты можно на разных стадиях работы, но лучше сделать это на этапе прототипа, пока не началась разработка.

Виды и методы юзабилити-тестирования

Перед началом юзабилити-теста нужно выбрать тип тестирования. Он будет зависеть от стадии разработки и ваших ресурсов. Есть несколько критериев.

По целям

• Тестирование концепции, его еще называют эксплораторное тестирование. Его цель — выяснить, насколько весь интерфейс будет понятен пользователям.
• Проверочное. Цель — найти и устранить ошибки. Нужно выбирать конкретные критерии для проверки, например как быстро человек найдет кнопку оплаты. 
• Сравнительное. Цель — сопоставить старую версию продукта и обновления или сравнить работу сайта компании с конкурентом.

По наличию модератора

• Модерируемое. Модератор ставит задачи участникам тестирования, следит, как они их выполняют, задает дополнительные вопросы.
• Немодерируемое. Тестирование с помощью сервиса, который выдает задачи, собирает и обрабатывает результаты.

По местонахождению участников

• Очное. Участник и модератор взаимодействуют напрямую и находятся в одном помещении.
• Удаленное. Человек тестирует продукт, находясь в удобном для себя месте, общение с модератором проходит по видеосвязи.

Также тестирование бывает качественным и количественным:

• Качественное. Участвуют 6–8 человек на каждый сегмент аудитории. Главная цель — выявить проблемы и выяснить причины, оценить потребности посетителей сайта, найти способы удовлетворения этих потребностей. 

Количественное. Участвуют от 50 человек. Главная цель — проверить, насколько часто люди сталкиваются с проблемами при использовании интерфейса и что потом может доработать UX-дизайнер. Здесь будет трудно получить ответы на вопросы «почему», «как именно», зато удастся узнать, насколько сами проблемы критичны, часто ли встречаются.

Количественное и качественное тестирование дополняют друг друга. Если бюджет рассчитан только на один вид тестирования, лучше начинать с качественного. Оно позволит выявить проблемы и подготовить советы для UX-дизайнера и разработчика, чтобы постепенно устранить баги. 

Основные методы юзабилити-тестирования — это:

• лабораторное тестирование. Респонденты получают сценарий и выполняют задания под наблюдением модератора;
• глубинное интервью. Людям, которые уже пользовались продуктом, задают вопросы, чтобы понять, какое впечатление у них осталось от приложения или сайта;
• фокус-группы. Группе из 3–10 респондентов предлагают обсудить будущий продукт;
• тепловая карта. Показывает, какие элементы на экране привлекают больше всего внимания;
• А/Б-тестирование. Помогает сравнить две версии приложения, сервиса или сайта, отличающиеся несколькими элементами. Аудиторию разбивают на сегменты, каждому показывают какую-то одну версию.

Видеозапись теста стоит сделать вне зависимости от выбранного метода. На видео фиксируются даже мелкие мимические жесты респондента и все его комментарии. Иногда в дополнение к этому используют айтрекинг, чтобы понять, с какими трудностями люди столкнулись, пока тестировали прототип приложения.

Как проводить юзабилити-тестирование в лаборатории

Допустим, мы планируем исследовать, насколько понятной получилась навигация в приложении, которое пока находится на стадии прототипа. Готовимся к тестированию и прописываем:

1. Сценарий. По шагам расписываем задания для респондентов и дополнительные вопросы. 
2. Гипотезы. Выдвигаем предположения, чтобы в ходе исследования подтвердить или опровергнуть их.
3. Метрики. Например, время, успешность выполнения задания, удовлетворенность участника.

Для тестирования потребуется 8–12 респондентов. Это могут быть клиенты компании или представители целевой аудитории. Не стоит звать знакомых и друзей, потому что они могут быть не до конца честными, чтобы вас не обидеть. А вот людей из категории «знакомые знакомых» можно пригласить. Чтобы точно пришли представители вашей аудитории, обрисуйте знакомым и друзьям портрет ЦА, и они кого-нибудь посоветуют.

Участников по одному приглашают в лабораторию. Это важно, потому что так получится сконцентрироваться на ответах каждого респондента в отдельности. Первым делом человек проходит инструктаж, а затем выполняет задачи. Например, пробует зарегистрироваться, подписаться на рассылку, скачать книгу, сделать заметку. Подробнее о заданиях мы поговорим дальше. Модератор осторожно наблюдает за процессом и делает пометки. Если он находится в помещении, то никак не мешает и не подсказывает.

По результатам тестирования готовят отчет. В нем фиксируют ошибки юзабилити и выдают резюме, как можно оптимизировать интерфейс. Рекомендации можно расставить в порядке важности. От этого зависит, что именно стоит исправлять в первую очередь.

На лабораторное тестирование удобства пользования уходит приблизительно 1,5 часа. 1 час занимает сама процедура, 15 минут требуется на инструктаж и столько же — на выводы. Не стоит затягивать тестирование. Люди устают, будут делать ошибки или слишком формально относиться к поставленным задачам. И это скажется на итоговом качестве результатов.

Как подготовить задание для теста

К примеру, начинающий UX/UI-дизайнер хочет проверить юзабилити сервиса по доставке еды. 

Основной пользовательский сценарий этого сервиса — поиск и выбор продуктов или готовых блюд, оформление заказа. Нужно найти ошибки в функционировании сервиса. Например, посмотреть, какие сложности возникают при переходе к оплате. Давайте рассмотрим, как в таком случае нужно составить задание для участников.

Сфокусированное задание

Такие задания подходят, чтобы проверить гипотезу. Например, попросите респондентов выбрать продукты и готовые блюда на общую сумму 1500 рублей и оплатить заказ. Это будет мотивировать их использовать фильтры, смотреть на цены и сравнивать. Вы сможете оценить работу этих фильтров, проанализируете базовый сценарий и увидите баги при переходе к оплате. 

Но если предлагать только это задание, картина будет неполной по нескольким причинам:

• Точечная проверка интерфейса. Если в сервисе есть другие недочеты, респонденты их не найдут, так как у них нет такой задачи.
• Маленькая выборка инсайтов. Возможно, если человеку на самом деле надо заказать еду, он подошел бы к выбору по-другому: не стал бы ограничивать общую сумму и обращал внимание на другие параметры (качество, свежесть, производитель). Четкая задача при тестировании сужает круг поиска ошибок.
• Нет вовлечения. Респонденты могут выполнить задачу формально: найдут первые попавшиеся блюда, которые отвечают установленным критериям, и завершат работу. При этом в обычной жизни человек может заказывать совершенно другие продукты в таком же сервисе. Поэтому лучше максимально приближать задание к настоящей жизни исполнителя.

Задача с контекстом

Если вы хотите повысить вовлеченность участников в процесс тестирования, к формальному тексту задания нужно добавить контекст — какой-то пример из жизни. Например, вместо «Закажите сет суши и две бутылки воды» сформулируйте задачу так: «Сегодня вечером у вас свидание, закажите те блюда и напитки, которые вы обычно выбираете в таком случае». Чем реальнее и понятнее респонденту будет контекст, тем больше вероятность, что он выполнит задание с душой. 

Задача с учетом опыта пользователей

В этом случае важны:

• параметры участников. Например, уточняем, как человек на самом деле выбирает продукты в сервисе доставки. Что покупает и как определяет, что продукт подходит. Может быть, он ориентируется на цену, производителя или рекламу;
• сценарии участников. То, как человек заказывает еду в онлайн-сервисе в обычной жизни: смотрит промокоды, выбирает товары со скидками, переходит в конкретные категории каждый раз. Тогда нужно попросить его воспроизвести свой стандартный алгоритм.

Задания без заданий

Иногда совсем не обязательно выдумывать какие-то особенные задачи по исследованию интерфейса.Нужно понаблюдать, как человек будет пользоваться продуктом сам. Перед этим его можно проинструктировать: «Представьте, что вы хотите первый раз воспользоваться этим приложением. Делайте все, что для этого надо, времени достаточно. Никаких специфических задач на тестирование нет».

Модератор может выйти из комнаты, чтобы оставить человека наедине с приложением и не отвлекать. Человек должен найти все ответы без подсказок. В самостоятельном поиске и есть суть теста. Например, нужно ли регистрироваться или где найти личный кабинет.

Задания без заданий хороши и при рассмотрении контентных проектов. К примеру, надо понять, как люди читают статьи в блоге. Проанализировать, что пролистывают, на что смотрят сразу. Здесь очень важно оставить человека с материалом один на один. Это позволит ему вести себя естественно, точно так же, как в обычной жизни.

Итак, вот основные советы, как подготовить понятное респондентам задание:

1. Сделайте первое задание максимально простым. Это поможет участникам влиться в формат и привыкнуть к модератору.
2. Формулируйте задания без подсказок. Респондент сам должен понять, как его выполнить, иначе тестирование потеряет смысл. 
3. Не используйте термины, которые описывают интерфейс продукта. Они могут быть непонятны простым пользователям.
4. Позаботьтесь о тайминге. Если нужно выполнить много заданий, расставьте приоритеты. Не старайтесь в один тест вместить слишком много задач. Люди устанут, результаты не будут корректными.
5. Проверьте, соответствуют ли задачи гипотезам. Например, если нужно протестировать подписку на новости, не просите в задании делать это напрямую. Важно, заметит ли респондент эту возможность самостоятельно.

Метрики юзабилити

Стандартные характеристики юзабилити любого продукта: эффективность, продуктивность, удовлетворенность. 

Например, какие конкретно могут быть метрики:

Успешность выполнения задач. Оцениваем либо по принципу «справился или нет», либо по методу Нильсена:

• 100% — справился с задачей почти без проблем;
• 50% — были трудности, но человек решил задачу;
• 0% — человек не выполнил задание.

При этом в группе могут быть разные люди. У кого-то возникнет много трудностей, а кто-то сделает всё без проблем. Метрика простая и наглядная. Она подходит для анализа задач с четкими целями. И выводы, насколько успешно участники справлялись с заданием, помогут понять, где у пользователей возникало больше всего сложностей.

Время выполнения задач. Сложно однозначно сказать, хорошо или плохо, что человек прошел задачу за 37 секунд. Но если мы точно помним, что в прежнем интерфейсе эта же задача требовала вдвое больше времени, то результат превосходный. 

Частотность ошибок. Смотрим, какие сложности возникли у респондентов при использовании интерфейса. Чем больше человек столкнулось с трудностями, тем выше показатель частотности. Метрика подойдет для тех случаев, когда респондентам нужно выполнять похожие задачи.

Субъективная удовлетворенность. Учитываем, что все люди разные и кому-то приятно пользоваться приложением, а кого-то может раздражать какая-то маленькая деталь. Поэтому предлагаем респондентам опросники, в которых в свободной форме они смогут поделиться впечатлениями.

Наблюдение

Некоторые действия сложно описать, проще их показать. Чтобы понять, как человек завязывает шнурки, мы просто смотрим на него со стороны. Если же он постарается описать, что именно он делает в этот момент, возникнет путаница.

Ингода описания расходятся с реальностью, потому что люди не всё запоминают и отслеживают. Почти все подсознательно хотят выглядеть лучше. Если спросить человека, как часто он заглядывает в соцсети в течение дня, он может сказать, что делает это раз в два часа. Но на деле, если замигает оповещение о новом сообщении в чате, человек неосознанно потянется к телефону, ответит. Этот факт он вспомнит не мгновенно, и это абсолютно нормально.

Участникам теста должно быть комфортно, поэтому нужно объяснить, что их самих оценивать не будут, тестируют именно приложение. Поэтому важны любые реакции и замечания. Правильных ответов нет. А еще просите комментировать действия, делиться соображениями вслух. Так вы сможете сделать более точные выводы. И не надо никак помогать участникам выбрать правильный ответ, в том числе своими эмоциями. Допустим, не нужно кивать в случае правильного ответа.

Если в ходе исследования респондент отвлекается на наблюдателя с блокнотом, это может привести к сложностям и неверным результатам. Кого-то может сбивать с мысли, что исследователь тут же фиксирует его ответы. Лучше получить согласие на запись и использовать диктофон. Через какое-то время человек забывает о диктофоне и погружается в вопросы.

Анализ результатов юзабилити-тестов

Это один из важнейших этапов, ради чего все и затевалось. В ходе анализа надо смотреть на ситуации, когда участник:

• понимает задание, но не успевает выполнить его за отведенное время;
• осознает цель, но ему приходится попробовать много вариантов;
• не доходит до цели, досрочно закрывает сайт или приложение, ему не удается пройти по задуманному сценарию;
• выполняет задание, но совсем не то, которое было намечено;
• демонстрирует удивление, удовольствие, другие положительные эмоции;
• выражает замешательство, разочарование, расстраивается;
• сообщает, что ему что-то непонятно, что какой-то момент реализован ошибочно;
• предлагает что-то поменять в интерфейсе продукта.

Смотрим на все ситуации, когда респондент не справился с пользовательским сценарием, даже если это единичный случай. Нужно разобраться, что в опыте человека заставило его прийти к такому результату. Возможно, это будет ошибка, которая встречается у небольшого процента посетителей сайта.

Группируем наблюдения по значимым признакам. Фиксируем замечания на стикерах и размещаем их на специальной доске. Затем стикеры объединяем в группы по какому-либо признаку: например, ошибки на этапе добавления товаров в корзину, перехода к оплате, выбора конкретного способа оплаты и пр. — и смотрим, где больше всего стикеров. Это значит, что у множества людей возникли схожие проблемы.

Найденные проблемы или ошибки классифицируем:

• Критические. Допустим, не функционирует кнопка. Если ее не починить, пользовательский сценарий невозможно пройти, а значит, человек не может зарегистрироваться или совершить покупку.
• Серьезные. Например, выдача в поиске занимает слишком много времени. Пользователи могут сдаться, не пройти от начала и до конца задуманный сценарий. Кто-то выбирает закрыть приложение и искать в другом месте.
• Минорные. Предположим, человеку приходится несколько секунд ждать загрузку результатов. Это вызывает раздражение, но не мешает завершать пользовательский сценарий. Человек не уйдет, так как потратил уже какое-то время, но впечатление от сервиса испорчено.

Такой рейтинг составляем, чтобы выявить приоритеты и составить план работы: в первую очередь нужно исправить критические ошибки, которые ломают работу продукта, а уже потом — мелкие недочеты.

Онлайн-сервисы для анализа юзабилити 

Для исследования юзабилити интерфейса можно воспользоваться платными или бесплатными сервисами. 

Яндекс.Метрика

Она бесплатная и подходит для количественного анализа пользователей сайта. Метрика фиксирует действия пользователей: передвижения мышки, заполнение форм, клики, копирование текста и пр. Регистрирует все данные так, как если бы это была видеозапись посещения сайта. А дальше анализируем данные при помощи инструментов Яндекс.Метрики:

• Вебвизор — наблюдаем, как пользователи себя ведут во время использования сервиса, и записываем их действия.
• Тепловая карта — смотрим наиболее кликабельные участки.
• Карта скроллинга — понимаем, что пользователи делают на странице, задерживаются ли для изучения контента или быстро прокручивают.
• Аналитика форм — анализируем действия посетителей с формами. Смотрим, какие строчки они заполняют без проблем, а какие пропускают и насколько часто, какие запросы задают в поисковой строке и пр.

Optimal Workshop

Сервис предоставляет три инструмента:

• Optimalsort — перестраивает структуру сайта благодаря сортировке карточек.
• Treejack — анализирует многоуровневую информационную архитектуру веб-ресурса на основе данных, загруженных в таблицу.
• Calkmark — оценивает юзабилити страниц по скриншотам, выдает тепловую карту кликов, отмечает среднее время выполнения каждой операции.

Участников для тестирования нужно искать самостоятельно.

UsabilityHub

Предлагает три инструмента:

• Navflow — помогает выяснить, насколько человеку комфортно ориентироваться по странице.
• Fivesecondtest — выявляет элементы, которые наиболее привлекательны для посетителей сайта.
• ClickTest — формирует карту кликов, которая показывает те области веб-страницы, где люди больше всего выполняют какие-либо действия.

Анализируем приложение так:

• выбираем инструмент, который подходит под цели;
• загружаем скриншот тестируемой страницы, описываем суть проекта, чтобы участникам было понятно, чего от них ждут;
• пишем пять вопросов, на которые респондентам надо ответить после просмотра изображения;
• задаем желаемое число просмотров веб-страницы;
• начинаем тестирование.

Итоговый результат появится, когда нужное число участников пройдет тест.

Usabilla

Работаем в несколько этапов:

• готовим новый тест — вводим URL проверяемого веб-сайта, выбираем язык;
• указываем страницы, которые необходимо протестировать, — подгружаем скриншоты этих страниц или прописываем путь к ним на ресурсе;
• пишем вопросы для участников или выбираем их из стандартного списка;
• ищем участников, готовых пройти тест и поделиться своими мыслями.

По итогам у вас будут результаты, отклики участников в комфортном для интерпретации виде. Сервис позволяет просматривать страницы, которые тестируют, в виде тепловых карт активности. 

Feng-GUI

Готовит карту движения глаз пользователя по странице. В основе карты лежит алгоритм, который заранее определяет, куда человек с высокой долей вероятности посмотрит.

Для тестирования надо загружать скриншоты и можно в онлайн-формате смотреть наиболее привлекательные участки страниц.

Итоги

1. Тестируйте прототип на этапе разработки. Тогда в готовом продукте не придется делать существенных правок, которые увеличат бюджет.
2. Выбирайте релевантную аудиторию. Тестировать продукт стоит на тех, кто действительно может им пользоваться, а не на случайных людях, родственниках или знакомых. 
3. Задавайте вопросы, которые предполагают развернутый ответ, и не давайте подсказок.
4. Фиксируйте замечания респондентов и обращайте внимания на эмоции. 
5. Проводите несколько тестов в ходе разработки, делайте промежуточные выводы и дорабатывайте элементы интерфейса.
6. Обязательно тестируйте готовый продукт и прислушивайтесь к обратной связи от пользователей.