Какой метод представляет собой А/Б эксперимент а также зачем оно используется
A/B тестирование являет собой способ сопоставления нескольких либо дополнительных решений веб-страницы, интерфейса, сообщения, кнопки, анкеты, рассылки, промо сообщения либо иного веб элемента. Его задача заключается в том, дабы определить, какой вариант лучше работает в реальном использовании. Без опоры на предположений плюс субъективных суждений применяется эксперимент на настоящей аудитории, когда одна часть получает версию A, тогда как другая — версию B.
Этот метод дает возможность принимать действия по результатах показателей, а без опоры на индивидуальных вкусов либо единичных наблюдений. В рамках экспертных материалах, среди них 1вин, регулярно отмечается, будто сплит эксперимент особенно эффективно там, когда малые правки способны сказываться на реакции посетителей: переходы, оформления профилей, передачу анкет, длину сессии, лояльность, заказы, подключения а также прочие заданные шаги. Подход помогает проверить, действительно ли корректировка усиливает 1win показатель.
Как функционирует сплит тестирование
Механизм А/Б тестирования достаточно понятен. Сначала определяется объект, какой требуется проверить. Таким элементом имеет шанс стать заголовок, визуальный тон элемента действия, порядок элементов, формулировка уведомления, построение анкеты, картинка, стоимость, вариант условия либо позиция важного действия. Затем создаются минимум пары версии: исходный плюс обновленный. Вслед за этого поток пользователей делится по вариантами по предварительно определенным правилам.
Первая доля аудитории продолжает видеть исходную вариацию, а вторая открывает обновленную. Система фиксирует сведения про поведении отдельной категории и сопоставляет метрики. Если вариант B показывает более высокий эффект с учетом значительном количестве наблюдений, такой вариант можно запускать. Когда разницы не видно а также тестовая страница показывает себя слабее, изменение не принимается. В этом как раз состоит прикладная ценность эксперимента: такой метод дает возможность проверять гипотезы до момента полного 1вин запуска.
Зачем нужно A/B эксперимент
A/B проверка важно для сокращения сомнений. На уровне цифровых сервисах включая небольшая правка способна сказываться в отношении восприятие экрана. Одиночный headline может оказаться понятнее иного, сжатая заявка способна заполняться регулярнее объемной, при этом намного более заметная кнопка может повысить количество кликов. Без эксперимента такие результаты часто выглядят гипотезами.
Эксперимент позволяет оптимизировать платформу постепенно. Вместо полной переделки полного сайта либо сервиса получается проверять конкретные элементы а также записывать практический показатель. Такой подход уменьшает угрозу ошибочных решений, сберегает время и средства а также помогает формировать понимание о действиях посетителей. С течением периодом специалисты 1 win формирует не случайный комплект оценок, а базу валидированных решений.
Какие блоки получается сравнивать
Тестировать допустимо почти каждый элемент, который воздействует на действия аудитории. Обычно всего проверяют headline-блоки, вторичные заголовки, обращения на действию, тексты CTA-элементов, анкеты оформления аккаунта, место блоков, изображения, блоки товаров, порядок действий, фильтры, список разделов, баннеры, сообщения, email-сообщения плюс маркетинговые объявления. Необходимо, чтобы выбранный блок был связан с конкретной заданной целью.
Если ориентир заключается в процессе повышении переданных обращений, разумно проверять заявку, сообщение рядом с этого блока, число элементов ввода плюс заметность элемента действия. В случае если важно усилить объем просмотра, имеет смысл тестировать навигацию, модули предложений, связанные ссылки плюс логику страницы. Если точнее связь 1win в паре корректировкой а также метрикой, тем информативнее результат тестирования.
Проверяемая идея как основа эксперимента
Всякий хороший A/B проверка запускается с гипотезы. Гипотеза показывает, какого типа изменение планируется, почему это изменение имеет шанс воздействовать на эффект и какой результат может поменяться. В частности, получается допустить, что уменьшение заявки оформления аккаунта снизит количество незавершенных действий, так как ведь посетителю будет необходимо меньше времени для завершения процесса.
Качественная проверяемая идея не обязана может казаться слишком широкой. Идея наподобие «улучшить страницу качественнее» не помогает измерить результат. Гораздо более ценный пример: «если поменять растянутый формулировку кнопки с помощью краткий и конкретный, объем кликов вырастет, поскольку что именно ожидаемый результат окажется очевиднее». Эта формулировка непосредственно 1вин задает предмет проверки, причину а также показатель.
Контрольная и экспериментальная выборки
Внутри A/B эксперименте исходная группа просматривает старый версию, тогда как проверочная — новый. Такое разделение важно ради честного сравнения. В случае если без контроля заменить страницу а также сравнить результаты до а также вслед за, эффект может исказиться по причине сезонных факторов, маркетинговой активности, изменения потоков пользователей, новостей, системных сбоев либо иных внешних факторов.
Параллельный вывод нескольких версий снижает влияние внешних обстоятельств. Две выборки остаются на уровне схожей ситуации: тот же а также тот же период, схожие самые потоки пользователей, близкие платформы и общий контекст. Следовательно различие по метриках с высокой 1 win большей вероятностью объясняется как раз с данным изменением, а не с случайными обстоятельствами.
Какие метрики задействуются внутри сплит тестах
Критерий — представляет собой значение, согласно чему оценивается итог теста. Выбор метрики определяется на основе цели теста. Для раздела с формой важны заполнения обращений, ради онлайн-магазина — добавления в покупку плюс заказы, ради медиа — глубина просмотра плюс время просмотра, в случае приложения — оформления профилей, активации, retention а также следующие 1win события.
Существенно разграничивать главную плюс вспомогательные показатели. Основная показывает, ради чего проводится тест. Вспомогательные помогают понять вторичные эффекты. К примеру, обновление элемента действия способно усилить клики, однако снизить качество последующих шагов. Следовательно разумно оценивать не исключительно только на первый шаг, а также еще по последующее развитие: выполнение заявки, возвращения, отказы, сбои и суммарную значимость результата.
Расчетная существенность
Расчетная достоверность отражает, насколько вероятно, будто зафиксированная разница между вариантами не является считается случайной. Когда первый вариант слегка превосходит второй после пары десятков сессий, подобный итог еще не означает означает победу. При ограниченном массиве сведений итог имеет шанс резко сдвинуться, если 1вин выборка будет шире.
Ради надежного итога нужно значительное объем событий. Насколько меньше планируемая отличие между версиями, тем самым больше сведений необходимо собрать. Когда правка должна улучшить метрику всего около малое число процентных пунктов, тесту потребуется повышенный объем срока плюс посещений. Математическая значимость дает возможность избегать принимать быстрые решения с опорой на основе временных изменений.
Размер наблюдений а также продолжительность проверки
Объем аудитории воздействует на качество итога. В случае если тест видит очень небольшое число пользователей, результаты могут быть сомнительными. В частности, несколько новых нажатий в одной выборке способны казаться словно увеличение, при этом в условиях значительном объеме станут нормальной случайностью. Поэтому перед запуском важно понимать, какой объем людей 1 win либо действий потребуется ради проверки предположения.
Длительность теста также имеет роль. Слишком сжатый эксперимент способен не успеть отражать отличия в паре рабочими а также праздничными сутками, дневной а также вечерней активностью, отличающимися каналами трафика. Как правило эксперимент нужен чтобы включать полный круг активности посетителей. При этом очень затянутый тест также нежелателен, в случае если окружающие обстоятельства успевают существенно поменяться.
Почему нельзя менять проверку в течение процесс проведения
Одна из распространенных проблем — добавлять правки в проверку после запуска. В случае если в центре эксперимента изменить формулировку, сегмент, оформление, правила показа или цель, наблюдения перемешаются. После этого станет сложно определить, какой фактор точно сказалось в отношении результат. Эксперимент снизит корректность, при этом результаты окажутся спорными 1win.
До момента начала следует установить предположение, форматы, критерии, разбивку выборки плюс параметры завершения. Вслед за начала лучше не нужно вмешиваться без критичной основания. Когда найдена неточность внутри запуске либо служебный проблема, разумнее прервать тест, починить сбой а также запустить повторный проверку, вместо того чтобы пытаться анализировать некорректные наблюдения.
Синхронное проверка нескольких корректировок
В отдельных случаях возникает стремление протестировать за один раз несколько изменений: новый текстовый блок, альтернативную кнопку действия, укороченную анкету а также обновленный порядок элементов. Этот метод может выдать общий результат, однако не покажет объяснит, какой именно именно элемент повлиял в отношении результат. Если измененная страница выиграла, будет неясно, какая правка повлияло сильнее всего.
Для точной проверки как правило меняют единственный важный объект за 1вин одну проверку. Если необходимо сравнить многие комбинаций, применяется многовариантное эксперимент. Оно труднее, нуждается повышенного объема посещений и аккуратной оценки. Для большинства задач А/Б эксперимент с одной конкретной точной проверкой показывает более корректный и полезный результат.
Варианты сплит экспериментов в дизайне
На уровне дизайнах А/Б проверка часто применяется с целью улучшения понятности сценариев. Например, допустимо сопоставить две версии заявки: объемную с количеством элементов ввода плюс короткую с минимальным минимальным набором сведений. В случае если короткая анкета увеличивает число завершенных созданий аккаунтов без риска ухудшения результативности заявок, такую форму получается считать гораздо более эффективной.
Следующий сценарий — проверка текста CTA. Общая формулировка может стать менее ясной, относительно точное название результата. Также сравнивают место элементов действия, очередность информационных разделов, дизайн 1 win пояснений, использование шкалы выполнения, способ вывода предупреждений и число этапов внутри процессе. Любой этот элемент воздействует в отношении то, в какой степени удобно выполнить нужное событие.
A/B тестирование на уровне контенте
Внутри контенте проверка позволяет определить, какие именно заголовки, анонсы, построения и варианты эффективнее удерживают вовлечение. Получается сравнивать разные первые абзацы, объем контента, порядок доводов, наличие маркированных блоков, оформление элементов, описание преимуществ либо манеру объяснения трудной задачи. Однако при этом сценарии существенно оценивать не исключительно лишь переходы, а также и следующее взаимодействие.
Headline способен повысить количество переходов, но в случае если контент не соответствует ожиданиям, увеличится доля уходов. Из-за этого контентные эксперименты должны анализировать глубину взаимодействия: длительность изучения, глубину страницы, клики в пределах платформы, повторные визиты а также совершение целевых результатов. Хороший итог — представляет собой не исключительно привлечение клика, вместо этого согласование ожидания и контента.
A/B проверка в email-рассылках
Внутри email-рассылках нередко тестируют заголовки сообщений, подпись адресанта, начальные строки, период доставки, объем письма, позицию элементов действия и тексты условий. Часть получателей видит одну версию email, другая часть — вторую. Вслед за этим сопоставляются open rate, клики, отказы от подписки, претензии а также дальнейшие действия на ресурсе.
Необходимо не стоит сводить анализ показателем просмотров письма. Тема рассылки способна оказаться выразительной и привлекать интерес, однако если формулировка не будет соответствует содержанию, переходы а также доверие могут ослабнуть. Поэтому полезный почтовый эксперимент измеряет полную воронку: open-событие, переход, активность вслед за нажатия а также реакцию подписчиков по отношению к сообщение.
