Попросите прочитать показатель словами. Кто и что сделал, среди каких посещений это посчитали, что сравнивают с нынешним результатом? Если участники обсуждения отвечают по-разному, сначала согласуйте расчёт. Цвет кнопки можно обсудить после этого.

Что именно попало в дробь

Разные формулы отвечают на разные вопросы. Можно считать долю визитов с заявкой, долю обратившихся людей или отношение количества отправок к посещениям. Для людей понадобится способ различать посетителей. Для отправок потребуется помнить, что один человек способен отправить форму несколько раз. Запишите выбранное событие и единицу подсчёта рядом с результатом.

Если считаете долю визитов, в которых получена хотя бы одна заявка, каждый визит включайте в числитель единожды. Повторные отправки внутри него не должны увеличивать эту долю. Берите числитель из того же периода и набора визитов, что и знаменатель. При отсутствии выбранных визитов вычислять процент нельзя.

Проверьте, что событие в аналитике соответствует этому описанию. Открытие формы показывает одно действие, отправка другое, а получение обращения требует проверки у адресата. Новая настройка цели может изменить цифры при прежнем поведении посетителей. Сохраните дату настройки и тестовую запись. Если доставка под вопросом, начните с поиска пропавших заявок.

Подберите основание для сравнения

Возьмите период своей работы, для которого известны предложение, цена, источники посещений и правила учёта. Чужая величина без этих условий не объясняет результат вашего сайта. Даже одинаковое число дней не гарантирует сопоставимости: могли измениться объявления, аудитории, наличие товара или часы обработки обращений.

Покажите рядом с процентами исходные количества. При небольшом числе обращений каждое заметно сдвигает долю. По одному такому движению нельзя объявлять устойчивый рост или падение. Общего количества посещений, достаточного для любого вывода, нет: нужно учитывать размер предполагаемой разницы, изменчивость данных и выбранный способ проверки.

У сравнений качества есть ещё одно условие. У заявок из двух периодов должно быть сопоставимое время на обработку и дальнейшие решения. Свежие обращения могут пока ждать разговора, тогда как по более ранним уже известны отказы и покупки. Сначала проверьте, успели ли обе группы пройти нужный путь.

Проверьте состав общего показателя

Выделяйте группы под конкретное предположение. Если подозреваете затруднение на телефоне, сравните устройства. Если поменяли рекламу, начните с источника или страницы входа. Условия отбора сохраните, чтобы другой человек мог восстановить тот же набор.

В Метрике можно выделять и сравнивать сегменты. Наличие такого инструмента ещё не означает, что в любой выделенной группе хватит наблюдений. После дробления могут остаться единичные обращения. Они помогут поставить вопрос для проверки, но не дадут готового объяснения.

Посмотрите одновременно на долю группы в трафике и её собственную конверсию. Общий процент может снизиться из-за изменения состава посещений, хотя внутри групп ухудшения нет. Перебор десятков сочетаний ради самого эффектного провала только затруднит объяснение того, почему вы выбрали именно этот разрез.

Дальше нужна проверка обнаруженного затруднения. Для мобильной группы пройдите путь на телефоне. Для нового объявления сопоставьте его обещание со страницей. Само отличие процентов ещё не называет причину.

Свяжите предлагаемую правку с наблюдением

До изменения запишите, что мешает человеку, как вы это заметили и какое действие станет понятнее после правки. Сохраните прежнюю страницу. Если одновременно сменить аудиторию, переписать предложение и сократить форму, дальнейшее изменение цифр не позволит разделить вклад этих действий.

Одна правка при сравнении до и после тоже не доказывает причинный эффект. За это время могли измениться другие условия. Фиксируйте известные изменения и отдельно обсуждайте, как проверять влияние самой правки. В отчёте должно быть видно, что установлено, а что пока является объяснением, которое нужно проверить.

Сверяйте рост отправок с подходящими обращениями и дальнейшим выбором покупателей. После упрощения формы может увеличиться количество запросов, с которыми компания не работает. Определения помогут согласовать правила передачи заявок между маркетингом и продажами.

Если подходящих обращений больше, а отдача по-прежнему не устраивает, понадобятся данные о расходах, оплатах и сроках сделок. Это уже проверка связи маркетинга с выручкой. Процент заполненных форм её не заменяет.

Оставьте расчёт, который можно восстановить

Заполните бланк по обеим группам данных. Он нужен для повторяемого расчёта и решения о следующей проверке; сам бланк не доказывает, что разницу вызвало изменение страницы.

Бланк сравнения конверсии

Действие и способ подсчёта
Назовите событие, способ его проверки и единицу учёта: визит, человек или отправка.
Количество и формула
Для каждого периода укажите числитель, знаменатель и полученную долю. Сохраните исходные количества.
Состав сравниваемых данных
Запишите даты, источники, устройства, страницы входа и остальные условия отбора так, чтобы повторить выборку.
Состояние обращений
Укажите время на обработку каждой группы, признаки подходящего запроса и ещё неизвестные результаты.
Изменившиеся обстоятельства
Перечислите изменения страницы, цены, продукта, рекламы и обработки. Пометьте условия, которые не удалось установить.
Допустимый вывод
Что можно заключить по этим данным, чего они не доказывают и какие сведения нужны до следующей правки.
Скачать форму для заполнения (.txt)

Перед обсуждением изменения попросите воспроизвести расчёт по заполненному бланку. Если числа не сходятся, восстановите учёт. Когда расчёт повторяется, выберите проверку, которая поможет объяснить наблюдаемую разницу и её значение для подходящих обращений.

Источники

← Все статьи