21 помилка a/b тестування, яка забирає ваші ресурси на вітер
07.04.2023
Прийшли – подивилися – пішли. Якщо ваш сайт має високий показник відмов, то вам однозначно потрібні зміни. Що саме оптимізувати та як покращити показники залученості допоможе визначити а/b тестування.
Цей тактичний крок дозволить спробувати нові ідеї на потенційних клієнтах. Так, ви порівняєте варіанти однієї сторінки (що різняться одним-двома параметрами), визначите більш ефективний та досягнете збільшення конверсій, рейтингу кліків, залучення тощо. Однак зміни спрацюють лише за умови правильного налаштування спліт-тестування.
Помилки, яких варто уникати під час проведення а/b тестування:
Планувати тестування занадто рано
Не проводьте тестування заради тестування. Для ефективності експерименту необхідно мати достатню кількість даних, які потім порівняєте з отриманими. Інформація має бути надійною – це впливає на правильність гіпотези та достовірність висновків.
Неправильна гіпотеза
Перевірте чи правильно ви визначили причини конкретних результатів на веб-сайті, таких як показник відмов, високий трафік із низькими продажами і т.ін.
✖ Якщо ваша гіпотеза неправильна, то й результати тестування будуть неефективними.
Для того, щоб уникнути цієї помилки варто розробляти гіпотезу, яка базується на обґрунтованих даних. Отримати їх можна за допомогою Google Analytics, Google Search Console, запису сеансу та подібного. Гарно працюють також опитування серед потенційних клієнтів.
У тестування немає цілі
Коли у вас є правильна гіпотеза, то ви можете вивести з неї конкретний результат, якого хочете досягнути. Іноді компанії безцільно проводять тестування та спостерігають за результатами. Однак ви отримаєте кращі результати (збільшення кількості потенційних клієнтів, конверсій та продажів), якщо чітко розумітимете, де саме потрібен приріст.
Проведення тестування на сайті розробки
Ви можете здивуватися, але іноді розробники забувають перейти на «живий» веб-сайт і проводять тестування на версії, яка ще в розробці. Через це ви не отримаєте реальних результатів, оскільки веб-сайт зможуть відвідати лише розробники, а не ваша цільова аудиторія.
Тестування неправильної сторінки
Яку сторінку ви повинні тестувати, залежить від вашої мети. Спрогнозуйте шлях, який проходить користувач, щоб придбати товар/послугу. Подивіться, де він зупиняється, та зробіть зміни саме там.
Копіювання чужого практичного досвіду
Ваш бізнес унікальний – не варто копіювати стратегії тестування з тематичних досліджень чи досвіду ваших конкурентів.
Натомість проаналізуйте їх. З’ясуйте, які стратегії використовували та для чого. Візьміть ці ідеї до уваги, але використовуйте їх, як натхнення для власної стратегії a/b-тестування.
Орієнтування тільки на збільшення конверсій
Надмірна зосередженість на конверсії може вплинути на інші сфери вашого бізнесу в довгостроковій перспективі.
Наприклад, під час а/b-тестування ви змінили свої річні плани на місячні та помітили сплеск конверсій. Однак із часом ви можете побачити, що втрачаєте гроші, оскільки клієнти, яких ви залучаєте, приносять невелику кількість коштів та йдуть із компанії після кількох використань її продукції. Тоді як клієнти, які оплатили річні плани, ймовірно, залишаться надовго та принесуть сталий прибуток.
Один тест – одна зміна
Вважаєте, що тестувати варіанти одразу кількох елементів під час одного a/b-тестування ефективно? Це заощадить ваш час та кошти, але як щодо результатів?
Якщо ви протестуєте кілька елементів одночасно, то не зможете визначити який варіант якої складової раптово підвищив коефіцієнт конверсії.
Фактично це повністю заперечить мету a/b-тестування та вам доведеться починати з нуля.
Створення одразу кількох варіантів a/b-тестування
Кілька варіантів спліт-тестування веб-сайту не гарантують отримання більш цінної інформації. Вони лише додають плутанину, уповільнюють результати та можуть призвести до неправильних висновків.
Чим більше у вас варіантів, тим більше трафіку вам знадобиться, щоб отримати необхідні результати.
❕ Відтак у вас більше шансів потрапити під вплив видалення файлів cookie.
Є ймовірність, що учасники тестування видалять свої файли cookie через 3-4 тижні. Така ситуація негативно вплине на ваш результат, оскільки учасники, які були частиною одного варіанту, можуть опинитися в іншому.
Різні варіанти для різних аудиторій
Якщо ви порівнюватимете результати тестування різних варіантів для різних аудиторій, то не зможете дійти до об’єктивних висновків. Це подібно до співставлення яблука та банану.
Тож, якщо один варіант доступний лише для киян, то й інший має відображатися лише для аудиторії з Києва.
Невдалий час тестування
Існує кілька помилок проведення a/b-тестування, пов’язаних із часом.
- Завершення тесту занадто рано
Об’єктивні результати тестування за стандартом достовірності у 95% можна отримати, проаналізувавши дані, щонайменше через тиждень тестування. Загалом оптимальний час проведення експерименту – два-три тижні.
- Порівняння різних періодів
Достовірні результати можна отримати лише під час порівняння даних за аналогічний період.
Наприклад, на вихідних у вас найбільший трафік, тоді слід порівнювати дані лише з цього періоду. Також не варто співставляти результати в сезон та в звичайні дні.
- Тестування різних часових затримок на різних варіантах
Якщо ви показуєте відвідувачеві свого веб-сайту один варіант через 5 секунд, а інший – через 15 секунд, результати не можна порівнювати.
Більшість клієнтів чекатимуть 5 секунд для отримання результату запиту, але от чи залишаться вони на 15 секунд – питання. Тож висновки при такому варіанті порівняння не точні й не надійні.
Зміна параметрів під час тестування
Якщо користувач потрапляє на варіант A, то він повинен бачити цей варіант до кінця тестування. Зміна налаштувань посеред тесту призведе до того, що цей споживач побачить варіант B. Так порушується цілісність даних. Щоб уникнути цієї помилки, варто рівномірно розподіляти трафік, щоб дати всім своїм варіантам справедливий шанс.
Крім того, не варто змінювати самі варіанти, адже це ускладнює визначення причин результатів.
Ігнорування коментарів користувачів
Ваш тест отримує кліки, трафік розповсюджується, тому ви вважаєте його робочим та продовжуєте. Однак виявляється, що ви отримали купу скарг про те, що користувачі не можуть заповнити форму оформлення покупки. Не ігноруйте коментарі, усуньте проблему та перезапустіть тест.
Тестування несуттєвих елементів
Наприклад, ви вирішили змінити текст кнопки із закликом до дії та вибираєте варіанти: «ввести» та «додати». Помилка в тому, що ці слова взаємозамінні, тож результати тесту не заслуговуватимуть на увагу. Натомість спробуйте порівняти варіанти закликів різними мовами або ж із суттєво різним значенням.
Ігнорування періодичних радикальних змін
Зміна тексту та кольору кнопки CTA, налаштування окремих елементів дизайну та подібне не зможуть принести істотний результат для більшості підприємств.
Тому, коли поступові зміни вже не дають бажаних результатів, варто застосовувати радикальне тестування.
❕ Періодичне радикальне тестування передбачає значні зміни на вашому веб-сайті та ускладнює визначення того, яка зміна принесла позитивні результати.
Тому зміни варто робити виважено. Не намагайтеся думати від імені своїх клієнтів. Найкращий спосіб дізнатися, що потребує вдосконалення, – запитати їх.
Прикладом радикальних змін може бути зміна дизайну. Замість того, щоб перевіряти окремі елементи у вашому існуючому дизайні, тестуйте більші його частини.
Нерозуміння помилок типу І та ІІ
Помилка типу I відбувається, коли під час тестування відкидається нульова гіпотеза, коли вона насправді є правильною. Іншими словами, це означає, що, за результатами тестування, зміна вважається статистично значущою, коли насправді вона такою не є.
Помилка типу II – коли нульова гіпотеза приймається, хоч насправді вона хибна. Іншими словами, це означає, що тестування не помічає статистично значущих різниць між варіантами, коли вони насправді існують.
Обидві помилки можуть бути шкідливими, але зазвичай помилка типу I вважається більш серйозною, оскільки вона призводить до неправильних рішень.
Неправильні висновки
Отримавши дані після завершення а/b-тестування, ви повинні правильно їх оцінити.
Для цього ви можете поспостерігати за змінами коефіцієнта конверсії, показника відмов, кліків CTA тощо. Однак, якщо ви аналізуєте тільки середні значення, то не можете бути впевнені у висновках, оскільки ці значення часто є неточними.
❕ Вивчить результати глибше і тільки тоді робіть висновки.
Краще використовувати Індивідуальні параметри в Google Analytics, так ви сегментуєте дані та створите спеціальні звіти.
Узагальнення результатів
Під час a/b-тестування один із варіантів демонструє збільшення кількості конверсій на 35% порівняно з контрольним. Отож ви вважаєте, що знайшли ідеальне рішення та починаєте застосовувати його на всьому сайті. Однак через деякий час ви помічаєте падіння коефіцієнтів конверсії.
✖ Формула успіху не обов’язково працюватиме на всіх частинах сайту.
Тому не варто узагальнювати результати одного тестування та застосовувати той самий дизайн, формулювання, кнопки інші елементи на всьому сайті.
Ігнорування маленьких перемог
Після тестування ви отримали збільшення конверсії на 2% чи 5%, але вважаєте це не значним досягненням та ігноруєте його. Дарма.
Часто сукупний річний приріст конверсії буде набагато більшим, ніж той, що отримали у результаті a/b-тестування.
Невеликі прибутки зазвичай є реальністю спліт-тестування, але з часом відповідна зміна може призвести до мільйонних доходів. Тож ігнорування маленьких перемог – є однією найбільших помилок, яку ви можете зробити.
Ігнорування невдач
Іноді для того, щоб отримати максимальну кількість конверсій, необхідно провести більше ніж один тест. Однак кожен наступний тест має враховувати помилки попереднього. Тому важливий детальний аналіз не тільки досягнень, але й невдач проведеного тестування. Так, завдяки поєднанню вдосконалених пунктів із попередніх експериментів, поступово отримаємо високий приріст кількості конверсій.
Постійне невдоволення результатами
Ця помилка стосується більш психологічного чинника. Часто, незалежно від того, чи після тестування продажі зросли на 0,5% чи 50%, керівник не задоволений. Однак не робіть цього – кожен прогрес (великий чи малий) – чудовий. Святкуйте його зі своєю командою. Це мотивує кожного робити більше і краще.
Уникайте цих помилок – проводьте а/b-тестування ефективно
Ми зібрали найпоширеніші помилки а/b-тестування. Кількох із них, ймовірно, припускалися й ви в своїх попередніх дослідженнях. Якщо ні, то це чудово! Сподіваємося, що тепер ви орієнтуєтеся у підводних каменях, які слід уникати при а/b-тестуванні та врахуєте ці знання в майбутньому.
