21 помилка a/b тестування, яка забирає ваші ресурси на вітер
Прийшли — подивилися — пішли. Якщо вам знайома така ситуація, а сайт має високий показник відмов, тоді однозначно потрібно щось змінювати. Знайти шляхи для вдосконалення і покращення показників залученості допоможе а/b тестування.
Як проводити A/B-тестування, розповідали у попередній статті. Сьогодні поговоримо, як уникнути розповсюджених помилок.
Що таке а/b-тестування?
A/B-тестування — це метод порівняння двох варіантів, щоб визначити найбільш ефективний для досягненні поставленої мети. Таку перевірку широко застосовують у сфері маркетингу, UX-дизайні, веброзробці тощо.
Цей тактичний крок дозволяє спробувати нові ідеї на потенційних клієнтах. Наприклад, ви можете затестити кілька варіантів однієї сторінки/УТП/креативу, що різняться одним-двома параметрами. На основі результатів можна зробити висновки щодо більш ефективного варіанту, який сприятиме збільшенню конверсій, рейтингу кліків, залучення тощо.
Як це працює:
- Створення кількох варіантів одного елемента — заголовок, кнопка або її колір, загальний дизайн сторінки тощо.
- Збір фокус-групи та розподіл її на два «табори». Як правило, аудиторія ділиться на дві рівні частини — одні люди бачать варіант «А», інші — «В».
- Вимірювання ефективності кожного варіанту на основі заздалегідь встановлених KPI (ключових показників ефективності). Наприклад, рейтингу кліків, конверсій, кількості покупок або часу перебування на сторінці.
- Завершальний етап — порівняння результатів і аналіз даних. Саме тут потрібно визначити, який варіант спрацював найкраще.
Чому і коли потрібно проводити A/B тестування?
Чи насправді спліт-тестування є важливим для бізнесу? Коротка відповідь — так. І ось головні причини:
- Можливість оперувати точними даними: досить покладатись на припущення щодо уподобань своєї цільової аудиторії.
- Збільшення конверсій: навіть незначна на перший погляд зміна (як-от колір чи розмір кнопки) може суттєво вплинути на поведінку споживачів та виконання ними цільової дії.
- Мінімізація ризиків: якщо ви плануєте глобальні зміни на сайті, то їхній вплив на поведінку користувачів можна передбачити заздалегідь. Це знижує ризик втрати потенційних клієнтів у майбутньому.
- Розуміння уподобань та інтересів аудиторії, що сприяє створенню більш релевантного контенту чи продуктів.
- Підвищення рентабельності інвестицій (ROI): завдяки періодичним змінам ви покращуєте ефективність своїх зусиль та витрачаєте менше коштів на рішення, що насправді не працюють.
А/б тести доцільно проводити перед внесенням змін на вебсайт; для тестування різних варіантів контенту і вивчення реакцій аудиторії на оновлення.
Помилки, яких варто уникати під час проведення а/b тестування
Незважаючи на вище перелічені переваги, зміни спрацюють на краще лише за умови правильного налаштування спліт-тесту. Нижче ми наводимо список найпоширеніших помилок, які призводять до марних витрат сил, часу та бюджетів.
Планувати тестування занадто рано
Не проводьте тестування заради тестування. Для ефективності експерименту необхідно мати достатню кількість даних, які потім порівняєте з отриманими. Інформація має бути надійною – це впливає на правильність гіпотези та достовірність висновків.
Рішення:
- Проведіть аналіз поточного стану справ: зберіть базові дані (наприклад, конверсії, кліки) і визначте слабкі місця, які потрібно покращити.
- Встановіть чіткі цілі: визначте, що саме ви хочете перевірити. Наприклад, покращити заголовки, заклики до дії, візуальну складову.
- Переконайтеся, що вибірка достатня, щоб результати були репрезентативними.
Неправильна гіпотеза
Перевірте чи правильно ви визначили причини конкретних результатів на веб-сайті, таких як показник відмов, високий трафік із низькими продажами і т.ін.
✖ Якщо ваша гіпотеза неправильна, то й результати тестування будуть неефективними.
Рішення: розробіть гіпотезу, яка базується на обґрунтованих даних. Отримати їх можна за допомогою Google Analytics, Google Search Console, запису сеансу та подібного. Гарно працюють також опитування серед потенційних клієнтів.
У тестування немає цілі
Коли у вас є правильна гіпотеза, то ви можете вивести з неї конкретний результат, якого хочете досягти. Іноді компанії безцільно проводять тестування та спостерігають за результатами. Однак ви отримаєте кращі результати (збільшення кількості потенційних клієнтів, конверсій та продажів), якщо чітко розумітимете, де саме потрібен приріст.
Рішення:
- Встановіть конкретні та вимірювані цілі. Наприклад: підвищити клікабельність CTA-кнопки на 15%.
- Сформулюйте гіпотезу на основі даних. Наприклад: зміна кольору кнопки з синього на червоний збільшить конверсію.
- Визначте KPI, які допоможуть оцінити успіх тестування.
- Проведіть попередній розрахунок на калькульторі A/B-тестування, наприклад, на сайті VWO.
Калькулятор A/B-тестування на сайті VWO
Проведення тестування на стадії розробки сайту
Ви можете здивуватися, але іноді розробники забувають перейти на «живий» веб-сайт і проводять тестування на версії, яка ще в розробці. Через це ви не отримаєте реальних результатів, оскільки веб-сайт зможуть відвідати лише розробники, а не ваша цільова аудиторія.
Рішення: корисний фідбек — реальний фідбек. Завжди оперуйте даними на основі відгуків реальної фокус-групи, яка повною мірою уособлює ваших цільових користувачів.
Тестування неправильної сторінки
Краще взагалі не проводити спліт-тестування, аніж витрачати ресурси на перевірку елементів, що не приносять бізнесу глобальної користі.
Рішення: яку сторінку тестувати, залежить від вашої мети. Спрогнозуйте шлях, який проходить користувач, щоб придбати товар/послугу. Подивіться, де він зупиняється, та зробіть зміни саме там.
Копіювання чужого практичного досвіду
Ваш бізнес унікальний – не варто копіювати стратегії тестування з тематичних досліджень чи досвіду ваших конкурентів.
Рішення: проаналізуйте діяльність конкурентів. З’ясуйте, які стратегії вони використовують та для чого. Візьміть ці ідеї до уваги, але використовуйте їх, як натхнення для власної стратегії.
Орієнтування тільки на збільшення конверсій
Надмірна зосередженість на конверсії може вплинути на інші сфери вашого бізнесу в довгостроковій перспективі.
Наприклад, під час a/b split tests я ви змінили свої річні плани на місячні та помітили сплеск конверсій. Однак із часом ви можете побачити, що втрачаєте гроші, оскільки клієнти, яких ви залучаєте, приносять невелику кількість коштів та йдуть із компанії після кількох використань її продукції. Тоді як клієнти, які оплатили річні плани, ймовірно, залишаться надовго та принесуть сталий прибуток.
Рішення: окрім підвищення конверсій, враховуйте й інші аспекти, наприклад: взаємодії з брендом, підвищення лояльності або збільшення задоволеності клієнтів. Аналізуйте такі метрики, як час перебування користувачів на сайті, відсоток відмов та повернення клієнтів тощо.
Один тест – одна зміна
Вважаєте, що тестувати варіанти одразу кількох елементів під час одного a/b-тестування ефективно? Це заощадить ваш час та кошти, але як щодо результатів?
Якщо ви протестуєте кілька елементів одночасно, то не зможете визначити який варіант якої складової раптово підвищив коефіцієнт конверсії. Фактично це повністю заперечить меті a/b-тестування, та вам доведеться починати з нуля.
Рішення: за можливості тестуйте кілька змін одночасно, які у комплексі можуть мати помітний вплив на основі попередніх перевірок. Зосередьтесь на тих елементах, які впливають на конверсії найбільше (заголовок, CTA, дизайн сторінки).
Створення одразу кількох варіантів a/b-тестування
Кілька варіантів спліт-тестування веб-сайту не гарантують отримання більш цінної інформації. Вони лише додають плутанину, уповільнюють результати та можуть призвести до неправильних висновків.
Чим більше у вас варіантів, тим більше трафіку вам знадобиться, щоб отримати необхідні результати.
❕ Відтак у вас більше шансів потрапити під вплив видалення файлів cookie.
Є ймовірність, що учасники тестування видалять свої файли cookie через 3-4 тижні. Така ситуація негативно вплине на ваш результат, оскільки учасники, які були частиною одного варіанту, можуть опинитися в іншому.
Рішення: використовуйте додаткові інструменти на кшталт теплових карт, аби зрозуміти, які елементи потребують перевірки в першу чергу. Якщо у вас є кілька гіпотез, перевіряйте їх по черзі, аби отримати чітку та репрезентативну картинку.
Приклад теплових карт з сервісу Fullstory
Різні варіанти для різних аудиторій
Якщо ви порівнюватимете результати тестування різних варіантів для різних аудиторій, то не зможете дійти до об’єктивних висновків. Це подібно до співставлення яблука та банану. Тож, якщо один варіант доступний лише для киян, то й інший має відображатися лише для аудиторії з Києва.
Рішення: всі групи аудиторій мають бути рівномірними. Якщо є потреба тестувати різні аудиторії, проводьте окремі A/B тести для кожної з них. Коли аудиторії мають різні демографічні, поведінкові або географічні характеристики, тоді результати тесту не будуть коректними. Наприклад, a/b тестування для email-кампанії може мати різні результати для молоді та людей старшого віку.
Невдалий час тестування
Існує кілька помилок проведення a/b-тестування, пов’язаних із часом:
- Завершення тесту занадто рано. Об’єктивні результати тестування за стандартом достовірності у 95% можна отримати, проаналізувавши дані, щонайменше через тиждень тестування. Загалом оптимальний час проведення експерименту – два-три тижні.
- Порівняння різних періодів. Достовірні результати можна отримати лише під час порівняння даних за аналогічний період. Наприклад, на вихідних у вас найбільший трафік, тоді слід порівнювати дані лише з цього періоду. Також не варто співставляти результати в сезон та в звичайні дні.
- Тестування різних часових затримок на різних варіантах. Якщо ви показуєте відвідувачеві свого веб-сайту один варіант через 5 секунд, а інший – через 15 секунд, результати не можна порівнювати. Більшість клієнтів чекатимуть 5 секунд для отримання результату запиту, але от чи залишаться вони на 15 секунд – питання. Тож висновки при такому варіанті порівняння не точні й не надійні.
Зміна параметрів під час тестування
Якщо користувач потрапляє на варіант A, то він повинен бачити цей варіант до кінця тестування. Зміна налаштувань посеред тесту призведе до того, що цей споживач побачить варіант B. Так порушується цілісність даних.
Рішення: рівномірно розподіляйте трафік, щоб дати всім своїм варіантам справедливий шанс. Крім того, не варто змінювати самі варіанти, адже це ускладнює визначення причин результатів.
Ігнорування коментарів користувачів
Ваш тест отримує кліки, трафік розповсюджується, тому ви вважаєте його робочим та продовжуєте. Однак виявляється, що ви отримали купу скарг про те, що користувачі не можуть заповнити форму оформлення покупки.
Як уникнути? Не ігноруйте коментарі, усуньте проблему та перезапустіть тест.
Тестування несуттєвих елементів
Наприклад, ви вирішили змінити текст кнопки із закликом до дії та вибираєте варіанти: «ввести» та «додати». Помилка в тому, що ці слова взаємозамінні, тож результати тесту не заслуговуватимуть на увагу. Їх можна тестувати тільки на великих сайтах зі значним трафіком.
Щоб уникнути помилки, спробуйте порівняти варіанти закликів різними мовами або ж із суттєво різним значенням. Кардинальна зміна елементів сильніше впливає на коефіцієнт конверсії, а резльтат можна швидше протестувати. Це доводить аналіз TechCrunch та RJMetrics.
Таблиця сайту techcrunch
Ігнорування періодичних радикальних змін
Зміна тексту та кольору кнопки CTA, налаштування окремих елементів дизайну та подібне не зможуть принести істотний результат для більшості підприємств.
Тому, коли поступові зміни вже не дають бажаних результатів, варто застосовувати радикальне тестування.
❕ Періодичне радикальне тестування передбачає значні зміни на вашому веб-сайті та ускладнює визначення того, яка зміна принесла позитивні результати.
Рішення: зміни варто робити виважено. Не намагайтеся думати від імені своїх клієнтів. Найкращий спосіб дізнатися, що потребує вдосконалення, – запитати їх.
Прикладом радикальних змін може бути зміна дизайну. Замість того, щоб перевіряти окремі елементи у вашому існуючому дизайні, тестуйте більші його частини.
Нерозуміння помилок типу І та ІІ
Помилка типу I відбувається, коли під час тестування відкидається нульова гіпотеза, коли вона насправді є правильною. Іншими словами, це означає, що, за результатами тестування, зміна вважається статистично значущою, коли насправді вона такою не є.
Помилка типу II – коли нульова гіпотеза приймається, хоч насправді вона хибна. Іншими словами, це означає, що тестування не помічає статистично значущих різниць між варіантами, коли вони насправді існують.
Обидві помилки можуть бути шкідливими, але зазвичай помилка типу I вважається більш серйозною, оскільки вона призводить до неправильних рішень.
Неправильні висновки
Отримавши дані після завершення а/b-тестування, ви повинні правильно їх оцінити.
Для цього ви можете поспостерігати за змінами коефіцієнта конверсії, показника відмов, кліків CTA тощо. Однак, якщо ви аналізуєте тільки середні значення, то не можете бути впевнені у висновках, оскільки ці значення часто є неточними.
Рішення: вивчіть результати глибше, і тільки тоді робіть висновки. Краще використовувати індивідуальні параметри в Google Analytics, адже таким чином ви сегментуєте дані та створите спеціальні звіти.
Узагальнення результатів
Під час seo a b test один із варіантів демонструє збільшення кількості конверсій на 35% порівняно з контрольним. Отож ви вважаєте, що знайшли ідеальне рішення та починаєте застосовувати його на всьому сайті. Однак через деякий час ви помічаєте падіння коефіцієнтів конверсії.
Рішення: формула успіху не обов’язково працюватиме на всіх частинах сайту. Тому не варто узагальнювати результати одного тестування та застосовувати той самий дизайн, формулювання, кнопки інші елементи на всьому сайті.
Ігнорування маленьких перемог
Після тестування ви отримали збільшення конверсії на 2% чи 5%, але вважаєте це не значним досягненням та ігноруєте його. Дарма.
Часто сукупний річний приріст конверсії буде набагато більшим, ніж той, що отримали у результаті a/b-тестування.
Невеликі прибутки зазвичай є реальністю спліт-тестування, але з часом відповідна зміна може призвести до мільйонних доходів. Тож ігнорування маленьких перемог – є однією найбільших помилок, яку ви можете зробити.
Ігнорування невдач
Іноді для того, щоб отримати максимальну кількість конверсій, необхідно провести більше ніж один тест. Однак кожен наступний тест має враховувати помилки попереднього. Тому важливий детальний аналіз не тільки досягнень, але й невдач проведеного тестування. Так, завдяки поєднанню вдосконалених пунктів із попередніх експериментів, поступово отримаємо високий приріст кількості конверсій.
Постійне невдоволення результатами
Ця помилка стосується більш психологічного чинника. Часто, незалежно від того, чи після тестування продажі зросли на 0,5% чи 50%, керівник не задоволений. Однак не робіть цього – кожен прогрес (великий чи малий) – чудовий. Святкуйте його зі своєю командою. Це мотивує кожного робити більше і краще.
Висновки
У статті ми зібрали найпоширеніші помилки а б тестування. Кількох із них, ймовірно, припускалися й ви у своїх попередніх дослідженнях. Якщо ні, то це чудово! Сподіваємося, що тепер ви орієнтуєтеся у підводних каменях, які слід уникати при а/b-тестуванні та врахуєте ці знання в майбутньому.
Уникайте цих помилок – проводьте а/б тестування ефективно!
