Власник невеликого інтернет-магазину читає в маркетинговій групі у Facebook, що “зелена кнопка конвертує краще, ніж червона”, наступного дня перефарбовує її і чекає на диво. Через тиждень заглядає в Google Analytics, бачить на кілька замовлень більше, оголошує тест успішним і йде далі. Це не a/b тестування для малого бізнесу — це вгадування з зайвими кроками.
Водночас саме зараз, коли ціна за клік у Google Ads та Sklik зростає рік за роком, все більше окупається покращувати те, що відбувається після кліку, а не просто підвищувати ставку на те, що відбувається до нього. A/B тестування — це інструмент, який уміє це вимірювати, якщо використовувати його правильно. У цьому тексті ми покажемо, скільки трафіку для цього дійсно потрібно, що тестувати першим, які інструменти підходять під бюджет малого бізнесу і де більшість власників припускаються помилки, яка забирає в них зайві місяці.
Що таке A/B тестування і чому малий бізнес його недооцінює
A/B тестування означає, що половині відвідувачів ви показуєте одну версію сторінки (A), а другій половині — іншу (B), а потім порівнюєте, яка версія призвела до більшої кількості замовлень, реєстрацій чи іншої дії, яку ви відстежуєте. Отже, рішення приймає поведінка реальних людей, а не враження власника чи агенції. Англійською цей принцип також називають split testing — йдеться про те саме: розподіл трафіку між двома (або більше) варіантами і вимірювання, який з них перемагає.
Найпоширеніша причина, чому малий бізнес цього не робить, — переконання, що для тесту потрібні сотні тисяч відвідувачів на місяць. Це не зовсім так. Потрібний розмір вибірки залежить від двох речей: наскільки велику різницю між варіантами ви хочете вміти зафіксувати і наскільки висока базова конверсія сторінки. Чим меншу різницю ви хочете виявити, тим більше даних потрібно — а чим нижчий базовий коефіцієнт конверсії сторінки, тим довше триватиме тест.
Ілюстративний приклад, щоб це не залишалося лише теорією: якщо сторінка конвертує на 3% і ви хочете надійно зафіксувати покращення до 3,6% (тобто на п’яту частину краще), вам потрібні порядку кількох тисяч відвідувачів на варіант — не сотні тисяч. Чим менше покращення ви хочете вміти виявити, тим різкіше зростає вибірка. Точне число для вашого конкретного випадку порахує будь-який онлайн-калькулятор статистичної значущості A/B тесту (більшість інструментів з наступного розділу мають його вбудованим) — достатньо ввести базову конверсію та очікувану різницю. Методику того, як рахуються такі цифри і чому статистична значущість — це не те саме, що впевненість у результаті, можна знайти у фаховій літературі з CRO, якщо хочете заглибитись більше, ніж дозволяє ця стаття.
[ЗОБРАЖЕННЯ: простий графік/калькулятор, що показує зв’язок між базовою конверсією, очікуваним покращенням і потрібним розміром вибірки. Alt-текст: “Калькулятор статистичної значущості для A/B тесту — зв’язок між конверсією та розміром вибірки”]
Що з цього випливає для інтернет-магазину з тисячею відвідувачів на місяць на певній сторінці? Не тестуйте відтінок синього кольору у посиланні. Оберіть речі з великим очікуваним впливом і дайте тесту тривати довше — спокійно чотири-шість тижнів замість одного. Менший трафік не означає, що тестувати неможливо. Це означає лише, що вибирати треба ретельніше і чекати відповіді довше.
Що тестувати першим — пріоритет за впливом
Тестуйте спершу місця з високим трафіком і високим тертям — там, де проходить багато людей, але й багато з них там же й “відпадає”. Не те, що зараз здається “круто” тестувати.
Практичний підхід простий: візьміть сторінки з найвищою відвідуваністю і поєднайте їх з місцями, де в аналітиці ви бачите найвище покинення. Кошик, де 70% людей додають товар, а лише 20% завершують замовлення, — набагато очевидніший кандидат на тест, ніж головна сторінка, яку хоч і відвідує багато людей, але вони плавно рухаються далі.
Отже, з чого почати? На вершині списку — CTA-кнопки на сторінках з високим трафіком, причому не лише колір, а й текст та розташування. “Замовити з безкоштовною доставкою” перевіряє зовсім іншу гіпотезу, ніж перефарбування кнопки в оранжевий. Одразу за цим — заголовки цільових сторінок (landing page), особливо там, куди веде платна реклама: відвідувач приходить сюди з конкретним очікуванням від реклами, і якщо заголовок сторінки не збігається з цим очікуванням, він одразу йде.
Далі варто звернути увагу на форми: скільки в них полів, у якому порядку вони розташовані, чи запитуєте ви телефон уже на першому кроці чи лише після email. Коротша форма зазвичай збільшує кількість надсилань, але не завжди підвищує якість заявок — це також гіпотеза, яку варто перевірити тестом, а не здогадкою. І нарешті — сторінки з цінами та оформлення замовлення: тут вирішується питання грошей буквально, тож навіть невелике покращення має прямий вплив на виручку.
Оптимізацію сайту для конверсій має сенс починати саме з місць із таким співвідношенням трафіку й тертя — не зі сторінок, які виглядають застарілими, але їх майже ніхто не відвідує.
Інструменти для A/B тестування з невеликим бюджетом
Для малого бізнесу без внутрішнього розробника існує кілька інструментів, які дозволяють запустити тест без написання коду, з ціною, що відповідає меншому бюджету.
Безкоштовного варіанту за замовчуванням, на жаль, більше не існує — Google Optimize Google припинив 30 вересня 2023 року і прямого наступника від Google не запропонував, компаніям порадили перейти на інструменти третіх сторін. Якщо ви натрапите на нього у старіших гайдах, це застаріла інформація.
[ЗОБРАЖЕННЯ: порівняльна таблиця чотирьох інструментів — VWO, AB Tasty, PostHog, Convert Experiences — зі стовпцями “кому підходить”, “сильна сторона”, “орієнтовна модель ціни”. Alt-текст: “Порівняння інструментів для A/B тестування для малого бізнесу”]
VWO — комплексне рішення з візуальним редактором
Серед усталених платформ варто згадати VWO з візуальним редактором без потреби знати код — гарний вибір для компанії, яка хоче один інструмент і для тестів, і для теплових карт (heatmaps) одночасно. Ціна зростає разом з обсягом трафіку, тому підходить радше компаніям зі стабільнішим потоком відвідувачів; скільки саме коштує зараз, потрібно перевірити безпосередньо на сайті VWO, оскільки прайси SaaS-інструментів змінюються частіше, ніж встигає оновлюватися контент блогу.
AB Tasty — тестування з акцентом на персоналізацію
Схожим за спрямуванням є AB Tasty, сильний у персоналізації контенту поряд із самим тестуванням — окупається, якщо ви плануєте тестувати ще й для різних сегментів відвідувачів, наприклад за джерелом трафіку чи типом пристрою. Ціни тут вирішують індивідуально за запитом, тож орієнтовну суму отримаєте лише безпосередньо від них.
PostHog — тестування та продуктова аналітика під одним дахом
Іншу категорію представляє PostHog, який поєднує тестування з продуктовою аналітикою (feature flags, експерименти) і пропонує безкоштовний рівень з місячним лімітом відстежуваних подій — цікавий варіант для SaaS та невеликих інтернет-магазинів, які хочуть мати тестування й аналітику під одним дахом. Цей ліміт PostHog у минулому кілька разів змінював, тож актуальне число краще перевірити безпосередньо у постачальника перед прийняттям рішення.
Convert Experiences — вибір для чистого e-commerce впровадження
Для чистого e-commerce впровадження більше підходить Convert Experiences, який інтегрується зі звичними платформами на кшталт Shopify і напряму пов’язує тест із даними про продажі. І тут діє те саме, що й з іншими: перевіряйте ціну актуально у постачальника, а не за старим прайсом.
Компанії, яка тільки починає і не має внутрішніх розробників, має сенс обрати інструмент з візуальним редактором і чіткою інтеграцією з вашою системою інтернет-магазину — не той, у якого найбільше функцій, які все одно не використаєте.
Як налаштувати валідний тест крок за кроком
Валідний тест починається з гіпотези, а не з ідеї. Різниця в тому, що гіпотеза говорить, чому зміна повинна спрацювати, а не лише що зміниться.
Погана гіпотеза: “Спробуємо оранжеву кнопку.”
Гіпотеза, з якою можна працювати: “Якщо кнопку ‘Купити’ виділити контрастним кольором і додати текст ‘в наявності, відправляємо сьогодні’, ми очікуємо вищу частку завершених замовлень, оскільки зменшуємо невизначеність щодо наявності товару.”
- Сформулюйте гіпотезу. Опишіть, що ви змінюєте, що очікуєте і чому — без причини тест — це просто випадкова зміна з вимірюванням на додачу.
- Визначте сегментацію заздалегідь. Вирішіть, чи вас цікавлять усі відвідувачі, чи лише мобільні користувачі, чи лише ті, хто прийшов з платної реклами. Змішування сегментів заднім числом, коли вже видно результати, — один із найпоширеніших способів спотворити тест самому.
- Встановіть тривалість. Тривалість тесту повинна покривати щонайменше один повний тижневий цикл, в ідеалі два-чотири тижні за меншого трафіку — поведінка відвідувачів різниться в понеділок і у вихідні, і короткий тест цього не вловить.
- Оцінюйте без поспіху. Оцінка без аналітика даних у команді не означає вгадування. Більшість інструментів (VWO, AB Tasty, PostHog) рахують статистичну значущість за вас і показують, чи різниця між варіантами надійна, чи це просто випадковість. Головне — дочекатися, поки інструмент покаже достатню впевненість, і не оцінювати тест “краєм ока” вже наступного дня.
Часті помилки, яких припускається малий бізнес під час тестування
Найпоширеніша помилка — не поганий інструмент, а передчасне завершення тесту одразу, як тільки з’являється перший натяк на різницю між варіантами. Власник просто не витримує — бачить натяк на перемогу і вимикає тест на тиждень раніше, ніж слід було. Результат тоді виглядає переконливо, але статистично це часто просто шум, який з наступним тижнем трафіку сам розчиняється.
Інші помилки йдуть слідом за цією:
- Недостатня вибірка — оцінка після кількох десятків відвідувачів, коли різниця між A і B — це ще просто шум. Інструмент хоч і покаже відсотки, але без достатньої впевненості це просто два випадкових числа поруч.
- Ігнорування сезонності — запуск тесту за тиждень до Різдва чи під час розпродажу, коли поведінка відрізняється від решти року, а результат потім помилково приписують дизайну сторінки замість сезону. Тест, запущений у листопаді й оцінений у січні, порівнює два різні періоди, а не два варіанти.
- Ігнорування мобільної версії — тест відстежується лише на десктопі, тоді як більшість відвідувачів приходить з мобільного, де сторінка поводиться інакше. Варіант, що перемагає на десктопі, на мобільному може дати протилежний результат.
- Тестування кількох змінних одночасно — заголовок, зображення і кнопка в одному тесті, коли після перемоги варіанту B ви не знаєте, яка з цих трьох змін насправді її спричинила. Це різниця між A/B тестом і мультиваріантним тестом, якій ми присвячуємо увагу у FAQ нижче.
- “Переможний” тест без повторення — одноразовий успіх сприймається як постійна істина, хоча той самий тест за інший період міг би дати інший результат, особливо якщо результат був межовим.
Спільний знаменник більшості цих помилок один — нетерплячість. Бюджет і час обмежені, компанія хоче побачити результат швидко, і саме цей поспіх на практиці знецінює тест.
Коли найняти агенцію замість тестування самотужки
Тестування самотужки має сенс, поки достатньо візуального редактора і кількох годин на тиждень для відстеження результатів. Щойно вам потрібно тестувати кілька змінних одночасно, пов’язувати результати з даними про виручку або у вас немає часу чекати тижнями на просту відповідь, настає момент, коли окупається професійний CRO-аудит.
Агенція приносить насамперед те, чого бракує малому бізнесу, — системну пріоритизацію тестів по всьому сайту, статистичний контроль над результатами і спроможність тестувати кілька гіпотез паралельно, не забираючи у власника час, потрібний йому на керування бізнесом. Особливо якщо паралельно вже працюють PPC кампанії з вищою рентабельністю, має сенс поєднати оптимізацію конверсій напряму з даними реклами — інакше ви покращуєте лише половину рівняння: приводите відвідувачів, але не збільшуєте частку тих, хто справді купує.
Тестування без гіпотези — це просто вгадування з зайвими кроками, про яке ми говорили на початку. З гіпотезою, терпінням і правильним вибором пріоритетів це вже щось інше — інструмент, який скаже вам правду, навіть якщо вона вам не сподобається. Менший бюджет не означає, що тестування не має сенсу. Це означає лише інші правила: менше тестів одночасно, довша тривалість, точніший вибір того, що дійсно варто перевіряти першим.
Якщо тестування самотужки впирається у стелю — чи то через час, статистику, чи пріоритизацію по всьому сайту — домовтеся про безкоштовну консультацію, і ми обговоримо, де у вашому бізнесі найбільший простір для покращення.
