Що таке А/А-тести і чи варто їх проводити

А/А тест - це варіація А/В тесту, особливість якої зрозуміла з назви. Якщо при А/В-тесті порівнюються різні варіанти сайту чи листа, то при А/А тесті оригінал зіставляється сам із собою.

В A/A тесті переможця не повинно бути. Якщо він є, то щось пішло не так.

Такий вигляд має A/В тест. Ми порівнюємо дві сторінки, на яких щось відрізняється. Той варіант, який переміг, ми показуватимемо всім іншим користувачам

А це A/A тест – сторінка порівнюється сама з собою. Нижче я розповім, навіщо це потрібно

Навіщо потрібен A/A тест

Коли я вперше почулв про А/А тест, у голові відразу постало питання: «А навіщо це потрібно, якщо різниці в результатах не буде?» Але, як виявилося, у цьому полягає суть такого експерименту.

За даними Instapage, близько 80% результатів A/B тестів не підтверджуються практично. Це ще добре, якщо після внесення змін конверсія залишиться на колишньому рівні. Буває, що результат погіршується. І, крім втраченого часу, компанія починає втрачати гроші. Щоб цього уникнути і вигадали А/А тести.

Головна мета А/А тесту — показати, чи можна довіряти результатам експерименту, який буде запущений у тих самих умовах, але з різними варіантами сторінки. Якщо в ході А/А тесту переможця виявити не вдалося, можна запускати A/B тест. В іншому випадку доведеться перевірити налаштування сервісу та однорідність вибірки. Таким чином, А/А тест надає контрольні дані для перевірки точності A/B тесту.

Якщо говорити про конкретні завдання, то А/А-тест найчастіше використовують, щоб:

Перевірте, чи правильно працює платформа для тестування (наприклад, VWO) . Якщо А/А-тест, запущений у сервісі, покаже переможця, то є проблеми з налаштуваннями експерименту або з самим сервісом. Про те, що робити в такій ситуації, поговоримо трохи нижче.

Я зазвичай запускаю A/A тест, коли клієнт хоче отримати додаткові докази того, що його платформа для тестування працює правильно. Насправді немає кращого способу зробити це, ніж узяти таку саму сторінку і протестувати її проти самої себе без будь-яких змін. По суті, ми обманюємо платформу і дивимося, чи вона зловить нас!

Визначити базовий рівень конверсії. За допомогою А/А тесту можна визначити довірчий інтервал, в рамках якого зміни конверсії можуть бути випадковими та не залежати від змін на сторінці. Наприклад, у ході А/А тесту одна й та сама сторінка показала конверсію 2% та 3%. Значить, якщо за A/B тестом конверсія потрапить у діапазон від 2% до 3%, вносити зміни на сторінку не варто, оскільки вони не вплинуть на результат.

Так, у компанії Avast після проведення А/А тесту ухвалили внутрішні рекомендації щодо тестування. Експеримент допоміг компанії визначити, що будь-які зміни конверсії в діапазоні 5% можуть бути викликані випадковими факторами і не можуть бути сигналом для впровадження змін.

Оцінити мінімальний обсяг вибірки та час проведення експерименту для конкретної сторінки. Деякі програми для тестування оголошують виграшну сторінку передчасно. Запустивши A/A тест, ви побачите, скільки учасників насправді потрібно, щоб вважати один із варіантів при А/В тесті виграшним. Це станеться, коли результати А/А тесту почнуть вирівнюватися.

Як провести А/А тест 

Для початку налаштуйте тест у вибраному інструменті, вказавши як варіант для порівняння ту саму сторінку без змін. При цьому використовуйте сервіс, в якому ви запускаєте або плануєте запускати А/В тести.

Якщо ви ще ніколи не проводили A/B тести, найпростіше розпочати з VWO. Цей сервіс легко налаштований, він безкоштовний та легко інтегрується з Google Analytics 4.

Після запуску тесту слідкуйте за його результатами. Спочатку дані можуть сильно відрізнятися, але зі зростанням кількості учасників експерименту вони почнуть вирівнюватися.

Стандартний графік конверсії при А/А тесті. Згодом конверсія на оригінальній сторінці та на її копії вирівнюється

Не поспішайте завершувати експеримент зарано. Чим довше ви його проводите, тим точнішими будуть результати. Буває, що A/A тест показує різницю тільки тому, що йому не вистачає потрібної кількості даних для правильних висновків. Тому зачекайте хоча б 1 місяць, а потім вже починайте аналіз результатів.

Можна орієнтуватися на розмір вибірки, який розраховується за допомогою будь-якого онлайн-калькулятора. Але якщо потрібну кількість користувачів ви набрали, а конверсія на дві сторінки ще не вирівнялася, краще почекати декілька тижнів, перш ніж приступати до аналізу результатів.

Якщо A/A тест не показав різниці між варіантами або вона виявилася мінімальною, вітаємо, ви можете зі спокійною совістю запускати A/B тест і покладатися на його результати. При цьому важливо, щоб інструмент для тестування не міг визначити переможця. Тому звертайте увагу на показник статистичної значущості, він має виявитися нижчим за 95%. Це означає, що жоден із варіантів не може бути визнаний виграшним.

Якщо A/A тест виявив переможця (а це погано), то причини можуть бути такі:

Помилка тесту (елемент випадковості). Як у будь-якого експерименту, A/A тест теж має певний ступінь достовірності. Теоретично при стандартній значущості в 95% кожен 20 А/А тест буде показувати хибнопозитивний або хибнонегативний результат. На практиці, експерти кажуть, що послуги оголошують переможця в 50-70% A/A тестів (значимість від 95% до 99%). Такою є статистика. Тому краще повторити А/А тест 2-3 рази, і тільки якщо результат повториться, піти копатися в налаштуваннях сервісу та експерименту.

Технічні проблеми. Якщо кілька A/A тестів поспіль визначають переможця, і їм визнається основна сторінка, а не її дубль, можливо проблема з налаштуваннями експерименту або в самому сервісі.

Переконайтесь, щоб:

• дані у сервісі збігалися з даними веб аналітики (кількість відвідувачів, конверсія);

• швидкість завантаження кожного варіанта була приблизно однаковою (буває зміна варіанта навіть на той самий уповільнює завантаження сайту, що, природно, зменшує ймовірність конверсії);

• обидві сторінки виглядають однаково на всіх пристроях та у всіх браузерах. Різниця може з'явитися, наприклад, через «ефект мерехтіння», коли користувач спочатку бачить один варіант, а потім він змінюється на інший нехай ідентичний першому.

Проблеми з інструментом. Якщо ви провели вже декілька тестів, не виявили технічних неполадок та помилок у налаштуваннях експерименту, а А/А тести продовжують виявляти переможця, спробуйте використати інший інструмент для тестування.

Мінуси А/А-тесту

Багато хто з маркетологів та аналітиків не люблять А/А тести. Вони вважають їх марною тратою часу. Ось основні аргументи, які вони наводять:

Тест займає багато часу. На проведення А/А тесту потрібно закласти близько місяця, щоб досягти потрібної точності експерименту. І це ще за хорошого трафіку.

Якщо проєкт лише стартує, проводити А/А тест безглуздо. Краще постаратися зробити сайт більш логічним і зрозумілим, зібравши зворотний зв'язок від представників цільової авдиторії.

Результат не гарантовано. Вище я вже описав, які проблеми можуть виникнути під час проведення А/А тесту і чому не завжди варто довіряти отриманому результату.

Щоб уникнути перелічених мінусів, можна використовувати інші способи, які допоможуть контролювати якість експерименту.

Як ще контролювати якість експерименту

У чистому вигляді А/А тест – надто витратне рішення. Тому розумніше використовувати інші варіанти, щоб підтвердити правдивість результатів А/В-експериментів:

Провести A/A/B тест. Компромісний варіант. Можна запустити в ротацію одразу три варіанти сторінки — оригінал, ще один оригінал та сторінку зі змінами. Так ви заощадите час і вб'єте одразу двох зайців. Однак цей спосіб теж має свої мінуси: на такий експеримент потрібно більше часу, ніж на класичний А/В тест, і якщо буде виявлена ​​різниця між однаковими варіантами, то і результатами всього експерименту не можна буде користуватися.

Додати інструмент аналітики . Це чудовий спосіб перевірити інструмент для тестування. Найпростіше — додати Google Analytics 4, до того ж VWO. І якщо значної різниці між даними (кількістю відвідувачів, значенням конверсії) не буде, значить інструмент для тестування працює коректно. Якщо ви побачите різницю в даних, спробуйте запустити А/А тест і подивитися на його результати.

Слідкувати за експериментом. Одна з головних причин, чому А/А тест може виявити переможця, — неоднорідність вибірки. Під час проведення A/B тесту варто стежити, щоб між різними сегментами відвідувачів був значної різниці у розрізі варіантів. Іншими словами, щоб структура авдиторії за статтю, пристроями, географією була приблизно однакова для кожного варіанту. Також варіанти сайтів повинні відрізнятися тільки тим, чим ви запланували, а для цього важливо відстежувати виникнення будь-яких технічних проблем та усувати їх якнайшвидше.

Якщо ви таки вирішили провести А/А тест, не варто робити це перед кожним експериментом. Корисно запустити такий тест, якщо ви починаєте займатися спліт тестуванням або хочете змінити сервіс для А/В тестів.