A/B-тестирование медиации

A/B-тестирование – это простой и действенный способ прозрачно сравнить производительность Appodeal с другими сервисами медиации.

Для того, чтобы исключить влияние внешних факторов (таких как, например, сезонность) на результаты, мы рекомендуем проводить параллельные, а не последовательные тесты.

Во время параллельного A/B-тестирования в вашем приложении работают две медиации одновременно, и пользователи случайным образом делятся на две группы. Первая группа работает с Appodeal, вторая – с другим сервисом медиации.

Для получения статистически достоверного результата необходимо исключить влияние групп друг на друга, т.е. пользователь (или устройство) должен быть отнесен строго к одной группе.

Процент распределения трафика между группами настраивается на собственном сервере, при помощи Firebase Remote Config или иного сервиса для A/B-тестирования. Это позволит динамически регулировать распределение трафика на протяжении всего теста, а также переключить всех пользователей на Appodeal, если результат теста удовлетворителен.

В качестве альтернативы для Android приложений можно использовать поэтапное внедрение обновлений.

A/B-тестирование с использованием Firebase Remote Config

1. Прежде всего, необходимо интегрировать Appodeal SDK (Android/iOS/Unity) с включенным адаптером Firebase.

Внимание

Cвяжитесь с нашей службой поддержки по электронной почте support@appodeal.com или в чате для дополнительной настройки.

2. Необходимо настроить Firebase в соответствии с данным руководством. (Android/iOS/Unity)

3. Перейдите в Firebase Console -> выберите свой проект -> Remote Config -> нажмите Create configuration.

Parameter name - mediation

Data type - String

Default value - appodeal (или одна из ваших тестируемых медиаций)

Нажмите Add new (Conditional Value -> Create new condition), чтобы добавить новое условие.

примечание

В примере ниже мы будем делить нашу аудиторию попалам.

Назовите условие 50% (или любой другой процент, на который вы хотите разделить пользователей).

Для условия выберите User in random percentage и выберите от 0 до 50.

В качестве второго значения введите имя медиации, с которой будут проводиться тесты, например max.

4. Инициализируйте Firebase, используя данное руководство. (Android/iOS/Unity)

5. В вашем приложении получите значение ключа "mediation", инициализируйте и используйте только необходимую медиацию. (Android/ iOS/ Unity)

Теперь вы можете наблюдать данные в Appodeal и в Firebase.

Ниже приведен пример кода в наших демо проектах :

Android Demo App

iOS Demo App

A/B-тестирование с использованием собственного сервера

Для случаев, когда Firebase Remote Config не используется, необходимые настройки для разделения групп пользователей можно указать на сервере:

1. При первом запуске приложения для каждого пользователя сгенерируйте случайное число в диапазоне от 0 до 100. Обозначим это значение userPercentage. Значение userPercentage сохраните на устройстве и используйте во всех последующих сессиях приложения.
2. Из файла на сервере запросите значение, указывающее какой процент рекламного трафика будет работать через Appodeal. Обозначим его appodealPercentage.
3. Если userPercentage < appodealPercentage, инициализируйте и используйте Appodeal. В ином случае инициализируйте и используйте другой сервис медиации.

A/B-тестирование с использованием поэтапного внедрения обновлений в Google Play

В случае с Android приложением необязательно интегрировать 2 медиации в одну сборку и использовать сервисы для A/B-тестирования.

Достаточно будет подготовить отдельную версию приложения с SDK сторонней медиации и внедрить обновление на часть аудитории.

Более подробное описание этого процесса вы можете увидеть в Справке - Play Console.

Рекомендации для избежания проблем во время A/B-тестирования

• Оба сервиса медиации не должны инициализироваться в одной сессии.
• Для исключения ошибок при сборке и последующей работе приложения, версии сторонних SDK в приложении должны совпадать с версиями в Appodeal SDK. Версии сторонних Android SDK находятся в архиве с дистрибутивом Appodeal SDK.Версии сторонних iOS SDK находятся в CocoaPods релизе Appodeal SDK.
• При сборке Android приложения мы рекомендуем использовать MultiDex.
• В случае использования одного аккаунта сети в разных сервисах медиации, распределение трафика должно быть организовано за счет использования разных рекламных блоков (placements/zones) для каждой группы пользователей. Иначе можно получить некорректную статистику для обеих медиаций.

Сравнение производительности сервисов медиации

Для оценки производительности рекламы используется показатель ARPDAU, так как он является наиболее объективным для оценки результатов при различном объеме показов.

ARPDAU (Average Revenue Per Daily Active User) показывает, сколько вы в среднем зарабатываете за день на одном активном пользователе.

Этот показатель вычисляется по формуле:

ARPDAU = Daily Revenue / Daily Active Users (Доход за день / Количество активных пользователей в день)

примечание

В дальнейшем мы будем рассматривать Daily Revenue (Весь ежедневный доход) как Ad revenue (Доход от рекламы).

Ad Revenue (Доход от рекламы) можно посмотреть в дашборде медиации. В Appodeal эта метрика называется «Ad Revenue», в других сервисах медиации она может быть «Network Rev», «Earnings» и т.д. Лучше использовать не оценочное (estimated), а фактические значение дохода от рекламных сетей, т.к. оно является более точным.

DAU для версий приложений с конкретной медиацией необходимо получить в стороннем сервисе аналитики (Google Analytics, Firebase и т.д.), т.к. сервисы медиации могу отслеживать активных пользователей приложения по-разному.

Для более точной оценки рекомендуем считать не только общий ARPDAU по приложению, но и ARPDAU по стране с наибольшим доходом для каждого типа рекламы отдельно.

Также рекомендуем сравнивать следующие метрики (для пользователей приложения с SDK Appodeal и SDK сторонней медиации соответственно):

• retention rate day(n) - из аналитики,
• crash rate - из аналитики,
• время проведенное пользователем в приложении (ежедневно) - из аналитики,
• показы на пользователя (ежедневно) для каждого типа рекламы. Эту метрику можно рассчитать, разделив количество ежедневных показов для каждого типа рекламы (в дашборде Appodeal эта метрика называется «Impressions») на DAU, которое вы найдете в сервисе аналитики.