- Выбор стека технологий
- Первые проблемы
- Что делать если не хватает готовых коннекторов для выгрузки данных
- Что делать если есть проблемы с UTM тегированием
- Сложности учета медийной рекламы в отчете
- Сводим все данные в единое целое
- Итог
- Cроки выполнения проекта
- Отзыв заказчика
Для оценки эффективности запусков рекламных кампаний формируется отчет в MS Excel на основе разрозненных данных: вручную формирующиеся выгрузки и листы в файле xls. Процесс выглядит так, аналитик еженедельно выгружает информацию из рекламных кабинетов, формирует сводные в Excel и потом производится анализ.
У схемы есть плюсы в том, что для реализации отчетности:
- нет необходимости в специализированной базе данных, то есть не нужны тех. специалисты, которые будут обеспечивать настройку, работоспособность и безопасность;
- не нужны коннекторы к рекламным площадкам;
- не нужны сильные экономические вливания на запуск системы.
Давайте посмотрим на минусы:
- человеческий фактор — если один человек занимается формированием такой отчетности, он может ошибиться, взять больничный, уйти в отпуск, уволиться, не успеть из-за текущей загрузки. Если несколько людей занимаются этим вопросом, то их работу нужно координировать;
- технологический фактор — представьте что собрали данные за прошлую неделю, а через какое-то время площадка пересчитала статистику (недействительные клики, сбои). В этот момент ваша отчетность перестает сходится с данными в рекламных площадках.
- вероятность ошибки в отчете явно больше нуля, это следствие человеческого и технологического факторов;
- жесткость системы, если вы решили изменить отчет и добавить в него какие-то данные, то с большой долей вероятности придется переделывать все предыдущие выгрузки;
- на сбор и обработку информации, аналитики могут тратить гораздо больше времени, чем на ее анализ.
Ручной сбор данных в отчет — это не плохо, просто в какой-то момент компания может понять, что минусы этой системы начали перевешивать плюсы. Тогда возникает мысль: “А давайте автоматизируем процесс сбора данных”.
Выбор стека технологий
Любая автоматизация начинается с выбора стека технологий, на котором будет работать созданная система. Выбор нужного стека — это тема для отдельной публикации, поэтому мы не будем описывать общие принципы, а расскажем какой конкретный стек выбрал клиент.
Для реализации данной автоматизации нужны:
- коннекторы, которые будут выгружать данные из рекламных кабинетов;
- база данных (БД), куда будем загружать данные;
- программа, которая будет визуализировать данные из БД.
Клиент выбрал инструменты компании Microsoft:
- БД — Azure.
- Программа для визуализации — Power BI.
Под этот стек технологий подходит сервис коннекторов myBI, который автоматизирует задачи по выгрузке данных из рекламных систем и Google Analytics.
Первые проблемы
Несмотря на то, что myBI автоматизирует выгрузку, вместе с тем не все системы и рекламные источники были “перекрыты” сервисом. А это значит, что по ряду рекламных площадок не можем получить расходы в нашу БД.
Сюрпризом стало и то, что не все рекламные каналы можно отследить в Google Analytics. Возникает вопрос: «А как такое возможно?». Все просто — видеореклама без переходов на сайт. При этом задачу о загрузке данных по расходам на рекламу и сведение ее в отчетности никто не отменял.
В процессе изучения рекламных кампаний была выявлена проблема, которая не позволяла построить необходимым образом иерархию данных в отчете, а именно: UTM метки хоть и составлялись по определенной схеме, но не всегда позволяли однозначно идентифицировать источник / канал трафика (на основе данных необходимо было построить фильтры по каналу направлению трафика). Аналогично и с названиями рекламных кампаний.
Проблема поставила под угрозу разработку отчетности. Данные по расходам берем из рекламной площадки, а информацию о посещении сайта и конверсиях из Google Analytics. Связать эти данные в БД можем по какому-то ключу. В качестве такого ключа выступают UTM-метки и если они составлены таким образом, что по ним нельзя сделать верный ключ для связи данных, тогда вы не можете корректно связать расходы и конверсии. В итоге разработка отчета заканчивается провалом.
Что делать если не хватает готовых коннекторов для выгрузки данных
После обдумывания ситуации с клиентом, пришли к выводу, что часть источников данных будем вручную загружать в гугл таблицы. Ручная выгрузка частично осталась, но формат и структура данных подверглись изменениям. Выгрузки привели к единому формату для всех возможных вариантов, чтобы упростить процесс и снизить вероятность появления ошибок.
Важно уметь идти на компромиссы, разработка и поддержка своих коннекторов — затратная статья расходов, иногда проще купить подписку в готовом сервисе, типа myBi. Но даже используя готовые сервисы вы не застрахованы от ситуации, когда в сервисе и на рынке нет нужного коннектора. Тогда возвращаетесь к идее разработки и поддержки коннектора. Тут важно просчитать что выгоднее, делать свое решение или сделать ручную выгрузку.
Наш совет: если данная рекламная площадка работает не на постоянной основе или доля ее в общих расходах невысока, то лучше сделать ручную выгрузку.
Что делать если есть проблемы с UTM тегированием
Поскольку одним из требований являлось создание определенной иерархии данных, для UTM меток и названий рекламных кампаний был разработан стандарт, к которому в результате работы были приведены все рекламные кампании.
Разработка единого стандарта для UTM тегирования и следование ему в дальнейшем — обязательное условие для корректной работы отчета. Для проектов с небольшим количеством рекламных источников и с отсутствием требований к определенной иерархии каналов в отчете может хватить базовых рекомендаций по тегированию, которые легко найти в хороших статьях о UTM метках. А вот для проектов с большим количеством источников и определенным требованиям к иерархии в отчете нужно разрабатывать персональный стандарт.
Использование такого стандарта позволило выстроить необходимым образом иерархию для анализа данных:
Поскольку весь отчет строится на анализе показателей недельными интервалами, то высшей точкой в иерархии является неделя, далее идет “направление” (или канал привлечения трафика), ниже источник, далее возможные варианты для конкретного источника и нижней точкой является кампания.
Другими словами — отчет отображает информацию от сводной до конкретной рекламной кампании в эту неделю.
Сложности учета медийной рекламы в отчете
Учитывая специфику рекламных кампаний клиентом была поставлена задача в обязательном порядке обеспечить вывод в отчете таких показателей как:
- VTR — соотношение числа просмотренных полностью роликов к показам;
- 1000CPV — стоимость 1000 досмотров роликов до 100%.
Чтобы получить необходимые значения (данные должны быть отражены из различных систем):
Для Google Рекламы были сформированы отдельные выгрузки в myBI с данными рекламным кампаниям, которые транслируют видеоролики.
По оставшейся медийной рекламе получили 2 проблемы:
- реклама которая не содержит ссылку на сайт, ее нет в Google Analytics;
- реклама по которой нет готового коннектора для получения расходов и статистики.
Данные по таким рекламным кампаниям нужно включить в итоговый отчет. Для решения проблем разработали шаблон структуры файла, в который вручную вносятся данные по результатам просмотров видеоматериалов.
Чтобы обеспечить необходимый функционал в отчете для рекламных площадок без посещений, в Google Analytics нужно сделать несколько дополнительных действий. В Power Query формируется сводная таблица по рекламным кампаниям без посещений и они добавляются к основным кампаниям.
Такое решение позволит, при необходимости, добавить новый источник в отчет за несколько минут.
Сводим все данные в единое целое
Одна из задач, которую решали в процессе работы — получение в наборах данных реального идентификатора рекламной кампании, т.к. именно это значение используется в качестве ключа, по которому “связаны” все источники данных в модели.
Изначально в модели данных myBI эти сведения присутствовали в данных по РК (ID кампании в каждой из систем) и в данных из Google Analytics (источники трафика).
Поскольку для utm меток используется специальный формат (единый для всех систем) и он предусматривает включение id кампании на определенной позиции в соответствующей метке, то проблем с его получением не возникает.
Имея для источника трафика id кампании и такой-же id в данных по рекламных кампаниях, мы можем получить данные в связке: расходы на РК, сессии и достижения целей.
В исключительных случаях использовался метод сопоставления названия рекламной кампании и значения метки для получения ID кампании.
Ключ, используемый для связи данных выглядит как 1234567890, возникает вопрос: «Каким образом все рекламные кампании были сведены в единое целое?».
Для этого использована модель myBI, в которой для каждой площадки или сервиса выгружается свой набор данных. Для решения задачи потребовалось взять для каждой из систем следующие таблицы:
- параметры кампаний;
- статистика по объявлениям.
Т.к. данные используются в каждой системе, то для получения общей информации данные были объединены в две таблицы, которые используются в отчете.
Поскольку на сайте от посетителя ожидается совершение определенных целевых действий, то они фиксируются целями в Google Analytics, что можно увидеть в отчете.
Одним из основных показателей является показатель отказов, который рассчитывается как:
и отображается в отчете наряду с остальными показателями.
Итог
Общий вид отчета — это сводная таблица с данными по неделям, фильтрами по направлению и каналу:
Сводная таблица за несколько кликов трансформируется на разные уровни от общей картины, до детальной по рекламным кампаниям.
Специфика отчета в том, что в нем нет графиков, а построена сводная таблица с хорошими возможностями трансформации. На первом этапе клиенту важно было получить именно сводную таблицу, так как внутри компании вокруг нее сформирован ряд процессов. В текущий отчет были заложены возможности по визуализации данных в виде графиков, так что если клиенту понадобится, он может сам добавить нужные графики (отчет полностью работает на клиентской инфраструктуре) или подключить к этому вопросу нашу команду.
Выполненная работа по созданию отчета помогла клиенту решить основную проблему — автоматизацию процесса сбора и оперативное получение данных, доступных в удобной и привычной форме. С учетом специфики продукта и источников трафика не все получилось автоматизировать на текущем этапе, однако и предложенное решение упростило ранее выполнявшиеся операции по подготовке отчета.
выполнявшиеся операции по подготовке отчета.
Cроки выполнения проекта
Со всеми встречами, скайпами, мозговыми штурмами, разработкой обучающих материалов, составлением документации, шаблонов и работами затраты составили 190 часов со стороны команды Mello.
Отзыв заказчика
Head of digital marketing. Владимир Висков.
«Сотрудничество с Mello могу оценить исключительно с положительной точки зрения. Ребята быстро включились в работу – подобрали решение для отчетности, въехали в нестандартные для performance-агентств медийные метрики, проанализировали кучу нашей старой отчетности, документации и рекламные кабинеты, и уже через несколько месяцев сделали готовый продукт для анализа и последующей визуализации.
На выходе, помимо исходных файлов мы получили видеоинструкцию для внесения доработок, а также достаточно большой объем консультаций со стороны специалистов для настройки и последующей работы с файлами.
Отдельно хочется отметить, что создания подобного рода отчетности всегда сопровождается внедрением большого числа костыльных решений, из-за которых в последствие могут появиться разного рода проблемы. Коллеги из Mello предлагали такого рода решения, при которых кастомизация программного кода была минимальной.»