Начните работать с нами
Оставьте заявку

Автоматизация отчета по расходам на рекламные кампании федеральной фармацевтической компании

Кейс по автоматизации получения и отображения данных о рекламных кампаниях, при наборе обширных источников: от контекстной до медийной рекламы.
20 мая 2019
Клиент

Фармацевтическая компания полного цикла, которая запускает интернет-рекламу на десятках площадках Рунета.

Задача

Разработка отчета по регламентированной структуре. Главная задача отчета  — автоматизация получения и отображения данных о рекламных кампаниях. Набор источников (рекламных сервисов) обширен: от контекстной до медийной рекламы.

Для оценки эффективности запусков рекламных кампаний формируется отчет в MS Excel на основе разрозненных данных: вручную формирующиеся выгрузки и листы в файле xls. Процесс выглядит так, аналитик еженедельно выгружает информацию из рекламных кабинетов, формирует сводные в Excel и потом производится анализ.

У схемы есть плюсы в том, что для реализации отчетности:

  • нет необходимости в специализированной базе данных, то есть не нужны тех. специалисты, которые будут обеспечивать настройку, работоспособность и безопасность;
  • не нужны коннекторы к рекламным площадкам;
  • не нужны сильные экономические вливания на запуск системы.

Давайте посмотрим на минусы:

  • человеческий фактор — если один человек занимается формированием такой отчетности, он может ошибиться, взять больничный, уйти в отпуск, уволиться, не успеть из-за текущей загрузки. Если несколько людей занимаются этим вопросом, то их работу нужно координировать;
  • технологический фактор — представьте что собрали данные за прошлую неделю, а через какое-то время площадка пересчитала статистику (недействительные клики, сбои). В этот момент ваша отчетность перестает сходится с данными в рекламных площадках.
  • вероятность ошибки в отчете явно больше нуля, это следствие человеческого и технологического факторов;
  • жесткость системы, если вы решили изменить отчет и добавить в него какие-то данные, то с большой долей вероятности придется переделывать все предыдущие выгрузки;
  • на сбор и обработку информации, аналитики могут тратить гораздо больше времени, чем на ее анализ.

Ручной сбор данных в отчет — это не плохо, просто в какой-то момент компания может понять, что минусы этой системы начали перевешивать плюсы. Тогда возникает мысль: “А давайте автоматизируем процесс сбора данных”. 

Выбор стека технологий

Любая автоматизация начинается с выбора стека технологий, на котором будет работать созданная система. Выбор нужного стека — это тема для отдельной публикации, поэтому мы не будем описывать общие принципы, а расскажем какой конкретный стек выбрал клиент.

Для реализации данной автоматизации нужны:

  • коннекторы, которые будут выгружать данные из рекламных кабинетов;
  • база данных (БД), куда будем загружать данные;
  • программа, которая будет визуализировать данные из БД.

Клиент выбрал инструменты компании Microsoft:

  • БД — Azure.
  • Программа для визуализации — Power BI.

Под этот стек технологий подходит сервис коннекторов myBI, который автоматизирует задачи по выгрузке данных из рекламных систем и Google Analytics.

Первые проблемы

Несмотря на то, что myBI автоматизирует выгрузку, вместе с тем не все системы и рекламные источники были “перекрыты” сервисом. А это значит, что по ряду рекламных площадок не можем получить расходы в нашу БД.

Сюрпризом стало и то, что не все рекламные каналы можно отследить в Google Analytics. Возникает вопрос: «А как такое возможно?». Все просто — видеореклама без переходов на сайт. При этом задачу о загрузке данных по расходам на рекламу и сведение ее в отчетности никто не отменял.

В процессе изучения рекламных кампаний была выявлена проблема, которая не позволяла построить необходимым образом иерархию данных в отчете, а именно: UTM метки хоть и составлялись по определенной схеме, но не всегда позволяли однозначно идентифицировать источник / канал трафика (на основе данных необходимо было построить фильтры по каналу направлению трафика). Аналогично и с названиями рекламных кампаний.

Проблема поставила под угрозу разработку отчетности. Данные по расходам берем из рекламной площадки, а информацию о посещении сайта и конверсиях из Google Analytics. Связать эти данные в БД можем по какому-то ключу. В качестве такого ключа выступают UTM-метки и если они составлены таким образом, что по ним нельзя сделать верный ключ для связи данных, тогда вы не можете корректно связать расходы и конверсии. В итоге разработка отчета заканчивается провалом.

Что делать если не хватает готовых коннекторов для выгрузки данных

После обдумывания ситуации с клиентом, пришли к выводу, что часть источников данных будем вручную загружать в гугл таблицы. Ручная выгрузка частично осталась, но формат и структура данных подверглись изменениям. Выгрузки привели к единому формату для всех возможных вариантов, чтобы упростить процесс и снизить вероятность появления ошибок.

Важно уметь идти на компромиссы, разработка и поддержка своих коннекторов — затратная статья расходов, иногда проще купить подписку в готовом сервисе, типа myBi. Но даже используя готовые сервисы вы не застрахованы от ситуации, когда в сервисе и на рынке нет нужного коннектора. Тогда возвращаетесь к идее разработки и поддержки коннектора. Тут важно просчитать что выгоднее, делать свое решение или сделать ручную выгрузку.

Наш совет: если данная рекламная площадка работает не на постоянной основе или доля ее в общих расходах невысока, то лучше сделать ручную выгрузку.

Что делать если есть проблемы с UTM тегированием

Поскольку одним из требований являлось создание определенной иерархии данных, для UTM меток и названий рекламных кампаний был разработан стандарт, к которому в результате работы были приведены все рекламные кампании.

Разработка единого стандарта для UTM тегирования и следование ему в дальнейшем — обязательное условие для корректной работы отчета. Для проектов с небольшим количеством рекламных источников и с отсутствием требований к определенной иерархии каналов в отчете может хватить базовых рекомендаций по тегированию, которые легко найти в хороших статьях о UTM метках. А вот для проектов с большим количеством источников и определенным требованиям к иерархии в отчете нужно разрабатывать персональный стандарт.

Использование такого стандарта позволило выстроить необходимым образом иерархию для анализа данных:

Поскольку весь отчет строится на анализе показателей недельными интервалами, то высшей точкой в иерархии является неделя, далее идет “направление” (или канал привлечения трафика), ниже источник, далее возможные варианты для конкретного источника и нижней точкой является кампания.

Другими словами — отчет отображает информацию от сводной до конкретной рекламной кампании в эту неделю.

Сложности учета медийной рекламы в отчете

Учитывая специфику рекламных кампаний клиентом была поставлена задача в обязательном порядке обеспечить вывод в отчете таких показателей как:

  • VTR — соотношение числа просмотренных полностью роликов к показам;
  • 1000CPV — стоимость 1000 досмотров роликов до 100%.

Чтобы получить необходимые значения (данные должны быть отражены из различных систем):

Для Google Рекламы были сформированы отдельные выгрузки в myBI с данными рекламным кампаниям, которые транслируют видеоролики.

По оставшейся медийной рекламе получили 2 проблемы:

  • реклама которая не содержит ссылку на сайт, ее нет в Google Analytics;
  • реклама по которой нет готового коннектора для получения расходов и статистики.

Данные по таким рекламным кампаниям нужно включить в итоговый отчет. Для решения проблем разработали шаблон структуры файла, в который вручную вносятся данные по результатам просмотров видеоматериалов.

Чтобы обеспечить необходимый функционал в отчете для рекламных площадок без посещений, в Google Analytics нужно сделать несколько дополнительных действий. В Power Query формируется сводная таблица по рекламным кампаниям без посещений и они добавляются к основным кампаниям.

Такое решение позволит, при необходимости, добавить новый источник в отчет за несколько минут.


Сводим все данные в единое целое

Одна из задач, которую решали в процессе работы — получение в наборах данных реального идентификатора рекламной кампании, т.к. именно это значение используется в качестве ключа, по которому “связаны” все источники данных в модели.

Изначально в модели данных myBI эти сведения присутствовали в данных по РК (ID кампании в каждой из систем) и в данных из Google Analytics (источники трафика).

Поскольку для utm меток используется специальный формат (единый для всех систем) и он предусматривает включение id кампании на определенной позиции в соответствующей метке, то проблем с его получением не возникает.

Имея для источника трафика id кампании и такой-же id в данных по рекламных кампаниях, мы можем получить данные в связке: расходы на РК, сессии и достижения целей.

В исключительных случаях использовался метод сопоставления названия рекламной кампании и значения метки для получения ID кампании.

Ключ, используемый для связи данных выглядит как 1234567890, возникает вопрос: «Каким образом все рекламные кампании были сведены в единое целое?».

Для этого использована модель myBI, в которой для каждой площадки или сервиса выгружается свой набор данных. Для решения задачи потребовалось взять для каждой из систем следующие таблицы:

  • параметры кампаний;
  • статистика по объявлениям.

Т.к.  данные используются в каждой системе, то для получения общей информации данные были объединены в две таблицы, которые используются в отчете.

Поскольку на сайте от посетителя ожидается совершение определенных целевых действий, то они фиксируются целями в Google Analytics, что можно увидеть в отчете.

Одним из основных показателей является показатель отказов, который рассчитывается как:

и отображается в отчете наряду с остальными показателями.


Итог

Общий вид отчета — это сводная таблица с данными по неделям, фильтрами по направлению и каналу:

Сводная таблица за несколько кликов трансформируется на разные уровни от общей картины, до детальной по рекламным кампаниям.

Специфика отчета в том, что в нем нет графиков, а построена сводная таблица с хорошими возможностями трансформации. На первом этапе клиенту важно было получить именно сводную таблицу, так как внутри компании вокруг нее сформирован ряд процессов. В текущий отчет были заложены возможности по визуализации данных в виде графиков, так что если клиенту понадобится, он может сам добавить нужные графики (отчет полностью работает на клиентской инфраструктуре) или подключить к этому вопросу нашу команду.

Выполненная работа по созданию отчета помогла клиенту решить основную проблему — автоматизацию процесса сбора и оперативное получение данных, доступных в удобной и привычной форме. С учетом специфики продукта и источников трафика не все получилось автоматизировать на текущем этапе, однако и предложенное решение упростило ранее выполнявшиеся операции по подготовке отчета.

выполнявшиеся операции по подготовке отчета.

Cроки выполнения проекта

Со всеми встречами, скайпами, мозговыми штурмами, разработкой обучающих материалов, составлением документации, шаблонов и работами затраты составили 190 часов со стороны команды Mello.

Отзыв заказчика

Head of digital marketing. Владимир Висков.

«Сотрудничество с Mello могу оценить исключительно с положительной точки зрения. Ребята быстро включились в работу – подобрали решение для отчетности, въехали в нестандартные для performance-агентств медийные метрики, проанализировали кучу нашей старой отчетности, документации и рекламные кабинеты, и уже через несколько месяцев сделали готовый продукт для анализа и последующей визуализации.

На выходе, помимо исходных файлов мы получили видеоинструкцию для внесения доработок, а также достаточно большой объем консультаций со стороны специалистов для настройки и последующей работы с файлами.

Отдельно хочется отметить, что создания подобного рода отчетности всегда сопровождается внедрением большого числа костыльных решений, из-за которых в последствие могут появиться разного рода проблемы. Коллеги из Mello предлагали такого рода решения, при которых кастомизация программного кода была минимальной.»