Правила программы Google DoubleClick Ad Exchange (AdX) для покупателей
Последнее обновление: 11 мая 2018 г.
Использование этого продукта регулируется условиями вашего соглашения с компанией Google относительно сервиса DoubleClick Ad Exchange.
Сервис Google DoubleClick Ad Exchange предназначен для управления различными источниками ресурсов медийной рекламы в Интернете. С его помощью взаимодействуют издатели и сети издателей (далее – «Продавцы»), рекламные сети и другие описанные ниже лица (далее – «Покупатели»), а также отдельные веб-браузеры и приложения пользователей (далее – «Пользователи»).
Покупатели, участвующие в любых транзакциях Ad Exchange, включая, помимо прочего, гарантированные кампании с алгоритмической продажей, приоритетные сделки, частные и открытые аукционы, должны соблюдать правила в отношении продуктов платформы Google и правила Ad Exchange Buyer, а также обеспечить их соблюдение третьими сторонами, которым предоставляется доступ в Ad Exchange через аккаунты Покупателей. Обратите внимание, что необходимо соблюдать все правила в отношении продуктов платформы Google, а не только те, которые разъясняются в этом документе.
Кто может быть покупателем в Ad Exchange
Покупатель должен быть готов к рискам, связанным со сделками, которые он заключает через Ad Exchange. Если иное не одобрено Google, Покупателям запрещено использовать Ad Exchange, (i) чтобы делать покупки только для одного рекламодателя или (ii) если они используют аккаунт AdWords не для рекламы собственных товаров и услуг.
Запрет посредничества
Покупателям разрешено приобретать инвентарь непосредственно для рекламодателей (или их прямых агентов), с которыми у них заключены соглашения. Перепродажа и передача инвентаря в любой форме через косвенные каналы продаж (например, через рекламные сети или рекламных брокеров), а также прочие способы посредничества запрещены. Обратите внимание, что приведенные здесь правила разрешают переадресацию на поставщиков мультимедиа и сторонние серверы объявлений, которые использует рекламодатель или его прямой агент. Это оговаривается в представленном ниже разделе «Сторонние поставщики рекламных технологий».
Покупателям запрещается использовать DoubleClick Ad Exchange для покупки инвентаря, за использование которого они платят напрямую либо через третьих лиц или же получают часть дохода.
Правила в отношении заявок в режиме реального времени
Система назначения ставок в режиме реального времени в Ad Exchange учитывает данные Покупателя и позволяет Продавцам получать заявки на показы практически мгновенно. Google может в любое время по собственному усмотрению изменять объем этой информации, длительность и периодичность ее предоставления, а также доступ к ней. При этом компания не несет ответственности перед Покупателем.
Реализация Покупателем функции назначения ставок в режиме реального времени должна соответствовать протоколу ставок в режиме реального времени.
Google оставляет за собой право проверять, как покупатель использует функцию заявок в режиме реального времени, и расследовать связанные с этим действия, чтобы гарантировать выполнение настоящих правил и условий Ad Exchange для покупателей. Проверки проводятся за счет Google не чаще чем один раз в 12 месяцев, в рабочее время и без необоснованного вмешательства в обычную работу покупателя. Если покупатель отказывается от проверки, он должен прекратить использовать заявки в реальном времени.
Ограничения в отношении данных
Раскрытие сведений о ставках. Продавцы могут предоставлять свои рекламные ресурсы только тем Покупателям, которые согласятся предоставить им статистические данные по ставкам. Покупатели, отказавшиеся предоставлять такую информацию: i) не будут получать отчеты с данными о ставках этих Продавцов, пока не согласятся раскрыть сведения; ii) разрешают Google предоставлять свои идентификационные данные таким Продавцам.
Ограничения на использование данных Покупателями. Покупатели могут использовать данные, полученные из Ad Exchange, только для покупок в этом сервисе или для ограничения частоты показов, а в разрешенных случаях – хранить такие сведения в зашифрованном виде. Покупателям запрещается применять для идентификации пользователей какие-либо средства, кроме анонимных файлов cookie и мобильных рекламных идентификаторов. Использование Покупателями любого рода Личной информации, полученной из Ad Exchange, регулируется положениями представленного ниже раздела «Защита данных».
Ограничения по данным вызовов при назначении ставок в реальном времени. Покупатель может хранить зашифрованный идентификатор файла cookie и мобильный рекламный идентификатор, чтобы оценивать количество показов и ставки на основе имеющихся данных о Пользователях. После ответа на запрос объявления Покупатель может хранить остальные данные вызовов (кроме местоположения) только с целью составления прогнозов по доступности инвентаря Ad Exchange. Покупатель может хранить данные вызовов только в течение времени, необходимого для достижения целей, указанных выше, но не дольше 18 месяцев.
Если Покупатель не выиграл показ, он не имеет права: i) использовать данные вызова такого показа для создания списков или профилей Пользователей; ii) связывать эти данные со сторонними сведениями; iii) сообщать третьим сторонам информацию о тарифах в любом виде, в том числе сводную статистику.
Ограничения по Данным о местоположении. Если Покупатель получает через Ad Exchange информацию, которая идентифицирует или позволяет определить точное географическое местоположение Пользователя, например с помощью GPS, Wi-Fi или сотовой сети («Данные о местоположении»), он может использовать их исключительно для назначения ставок по показам и хранить только в течение необходимого для достижения этой цели времени.
Сторонние поставщики рекламных технологий
Объявления Ad Exchange Покупателя должны совершать вызовы только в адрес одобренных сторонних поставщиков Ad Exchange (далее – «Одобренные поставщики»). Продавцы могут выбирать, каким из Одобренных поставщиков предоставлять доступ к своим конечным пользователям в Европейской экономической зоне (далее – «Пользователи в ЕЭЗ»). Если при назначении ставок в реальном времени в запросе ставки указываются конкретные Одобренные поставщики, то объявления Покупателя не смогут вызывать никаких других поставщиков, чтобы выполнить показ для Пользователя в ЕЭЗ.
Работа с файлами cookie
Согласно положениям раздела «Защита данных», Покупатель может связывать идентификаторы, полученные из сервиса сопоставления файлов cookie (далее – «Данные сопоставления»), с уже имеющимися сведениями. Однако такая связь должна быть незамедлительно отменена, если Пользователь запретит использование мобильных рекламных идентификаторов или файлов cookie.
Ограничения по Данным сопоставления. Покупателю запрещается использовать Данные сопоставления в следующих целях: i) для сбора информации, включая, помимо прочего, расширение списков данных, и для корреляции сброшенных идентификаторов из различных сеансов; ii) для обхода ограничений, связанных со сбросом идентификаторов Пользователями.
Требования к передаче тегов объявлений и переадресации. Покупатель может перенаправлять тег сопоставленного объявления внешним поставщикам, только если сопоставление инициировано им самим. Любую такую переадресацию можно использовать для связи двух анонимных файлов cookie только с целью настройки таргетинга объявлений и получения данных о соответствующем показе. Примите во внимание, что Покупатель должен владеть корневыми доменами всех сайтов, URL которых с его согласия используются в сопоставлениях, инициированных Google.
Согласие пользователей. Покупатели, которые инициируют сопоставления объявлений для конечных пользователей в Европейской экономической зоне, должны получить от них официальное согласие, как это предписано Правилами в отношении согласия пользователей из ЕС.
Реклама на основе интересов
Помимо правил размещения рекламы на основе интересов, описанных в правилах использования платформ Google, продавцы обязаны соблюдать приведенные ниже требования.
Политика конфиденциальности. Покупатель должен опубликовать политику конфиденциальности с информацией о Google, связанных с пользователем файлах cookie рекламных предпочтений DoubleClick или мобильных рекламных идентификаторах («файлы cookie пользователя») и соответствующим описанием использования покупателем ремаркетинга в своей рекламе. Это описание должно быть включено в политику конфиденциальности на всех сайтах, где используется тег ремаркетинга или где информация для ремаркетинга собирается другими способами.
Ссылки на условия. Покупатель обязан включать во все свои объявления, в которых применяется поведенческий таргетинг, например собираются или используются данные для рекламы с поведенческим таргетингом, в том числе используется предоставленный продавцом или полученный из других источников список пользовательских файлов cookie для ремаркетинга (далее – «Список пользователей»), уведомления в соответствии с отраслевыми правилами, принципами программы саморегуляции и другими действующими законами, правилами и нормами. Google оставляет за собой право (а) добавлять такие уведомления в объявления (если этого не сделал покупатель), (б) добавлять в объявления значки с элементами управления, чтобы пользователи могли управлять показом, например использовать функцию «Отключить это объявление». Покупателю не разрешается изменять или скрывать подобные предупреждения и элементы управления.
Создание списка Пользователей. В соответствии с положениями разделов этого документа «Сторонние поставщики рекламных технологий» и «Защита данных» Покупатель может использовать в своих объявлениях пиксельное отслеживание для создания списков ремаркетинга. При этом Покупателю запрещается создавать списки посетителей какого-либо сайта путем пиксельного отслеживания или другим способом без письменного согласия соответствующего Продавца.
Декларации. Покупатель обязан декларировать в вызове объявления или в пользовательском интерфейсе, что объявление: (1) собирает данные сайта, в том числе URL, для целей таргетинга или ремаркетинга; (2) показывается потребителям («конечным пользователям») с учетом данных ремаркетинга или списков пользователей; (3) показывается конечным пользователям с учетом категорий интересов; (4) содержит теги сопоставления cookie для последующего таргетинга на тех же конечных пользователей. Такие декларации позволяют Google фильтровать объявления на основе интересов, которые могут показываться на том или ином сайте, с учетом настроек соответствующего Продавца.
Правила в отношении файлов cookie рекламных предпочтений. Использование покупателем файлов cookie в списке пользователей регулируется правилами Google относительно файлов cookie рекламных предпочтений.
Доступность сведений о списках пользователей. Покупатель предоставляет Google следующие права: (i) информировать любого пользователя о том, что он входит по крайней мере в один список пользователей продавца и (ii) сообщать пользователю домен и отображаемое название покупателя.
Несоответствия. При наличии расхождений между правилами размещения рекламы на основе интересов и правилами показа внешних объявлений приоритет имеют настоящие правила.
Корректировка покупок на основании тегов (бета)
При покупке на основании тегов покупатели предоставляют Ad Exchange соответствующую информацию о кампании (включая максимальную сумму, которая будет тратиться) в письменном виде. Покупатель разрешает Google по своему требованию изменять (i) количество приобретаемых показов (может влиять на общую стоимость рекламы), (ii) периодичность размещения объявлений, (iii) критерии таргетинга для существующих кампаний, (iv) цены, а также (v) приостанавливать/возобновлять или изменять даты начала и завершения существующих кампаний, групп или позиций и (vi) копировать группы объявлений (включая объявления, позиции, таргетинг и аудиторию). Такие изменения называются разрешенными корректировками.
Использование данных
Google использует файлы cookie для показа объявлений на сайтах, участвующих в Ad Exchange, как описано в разделе часто задаваемых вопросов политики конфиденциальности. Google может использовать и раскрывать информацию, полученную в ходе использования Ad Exchange Покупателем, в соответствии с политикой конфиденциальности Google, Условиями использования DoubleClick Ad Exchange для покупателей и действующим законодательством.
Защита данных
Если Покупатель получает от Google, использует или обрабатывает личные данные (в этом документе именуемые «Личной информацией»), которые позволяют прямо или косвенно идентифицировать отдельного человека и поступили из источников в Европейской экономической зоне, то вступают в силу следующие требования:
Покупатель должен регулярно проверять, соответствует ли его деятельность упомянутым требованиям. Если Покупатель не может более обеспечивать их соблюдение или риск нарушений достаточно высок, он должен незамедлительно оповестить об этом компанию Google в письменной форме, а также прекратить обработку Личной информации или безотлагательно принять обоснованные и необходимые меры, позволяющие устранить возникшую проблему и восстановить требуемый уровень защиты.
Правила в отношении гарантированных алгоритмических сделок
Рекламодатели, участвующие в гарантированных алгоритмических сделках, обязуются приобрести у издателя оговоренное количество показов. Рекламодатели, не выполнившие это обязательство, могут утратить доступ к гарантированным алгоритмическим сделкам.
Правила проведения открытых аукционов
Помимо этих правил, Покупатели, участвующие в открытом аукционе, должны соблюдать правила, изложенные ниже.
Анонимность издателя на открытом аукционе. Покупатели должны сохранять анонимность Продавцов, предоставивших свой инвентарь только через анонимный идентификатор, корневой домен или альтернативный URL. В соответствии с представленным выше разделом «Сторонние поставщики рекламных технологий» Покупатели могут передавать такой инвентарь сторонним службам проверки лишь в том случае, если: а) такая служба может распознавать отключение идентификации; б) Покупатель связывает отключение идентификации с этим инвентарем.
Ограничения по контенту на открытых аукционах. Покупателям запрещено показывать через Ad Exchange креативы, которые (или целевые страницы которых) содержат: (i) рекламу или пропаганду хакерских действий, нечестного поведения, опасных товаров и/или услуг либо другой неприемлемый контент, даже если он не запрещен законом; (ii) информацию об алкоголе, азартных играх, товарах/услугах только для взрослых или относящихся к здравоохранению, а также о тех или иных политических взглядах, если на это нет явного разрешения Google; (iii) рекламу систем (включая, помимо прочего, панели инструментов), которые самостоятельно или в сочетании с другими системами показывают рекламу на сайтах поверх их контента без явного разрешения владельца сайта.
URL переходов по клику на открытом аукционе. Покупатели должны правильно указывать URL своих целевых страниц и использовать разрешенные Google макросы отслеживания кликов. Если динамическое объявление Покупателя связано с несколькими целевыми страницами, достаточно указать только корневой URL сайта.
DoubleClick — темная лошадка Google или будущее медийной рекламы?
Сложно разобраться с Double Click самому? Обращайся к нам!
На сегодняшний день рынок медийной рекламы насчитывает большое количество рекламных сетей и платформ, которые конкурируют между собой за рекламодателей.
В Беларуси маркетологи и агентства большее предпочтение отдают КМС Google (контекстно-медийная сеть), РСЯ яндекса (рекламные сети яндекса), RTB Яндекса и платформе Adfox.
Тем временем на западе самой популярной платформой для работы является Double Click, которая на просторах стран СНГ почему-то до сих пор практически не используется.
Пока что считанные компании предлагают свои услуги по настройке рекламы в данной системе. А многие агентства всего лишь употребляют название этой платформы с целью завлечь клиентов, но по факту ведут рекламные кампании с помощью обычных инструментов Google.
Что же мешает использовать DoubleClick?
Основная причина — незнание принципов работы системы и ее функциональных возможностей
Дабы справится со страхом неизвестности функционала и избежать в последующем мошенников, предлагаем ознакомиться с основными продуктами и преимуществами этой платформы.
Так что же все-таки такое DoubleClick?
DoubleClick Digital Marketing — это платформа Google для закупки медийной рекламы, которая позволяет планировать и реализовывать единые маркетинговые кампании с возможностью применения различных каналов.
Данная система состоит из нескольких интегрированных между собой решений, которые способствуют повышению эффективности рекламных компаний и предоставляют дополнительные возможности по их настройке.
Основные продукты DoubleClick
1. DoubleClick Campaign Manager (DCM)
Базой и фундаментом платформы является Campaign Manager (DCM). Данный продукт помогает рекламодателям и агентствам контролировать все рекламные программы и планировать медийные кампании.
Если разбирать по пунктам его возможности, то DCM позволяет:
Главное преимущество этого инструмента в том, что он предоставляет больший спектр необходимой информации для реализации стратегии интернет-рекламы, по сравнению с другими сервисами. DCM отражает информацию не только о целевых действиях, которые совершает потенциальный клиент, перешедший на сайт с рекламного баннера, но также предоставляет данные по всей воронке продаж. Например, пользователь увидел рекламу, но сразу не приобрел товар, однако спустя какое-то время у него сформировалась потребность в продукте и он зашел на сайт за покупкой через поисковик. Еще один плюс данного продукта — возможности для анализа динамического ремаркетинга на различных устройствах и оценки его влияния на доходы компании.
2. DoubleClick Search (DSS)
Благодаря этому решению управлять крупными рекламными кампаниям в разных поисковых сетях стало куда проще и удобнее. DoubleClick Search позволяет автоматизировать создание и массовые обновления объявлений в нескольких поисковых системах (Google AdWords, Microsoft adCenter, Yahoo Search Marketing, Bing, Baidu).
DSS не самостоятельная система, а “дополнительное расширение” для существующих рекламных кабинетов в разных поисковых сетях.
3. DoubleClick Bid Manager (DBM)
Платформа, которая помогает закупать рекламные показы на бирже по RTB (Real-time-Bidding), то есть посредством аукциона и в режиме реального времени.
Основные преимущества Bid Manager:
Последний пункт более широко раскрыт на инфографике Google.
4. DoubleClick Creative Solutions
Инструмент для создания мультимедийных объявлений с возможностью применения различных интерактивных элементов: видео, аудио, игр и других видов контента.
Отличительная черта и важная особенность медиабаннеров заключается в возможности изменения своего размера под разные рекламные площадки и типы устройств, на которых они отображаются, что предоставляет дополнительные метрики для анализа поведения аудитории и более точного взаимодействия с ней.
Ознакомится с примерами реальных объявлений можно на Rich Media Gallery.
5. DoubleClick Ad Exchange (AdX)
AdExchange — это аукцион объявлений, который позволяет покупать и продавать показы рекламы на основе RTB (Real Time Bidding). Данная платформа предоставляет доступ рекламодателям и агентствам к огромному количеству мест для размещения объявлений, включая контекстно-медийную сеть Google.
Основное преимущества для покупателей — повышение ROI (Return on Investment) благодаря следующим инструментам:
Выгоды от использования DoubleClick
1. Персонализированный динамический ремаркетинг
Платформа учитывает огромный спектр поведенческих факторов, за счет чего достигается самая важная цель — точное попадание в целевую аудиторию. Она позволяет создавать индивидуальные рекламные объявления практически под каждого потенциального покупателя с учетом его прошлых действий.
2. Таргетинг формата look alike
Аукцион RTB объединяет множество рекламных сетей, что увеличивает охват аудитории, похожей по социально-демографическим и поведенческим характеристикам на существующих клиентов рекламодателя.
3. Частная закупка рекламных размещений
Возможность прямой покупки определенного рекламного места на конкретный период времени. Эта функция обеспечивает покупателю показы на определенном веб-сайте без необходимости участия в аукционе.
4. Многоканальные последовательности
Предоставляет возможность отслеживания поведения целевой аудитории на различных девайсах. К примеру, большинство конверсий осуществляется через десктоп. Однако не берется в расчет то, что впервые на сайт покупатель пришел, нажав на рекламное объявление в телефоне.
В свою очередь cross-channel атрибуция предоставляет данные о наиболее прибыльных каналах, что позволяет получить высокие конверсии.
5. Высокие стандарты к качеству
Не каждый вебмастер может стать участником системы DoubleClick. Дело в том, что платформа задает серьезные требования к контенту издателей, что обеспечивает максимальную эффективность объявлений для рекламодателей и агентств.
Подведем итоги
Система DoubleClick предоставляет огромные возможности и инструменты для ведения эффективных рекламных кампаний с точными настройками определенной целевой аудитории. Эти возможности позволяют разумно расходовать выделенные бюджеты и получать максимальную отдачу от инвестиций в рекламу.
Сервер Ad Exchange — не как у других
Ad Exchange в рамках Real-Time Bidding (RTB) — одно из AdTech-решений, видоизменяющих рынок онлайн-рекламы. Его основная функция — стыковка большого количества SSP и DSP, которые не имеют прямой интеграции между собой, а также перепродажа разнообразного рекламного трафика между ними.
Благодаря заказу для рынка США мы с головой погрузились в специфику построения платформы Ad Exchange. И в этой статье представляем некоторые идеи и результаты.
Постановка задачи
Real-Time Bidding (RTB) обеспечивает продажу рекламных площадей на сайтах в режиме реального времени для демонстрации релевантных объявлений целевой аудитории.
Если коротко, схема процесса выглядит следующим образом:
Биржи работают по разным принципам: кто-то предлагает большую маржу, кто-то меньшую, кто-то торгует уникальным инвентарем, другие ориентируются на условный ширпотреб. Рынок довольно молод и активно развивается, поэтому проверенных годами бизнес-моделей здесь нет: все построено на смелых гипотезах и экспериментах. Большинство игроков работают по простой схеме: получают запрос от одного из нескольких SSP, с которыми удалось договориться, и отправляют его во все интегрированные DSP в ожидании лучшей ставки. Доход Ad Exchange — разница между ценой покупки и продажи рекламного инвентаря у SSP и DSP за вычетом эксплуатационных расходов.
Эту схему и предложил оптимизировать наш клиент, грамотно распределив запросы SSP к DSP — не отсылать заведомо «проигрышные» запросы, тем самым сократив эксплуатационные расходы. За счет этого можно снизить комиссию работы биржи, не проигрывая в доходах, и сделать свое предложение более привлекательным на фоне конкурирующих Ad Exchange в борьбе за SSP и DSP. А подключение большего числа партнеров даст как доход, так и стабильность положения на рынке.
Для реализации этой стратегии на рынке США перед нами была поставлена задача сделать Ad Exchange с умным распределением запросов, которое должно было обеспечить хороший процент выкупа. В теории для такого распределения можно использовать массу информации, сопутствующей запросу, даже данные из упомянутых выше сторонних систем (DMP). Однако сложная аналитика требует ресурсов, поэтому задача на самом деле заключается в поиске баланса между затратами на умное распределение и выигрышем (на фоне других игроков рынка) от его реализации. На сравнительно новом незрелом рынке строить очень сложные решения, выжимая десятые процента оптимизации, просто не имеет смысла.
Важной особенностью проекта, помимо ожидаемых высоких нагрузок, было выполнение нефункционального требования по скорости прохождения аукциона, выставляемого SSP. Адекватным в этом сегменте рынка является таймаут ожидания ответа со стороны SSP в 300 мс, в который необходимо было уложиться вместе с обращениями к внешним системам (DSP).
Проект стартовал осенью 2016 года. Благодаря опыту команды в данной области уже через три месяца мы сделали первый прототип, а еще через три был готов MVP (Minimum Viable Product), позволивший собрать первую аналитику для запуска умного распределения запросов внутри Ad Exchange.
Запуск MVP показал, что гипотеза о коммерческой успешности проекта верна — Ad Exchange начал зарабатывать клиенту деньги. В первоначальных планах развития Ad Exchange была более глубокая проработка данных — подключение к аналитике информации о конечных пользователях с внешних систем. Но на этапе MVP было принято решение использовать только те данные, которыми обладает SSP. Этого оказалось достаточно для получения ожидаемой прибыли.
Архитектура решения
Решение построено по шаблону цепочки обязанностей (Chain of responsibility), позволяющей не фиксировать маршрут запросов внутри системы, легко добавляя обработчики и различные сервисы, от самого аукциона до инструментов фильтрации.
Заказчик не ограничивал нас в стеке используемых технологий. Поэтому, заботясь о будущем развитии и поддержке проекта, мы построили горизонтально масштабируемое решение с использованием Postgres и Hadoop.
Сам Ad Exchange написан на Java — при этом мы не использовали никаких фреймворков, чтобы не проседать в нагрузке (работали на низком уровне).
Чтобы уложиться в упомянутый таймаут SSP, мы подбирали параметры garbage collector (использовался G1) и прорабатывали синхронную работу с большим количеством запросов — использовали HTTP-клиент, который не блокирует поток, а также расширение протокола HTTP keep-alive, позволяющее отправлять несколько запросов в рамках одного TCP-соединения.
Программные компоненты развернуты на арендованном у хостера железе, т.к. условия задачи не позволяли использовать облако из-за перекрытия ресурсов виртуальных облачных машин (выделение необходимых ресурсов может занять время, а у нас его нет). На данный момент Ad Exchange задействует четыре физических сервера, один из которых избыточный (для проведения бесшовных обновлений и т.п.).
В качестве message-брокера задействован опенсорсный Apache Kafka — он идеально встроился в нашу модель «one subscriber — many publishers», хотя его пришлось немного «докрутить» так, чтобы не приходили повторные сообщения.
Каждый из серверов обеспечивает в штатном режиме обработку порядка 10 тыс. запросов в секунду (эти параметры закладывались при разработке решения). Сейчас средняя нагрузка — 15—20 тыс. запросов в секунду, а в пиках поток запросов достигал 40 тысяч в секунду в течение нескольких часов, и Ad Exchange с этим прекрасно справился.
Распределение запросов между серверами осуществляет программный балансировщик нагрузки nginx, настроенный под нашу задачу. По нашему опыту, на nginx можно держать до 60—70 тыс. запросов в секунду, не выделяя отдельный аппаратный балансировщик. Если же в будущем нагрузка на Ad Exchange будет выше этого порога, мы планируем приобрести аппаратный балансировщик, который распределит запросы между несколькими однотипными nginx.
Контролирует происходящее, при условии постоянного роста нагрузки, система мониторинга, являющаяся частью созданного Ad Exchange.
Хранилище
Учитывая ставку на аналитику в ходе распределения запросов, база данных является неотъемлемой частью нашего Ad Exchange. Система хранит информацию о ставках, участниках аукционов и заключенных сделках.
Нет смысла собирать такой объем данных за весь период работы Ad Exchange, поэтому хранилище имеет многоуровневую архитектуру. Все данные об аукционах хранятся за неделю. На их основе строятся более высокоуровневые промежуточные агрегаты, которые хранятся несколько месяцев. А уже на базе промежуточных собираются конечные агрегаты, используемые в долгосрочной аналитике и для сверок с SSP и DSP. Среди прочей информации в этих агрегатах есть данные о том, сколько было сделано ставок и сколько денег биржа заплатит SSP или ожидает получить от DSP.
Конечные агрегаты хранятся в течение всего срока работы Ad Exchange.
Сбор аналитики и формирование агрегатов обеспечивают отдельные службы.
Чтобы хранилище соответствовало скорости работы самой системы, с ним также пришлось поработать. В частности, какое-то время мы воевали с хостером, т.к. данные о сделках просто не успевали записываться в базу. Выяснилось, что виной тому была аппаратная проблема с RAID-массивом. После его замены мы смогли выжать на Postgres 90 тыс. запросов в секунду (на вставке данных в базу).
Остальная часть Ad Exchange — stateless, что и обеспечивает в перспективе легкое горизонтальное масштабирование. Она не хранит никакие данные по запросам — максимум, полученные сведения о том, какой DSP надо выбрать. Так что мы сможем добавлять новые сервера для обработки запросов по мере необходимости.
Фильтрация трафика
Ключевой элемент системы, позволяющий снизить нагрузку и уложиться в обозначенные заказчиком таймауты, — это фильтрация трафика.
Получая запрос от SSP с определенной информацией (IP, user agent), мы детализируем его при помощи накопленных в системе сведений — известных данных о пользователе, перечня DSP, в которые отправлялись аналогичные запросы, их ответов и т.п. Это необходимо, чтобы выбрать наиболее выгодную комбинацию DSP под каждый запрос. Благодаря подбору такой комбинации система позволяет не посылать запросы в те DSP, которые не делают ставки или делают, но слишком низкие. Для этого отдельный сервис в режиме реального времени составляет карту того, как DSP отвечает на запросы (карты эти хранятся в Redis).
Параллельно мы проверяем состояние DSP — если доля ответов в рамках таймаута падает, система автоматически снижает количество запросов к этому DSP. Как только нагрузка на DSP снижается (а доля корректных ответов за приемлемое время растет), количество запросов постепенно возвращается на прежний уровень.
Среди DSP, ответивших вовремя, мы проводим внутренний аукцион — выделяем лучшее предложение и отсылаем его в SSP. С момента запроса от SSP до нашего ответа проходит не более 300 мс, в соответствии с отраслевым требованием.
Поскольку мы отдаем данные в SSP, где проводится свой аукцион, нам необходимо учитывать выигравшие там ставки. Их логированием занимается сервер аукциона уже на следующем этапе, при обработке пользовательского трафика. Благодаря ему карта ответов DSP обогащается новыми данными (вместе с собранной информацией о конечном пользователе).
Сопоставление данных, полученных на этапе аукциона, и параметров, известных из пользовательского трафика, позволяет отсеивать ботов (кликеров по рекламе, поисковых ботов и т.п.). Такой трафик не выкупается DSP, а при отсутствии собственной системы фильтрации он превращается в потери клиента, которые придется закрывать маржой.
Надо отметить, что фильтрация трафика ботов была запущена не сразу. Но после включения простых блокировок выигрыш по марже составил порядка 50%.
Кстати, помимо автоматических инструментов фильтрации трафика в нашей системе, предусмотрена возможность для заказчика вручную изменить пороговые значения ряда параметров, скорректировав таким образом маржу.
Сам пользовательский трафик для нас критичен, но при его обработке уже не обязательно укладываться в 300 мс. Здесь используется отдельная система обработки, которая может немного придержать пользователя, но не даст потерять этот запрос.
Для обеспечения стабильности решения была внедрена подсистема, которая, понимая текущую загрузку Ad Exchange, «обрезает» запросы на аукционы, которые она физически не может обработать. Так система защищается от неконтролируемого роста нагрузки со стороны SSP.
Перспективы
На сегодняшний день созданный нами Ad Exchange работает и приносит неплохую прибыль. А мы осуществляем поддержку и интеграцию новых партнеров (DSP/SSP) по необходимости. В общей сложности уже интегрировано несколько десятков систем. Каждая такая интеграция подразумевает не только программное подключение, но и всестороннее тестирование сервиса, ведь в условиях больших нагрузок проблемы подключенного сервиса могут отразиться на других партнерах.
В целом рынок движется к тому, что SSP и DSP будут соединяться напрямую, что сделает биржи ненужными. Но интеграция упирается в возможности SSP и DSP. Несмотря на существование открытого описанного API (протокола OpenRTB), он пока не является общепризнанным на рынке. К примеру, такой крупный игрок, как Appnexus, интегрировал поддержку OpenRTB совсем недавно.
По сути Ad Exchange — это провайдер ликвидности. Так что решение в ближайшее время вряд ли потеряет свою актуальность. Тем более что на остальном рекламном рынке биржевая модель только набирает популярность.
