У Google появился новый креативный способ убивать SaaS-стартапы
Иногда генеральный директор размером с муравья знает кого-то в Google, потому что они были приятелями по колледжу, или технический директор пишет пост, который каким-то образом попадает на первую страницу муравейника Hacker News. Тогда Google замечает проблему и иногда считает её достойной решения, обычно из-за страха регулятивных последствий, которые может повлечь за собой муравьиная революция.
По этой причине общепринятая муравьиная мудрость диктует, что нельзя чрезмерно полагаться на сервисы Google. И если вам удастся избежать этой зависимости, всё должно быть в порядке.
Такая плоская синяя поверхность с классной красной крышей! Так удобно!
Что нового под Луной
В сегодняшней серии «Интернет уже не тот, что раньше» поговорим о новом способе, которым Google может непреднамеренно сокрушить ваш стартап. Он не требует от вас использования сервисов Google каким-либо (преднамеренным) способом.
Вы знали, что ваши домены могут попасть в чёрный список Google без каких-либо особых причин и что этот чёрный список использует не только Google Chrome, но и несколько других вендоров программного и аппаратного обеспечения? Вы знали, что эти другие вендоры синхронизируют список с дико изменяющимися таймингами и интерпретациями, так что решение любых проблем становится чрезвычайно напряжённым и непредсказуемым делом? При этом сроки рассмотрения жалоб на чёрный список в Google измеряются неделями?
Теперь так выглядит ваш сайт или SaaS-приложение
Эта «функция» чёрного списка называется Google Safe Browsing, и на изображении выше можете прочитать сообщение, которое видят посетители вашего сайта, если один из доменов попал в базу Safe Browsing. Тексты предупреждений варьируются от «Обманный сайт» до «Сайт содержит вредоносное ПО» (полный список здесь), но все они на одинаково страшном красном фоне, который пытается максимально помешать пользователю перейти на сайт.
В первый раз мы узнали о проблеме из-за всплеска жалоб от клиентов, которые натыкались на это красное предупреждение при попытке использовать наше SaaS-приложение. Во второй раз мы лучше подготовлены, поэтому у нас уже есть свободное время, чтобы написать этот пост.
Наша компания InvGate — это SaaS-платформа для IT-подразделений, работающая на AWS. Она обслуживает более 1000 корпоративных клиентов и миллионы конечных пользователей. Фирмы используют продукт для управления тикетами и запросами от своих пользователей. Можете представить реакцию IT-менеджеров, когда внезапно их система тикетов начинает показывать конечным пользователям такие зловещие предупреждения безопасности.
Когда мы впервые столкнулись с этой проблемой, то отчаянно пытались понять, что происходит, и разобраться, как работает Google Safe Browsing (GSB), в то время как техподдержка пыталась справиться с потоком запросов от клиентов. Мы быстро поняли, что в базу GSB попал URL на Amazon Cloudfront CDN, с которого мы раздавали статические ресурсы (CSS, Javascript и др.), и это привело к сбою всего приложения для клиентов, использующих именно данный CDN. Быстрый обзор помеченной системы показал, что всё выглядит нормально.
В то время как команда девопсов работала в авральном режиме, чтобы настроить новый CDN и подготовиться к перемещению клиентов на новый домен, я обнаружил в документации Google, что через Google Search Console (GSC) можно получить дополнительные объяснения о причинах, почему сайт помечен в базе. Не буду утомлять вас подробностями, но чтобы получить доступ к этой информации, вы должны доказать владение сайтом, для этого настроить кастомную запись DNS или загрузить некоторые файлы в корень домена. Мы сделали это — и через 20 минут получили отчёт о нашем сайте.
Отчёт выглядел примерно так:
Это… не особенно информативно
В отчёте также была кнопка «Запросить проверку» (Request Review), которую я быстро нажал, фактически не предпринимая никаких действий на сайте, поскольку там не было никакой информации о предполагаемой проблеме. Я подал заявку с пометкой, что у меня не указаны вредоносные URL, хотя в документации говорится, что Google всегда предоставляет примеры URL, чтобы помочь веб-мастерам в выявлении проблем.
Отлично! Запрос на проверку недействительного отчёта может привести к тому, что будущие проверки станут ещё медленнее
Примерно через час сайт был удалён из базы GSB, мы даже не закончили выводить клиентов с этого CDN. Примерно через два часа пришёл автоматический email с подтверждением, что проверка прошла успешно. Никаких разъяснений, что вызвало проблему.
Что было дальше
В течение недели после инцидента мы продолжали периодически получать от клиентов сообщения о проблемах с доступом.
Google Safe Browsing предоставляет два различных API для использования в коммерческих и некоммерческих продуктах. В нашем случае проблема воспроизводилась по крайней мере у некоторых пользователей Firefox, а также в некоторых антивирусах и сетевых устройствах безопасности. Они помечали наш сайт и блокировали доступ к нему много дней спустя.
Мы продолжали переводить всех клиентов со старого CDN на новый, и поэтому в конце концов решили проблему навсегда. Мы никогда так толком и не узнали причину и списали всё на какой-то обкуренный ИИ в штаб-квартире Google.
Как помешать Google Safe Browsing пометить ваш сайт
Если вы управляете SaaS-бизнесом и обещаете клиентам гарантированную доступность, то внесение в базу Google Safe Browsing без какой-либо конкретной причины представляет собой очень реальный риск для бизнеса.
К сожалению, учитывая чисто гугловскую непрозрачность механизма пометки и просмотра сайтов, вряд ли этого можно гарантированно избежать. Но вы, безусловно, можете спроектировать своё приложение и процессы таким образом, чтобы свести к минимуму вероятность этого, снизить влияние фактического внесения в чёрный список и свести к минимуму время, необходимое для решения проблемы.
Вот шаги, которые предпринимаем мы сами и которые я могу рекомендовать:
Что делать, если ваше SaaS-приложение или сайт занесены в чёрный список Google Safe Browsing
Вот что я бы порекомендовал:
Вишенка на торте
Спустя несколько месяцев после первого инцидента, мы получили письмо от Search Console с сообщением, что один из наших доменов опять попал в чёрный список. Через несколько часов мне как администратору домена G Suite пришло ещё одно интересное письмо, которое вы можете прочитать ниже.
«sc» в sc-noreply@google.com расшифровывается как Search Console
Позвольте объяснить своими словами, что это такое, потому что это просто умопомрачительно. Речь идёт о письме с предупреждением от Search Console о включении в чёрный список. В этом втором письме говорится, что автоматический фишинговый фильтр электронной почты G Suite считает поддельным это письмо от Google Search Console. Безусловно, это не так, поскольку наш домен действительно был занесён в чёрный список. Таким образом, Google даже не может решить, являются ли фишингом её собственные оповещения о фишинге. (LOL?)
Некоторые неприятные мысли о будущем интернета
Google не узнает, что вы делали прошлым летом (ну почти)
Цена использования бесплатных приложений
Чтобы увеличить свой доход с рекламы Google создает различные привлекательные бесплатные сервисы, а затем тщательно собирает и хранит всю возможную информацию об их пользователях, которую затем использует для таргетирования и персонализированной рекламы.
Google собирает личные данные, когда пользователи дают очевидное согласие (авторизуются в любом из сервисов компании — YouTube, Gmail) и когда пользователи не дают очевидное согласие и чаще всего даже не подозревают, что компания в тот или иной момент собирает личные данные.
Так называемые пассивные методы сбора данных (без явного согласия пользователя) действуют, например, на платформах Android и Chrome, в приложениях Поиск, YouTube, Карты), инструментах издателя Google Analytics, AdSense и инструментах рекламодателя AdMob, AdWords.
Это позволяет Google узнавать информацию о друзьях пользователя, о его хобби, любимой еде, совершенных покупках и даже о самых «интимных и деликатных вещах», которые пользователь может искать в интернете или просто хранить на своем мобильном устройстве.
Платформа Android является для Google ключевым инструментом сбора личных данных пользователей, поскольку она по разным оценкам насчитывает более 2 млрд активных пользователей в месяц. С точки зрения степени вторжения в частную жизнь, смартфон под управлением Google Android, является порталом в ад постоянного наблюдения за каждым шагом человека. Именно благодаря смартфону Google с точностью до минуты знает, где вы были и с кем контактировали, какие места и магазины посещали, а какие обошли стороной.
Причем ОС, созданная в Google, собирает информацию о местоположении даже когда пользователь целенаправленно отключил эту возможность. Кроме истории перемещений и звонков Android помогает Google коллекционировать такую разнообразную личную информацию пользователя, как имя, номер мобильного телефона, дату рождения, почтовый индекс, номера банковских карт, всю активность на мобильном телефоне, в частности, используемые приложения, посещенные веб-сайты.
Прецеденты на государственном уровне
21 января 2019 года Национальная комиссия по делам информационных технологий и правам человека (CNIL) Франции оштрафовала Google на 50 млн евро.
Штраф стал результатом расследования, начатого в мае 2018, когда в CNIL поступили коллективные жалобы от правозащитных ассоциаций None Of Your Business (NOYB) и La Quadrature du Net (LQDN), представляющих интересы более 10 000 человек.
В этих двух жалобах ассоциации обвиняли Google в отсутствии надлежащей правовой базы для обработки персональных данных пользователей, в том числе для персонализации рекламы.
В ходе расследования Нацкомиссия Франции установила два нарушения европейского Регламента о защите данных (GDPR).
Хватит это терпеть!
Безусловно, узнав об этой ситуации впервые или в очередной раз вспомнив о ней при прочтении данной статьи, вы захотите что-то изменить и хотя бы частично оградить себя от постоянного наблюдения цифрового «Большого» Брата. Вот наиболее популярные причины сделать это:
Уходим в отказ
Для разминки откажемся от услуг Google на вашем настольном компьютере. В этом случае рецепт счастья довольно прост.
Локальный аккаунт Windows, установка Vivaldi или Mozilla Firefox браузером по умолчанию с активацией всех функций защиты приватности, установка и настройка браузерных расширений AdBlock и NoScript, установка DuckDuckGo поисковиком по умолчанию, выбор альтернативного почтового сервиса. Важно понимать, что эти меры не сделают вас неуязвимыми для слежки, но довольно радикально уменьшат ее размах…
Теперь возьмемся за ваш смартфон на Android. Первым делом устанавливаем независимый маркетплейс открытого программного обеспечения для Android F-droid, синхронизатор контактов DAVx5, меняем браузер по умолчанию на более приватный Vivaldi или Mozilla Firefox, ставим альтернативный картографический сервис OsmAnd и почтовое приложение K9 и…… можно жить? Не тут-то было…
Андроид не лыком шит, а сервисами Гугла
Оказывается, что даже если вы поменяете все основные приложения андроид-смартфона на альтернативные, и отключите в настройках предустановленные с завода, это почти не уменьшит объем передаваемой информации о вас в Google. А дело все в том, что на подавляющем большинстве смартфонов кроме самого Андроида предустановлены Сервисы Google для мобильных устройств.
Вот что говорит он них сам поисковый гигант: «Сервисы Google для мобильных устройств (GMS) – это набор приложений и API, которые реализуют дополнительные возможности на устройствах Android. Приложения не требуют специальных настроек и взаимодействуют друг с другом, обеспечивая непревзойденное удобство для пользователей.»
Звучит как очень важное и полезное ПО, если бы не два «НО» — полностью отключить или удалить GMS просто так невозможно, и именно через механизмы GMS осуществляется львиная доля слежки за пользователем смартфона.
Что из себя представляют Google сервисы?
Google Mobile Services (GMS) — это проприетарные или частично проприетарные приложения от Google, такие как Google Play Store, Google Chrome, Youtube и другие, которые часто предустановлены на устройствах Android. GMS не является частью свободного Android Open Source Project (AOSP), что означает, что производителю Android необходимо получить лицензию от Google, чтобы законно предустановить GMS на устройстве Android. И ставят их почти все производители.
Одним из основных компонентов GMS являются Google Play Services — это проприетарный фоновый сервис и пакет API для устройств Android от Google. Сервисы Google Play автоматически и незаметно обновляются через Google Play на устройствах с этим приложением, установленным на Android 4.1 или новее. Это означает, что Google может доставлять обновления без необходимости обновлять прошивку Android производителям, что позволяет избежать фрагментации платформы, из-за которой ранее она получила печальную известность. Именно на Google Play Services завязаны ключевые функции взаимодействия с облаком Google и одновременно сбора данных о пользователе.
Почему пользователю смартфона следует отказаться от GMS\Play сервисов?
Избавляемся от Google на смартфоне правильно
Так как же удалить гугл со смартфона и не потерять большую часть функциональности? Еще несколько лет назад это была практически неразрешимая задача и пользователям приходилось просто мириться с серьезными неудобствами и ограничениями. Пока однажды не появился проект microG Services Core, который позволяет заменить собой функции проприетарных Google Play Services.
MicroG — свободная альтернативная реализация (по сути протез) Google Play Services Framework с открытым исходным кодом, предоставляющая все основные функции сервисов Google и сохраняющая конфиденциальность.
Возможности, которые предоставляет MicroG:
Универсальная инструкция, актуальная для смартфонов на базе Android 9\10
Убедитесь, что вы сделали бэкап всех ценных данных, находящихся в смартфоне и что у вас есть возможность прошить оригинальную заводскую прошивку на смартфон в случае форс-мажора.
Обратите также внимание, что для эксперимента подойдет только смартфон, имеющий разблокированный бутлоадер (начальный загрузчик ОС). Способ разблокировки загрузчика сильно зависит от конкретной модели устройства.
Инструкция также предполагает, что текущая прошивка не содержит серьезных модификаций пользователем основных компонентов системы.
Recovery — это образ аварийной среды восстановления, который обычно присутствует на смартфонах, однако заводские рекавери обычно сильно ограничены в функциях, поэтому все ставят себе доработанные «кастомные» образы. Лучше всего подойдет наиболее популярное кастомное рекавери — TRWP. Способы установки зависят от конкретной модели телефона, их можно посмотреть на официальном сайте проекта twrp.me.
Это опенсорсная утилита, которая патчит boot образ системы, позволяет получить root-права (MagiskSU), устанавливать различные системные приложения и моды в режиме systemless, т. е. без модификации основного системного образа Android. Скачиваем zip-архива Magisk с официального сайта в корневую папку смартфона.
Перезагружаемся в рекавери TRWP и выполняем прошивку zip-архива. Загружаем телефон снова, скачиваем и устанавливаем приложение Magisk Manager для управления Magisk и его модулями.
Устанавливаем модуль «Magisk manager for recovery mode (mm)» из репозитория Magisk. Он нужен для отключения Xposed в случае цикличной перезагрузки устройства.
Устанавливаем архивы EdXposed-SandHook-v0.4.6.2.4529.-release.zip и magisk-riru-v21.3.zip как модули Magisk. Перезагрузите смартфон!
Скачайте архив NanoDroid-22.9.20200910.zip с официального сайта и установите этот архив через Magisk Manager или TRWP. Обязательно перед его установкой перезагрузите смартфон и создайте файл конфигурации .nanodroid-setup по инструкции. Незнакомые параметры не меняем. Также в этом файле можно выбрать, какое дополнительное свободное программное обеспечение нужно предустановить.
Можно начинать пользоваться!
Теперь ваш смартфон максимально дегуглизирован, при этом без потери функционала. Гугл не узнает, что вы делали этим летом! Не забудьте, что теперь для поиска и установки приложений вы можете использовать следующие магазины:
Отчеты об источниках трафика
Отслеживайте тенденции привлечения пользователей и находите самые эффективные источники.
Отслеживайте эффективность страницы приложения
Отслеживайте, как изменения на странице приложения влияют на показы, привлечение новых пользователей и коэффициент конверсии.
Настраивайте стратегии привлечения пользователей
Просматривайте эффективность по странам, языкам, страницам приложений, состояниям установки, поисковым запросам и кампаниям UTM.
Выявляйте возможности оптимизации с помощью контрольных показателей
Оценивайте эффективность привлечения пользователей в разных регионах и выявляйте новые возможности, сравнивая показатели конверсии с эталонными в разных странах.
Рекомендации
Настраивайте отчеты об источниках трафика, чтобы на странице анализа конверсии отображались только нужные вам параметры. Делитесь ссылками на отчеты или экспортируйте данные.
Сравнивайте свой коэффициент конверсии с показателями похожих приложений и отслеживайте изменения. Тогда вы поймете, затрагивают ли перемены всю экосистему или только ваше приложение.
Оценивайте, как изменения страницы приложения влияют на коэффициент конверсии.
Проверяйте, по каким поисковым запросам в Google Play пользователи чаще всего переходят на страницу вашего приложения. Так вы узнаете, что им интересно.
Определяйте, из каких стран вы получаете больше трафика. Возможно, для них стоит создать специальные страницы приложения.
Находите страницы с низким уровнем конверсии. Возможно, их перевод нужно улучшить.
Полезные материалы
Использование отчетов об источниках трафика
Перейдите в Справочный центр Play Console, чтобы узнать, что такое отчеты об источниках трафика, и ознакомиться с определениями и распределением показателей.
Расширение аудитории
Используйте отчеты и инструменты оптимизации, а также уникальную статистику по тенденциям рынка, чтобы привлечь больше пользователей. Предоставляйте ранний доступ, чтобы получить обратную связь, и привлекайте внимание пользователей с помощью кампаний предварительной регистрации.
Эксперименты со страницей приложения
Узнайте, как оптимизировать конверсии с помощью экспериментов со страницей приложения.
Сравнение с другими показателями
Перейдите на страницу «Статистика» и узнайте, как тенденции по источникам трафика соотносятся с такими показателями, как доход или сбои.
Google Supercell G.CO Helppay USA сняли деньги с карты Сбербанка: что делать?
16.08.2020 2,157 Просмотры
В сети часто встречаются яростные отзывы пользователей, которые утверждают, что с их банковских карт необоснованно списываются денежные средства с пометкой «GOOGLE*SUPERCELL G.CO HELPPAY USA». Причём люди не подозревают, почему так происходит, ведь они не заходили ни на какие сайты, ничего не подтверждали, не давали свои данные и т.д. Как проверить, кто совершил покупку за ваши деньги, и какая существует вероятность, что можно вернуть списанные со счёта средства за мобильные развлечения?
Что это такое
GOOGLE*SUPERCELL G.CO HELPPAY USA — это обозначение платёжной транзакции, которая была проведена через систему Google Pay, а деньги были перечислены компании-разработчику SuperCell.
Что делать, если деньги списались
Если произошла такая ситуация, для начала проверьте, разовая ли это покупка или полноценная подписка. Для того чтобы исключить вероятность повторного случая, откройте в своём аккаунте страницу подписок и в списке просмотрите, есть ли там та услуга, за которую с вашего счёта снялись деньги. Если она там оказалась, через пункт «настройки» как можно быстрее отмените ту или иную подписку.
Сделать это можно следующим образом:
После этого поступит письмо от техподдержки. В нём будет указано решение о возвращении ваших денег или будет сообщено, что обращение не одобрили. Обычно такое уведомление приходит в течение 15-30 минут, но может занять и больше времени.
Главное, не медлить и сразу обратиться с запросом в поддержку. Чем быстрее вы возьмете ситуацию под контроль, тем больше существует вероятность того, что будет положительный ответ в вашу пользу.
gRPC — фреймворк от Google для удалённого вызова процедур
И конечно же, в полном соответствии со сценарием комикса, на рынок пришел Google и заявил что вот теперь наконец он создал ещё один, последний и самый правильный стандарт RPC. Google можно понять — продолжать в 21-ом веке гонять петабайты данных по старому и неэффективному HTTP+REST, теряя на каждом байте деньги — просто глупо. В то же время взять чужой стандарт и сказать «мы не смогли придумать ничего лучше» — совершенно не в их стиле.
Поэтому, встречайте, gRPC, что расшифровывается как «gRPC Remote Procedure Calls» — новый фреймворк для удалённого вызова процедур от Google. В этой статье мы поговорим о том, почему же он, в отличии от предыдущих «14 стандартов» всё-таки захватит мир (ну или хотя бы его часть), попробуем собрать билд gRPC под Windows + Visual Studio (и даже не говорите мне, что инструкция не нужна — в официальной документации упущено штук 5 важных шагов, без которых ничего не собирается), а также попробуем написать простенький сервис и клиент, обменивающиеся запросами и ответами.
Зачем нужен ещё один стандарт?
Прежде всего давайте оглянемся вокруг. Что мы видим? Мы видим REST + HTTP/1.1. Нет, есть всякое, но именно эта туча закрывает добрых три четверти небосвода клиент-серверных коммуникаций. Присмотревшись ещё чуть пристальнее, мы видим, что REST в 95% случаев вырождается в CRUD.
Сборка gRPC
Забираем код
— это нужно для того, чтобы скачать зависимости (protobuf, openssl и т.д.).
Собираем Protobuf
Собираем gRPC
Наш проект
Это всё нам нужно описать в терминах gRPC. Это будет выглядеть как-то так (описание типов можно посмотреть в документации на protobuf):
Переходим в папку grpc\vsprojects\Debug и запускаем там 2 команды (кстати, обратите внимание, в официальной документации в этом месте ошибка, неверные аргументы):
Это, как не сложно догадаться, заготовки наших будущих клиента и сервиса, которые смогут обмениваться сообщениями по описанному выше протоколу.
Давайте уже создадим проект!
Теперь у нас всё собирается. Правда, ничего пока ещё не работает.
