Apple запустила робота Applebot
В начале года вакансия на сайте Apple породила слухи о планах попробовать силы на рынке поисковых услуг и составить конкуренцию Google, Bing и Yahoo. Компания начала нанимать специалистов по поисковым технологиям, Big Data и машинному обучению. Кроме того, Apple приглашала на работу руководителя подразделения Apple Search, который смог бы возглавить команду разработчиков «поисковой платформы, обслуживающей миллионы пользователей». Сегодня компания Apple официально представила продукт, для которого искала специалистов, но вряд ли вы ждали именно это.
На справочной странице сайта Apple появилась информация о запуске Applebot — так называемого «поискового паука», который используется в некоторых продуктах компании, включая Siri и Spotlight. В первую очередь все это должно интересовать владельцев сайтов. Теперь их будет посещать не только боты от Google, Bing, «Яндекс», и других поисковых систем, но также «робот» Apple. При сканировании Applebot указывает следующие параметры user-agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Applebot/0.1). Если в инструкциях на сервере в файле robots.txt не будут прописаны правила сканирования, робот Apple может использовать инструкции для Googlebot.
Что касается использования Applebot сейчас и его дальнейших перспектив, есть две точки зрения. С одной стороны Siri обычно использует технологии Bing и Wolfram Alpha для веб-поиска, так что самостоятельное индексирование страниц выглядит избыточным. Это может означать, что в Apple действительно могут создавать собственный поисковый механизм, который будет использоваться как минимум бы обеспечения работы фирменных сервисов. В то же время Applebot может быть лишь инструментом поддержки сторонних поисковых систем, для улучшения качества работы Siri и Spotlight.
С одной стороны было бы очень интересно посмотреть, как Apple стала бы конкурировать с Google на рынке поисковых услуг и как быстро смогла бы с нуля занять хоть сколько-нибудь значимую долю. В то же время мы все хорошо помним историю с картографическим сервисом Apple и вряд ли хотели бы увидеть ее повторение после замены поиска Google на нечто иное. Как ни крути, даже при наличии самых талантливых специалистов и при всем внимании к мелочам Apple было бы очень сложно соревноваться с поисковым гигантом, много лет совершенствовавшим свои алгоритмы.
Поисковые боты Apple раскрывали внутренние IP-адреса
Исследователь в области кибербезопасности обнаружил странное поведение поисковых ботов Apple: из-за некорректно сконфигурированного прокси-сервера эти боты раскрывали внутренние IP.
Эксперт обратил внимание на утечку адресов во время сканирования ботами серий его подкаста. Странно, что Apple потребовалось чуть более девяти месяцев на устранение недочёта.
Поисковые боты Apple, получившие название Applebot, сканируют Сеть в поисках контента для пользователей устройств корпорации из Купертино. Согласно информации, размещённой на официальном сайте техногиганта, Siri и Spotlight используют ботов для своей работы.
Однако Дэвид Кумбер, ИБ-специалист и ведущий собственного подкаста, обнаружил, что боты Apple используют прокси-сервер, сливающий внутренние IP-адреса корпорации. Как отметил Кумбер, проблема крылась в заголовках Via и X-Forwarded-For, которые отправлял Applebot.
Исследователь привёл пример такого заголовка:
По словам Кумбера, Apple потребовалось девять месяцев на устранение бага. Он сообщил купертиновцам о проблеме 21 декабря 2019 года, а утечку прикрыли 29 сентября 2020 года. При этом специалист явно недоумевает, почему так долго.
Читайте также
Эксперты Morphisec выявили вредоносную кампанию, ориентированную на участников NFT- и DeFi-сообществ в Discord, а также поклонников блокчейн-игр. Для обхода антивирусов злоумышленники используют необычную программу-криптор, которой было присвоено кодовое имя Babadeda — по найденной в коде строке-заполнителе.
Новоявленный Windows-зловред уже засветился в киберкампаниях, нацеленных на засев инфостилеров, RAT-троянов и шифровальщика LockBit. С конца лета его в основном используют для доставки BitRAT и Remcos.
Согласно блог-записи Morphisec, атаки в каналах Discord начинаются с рассылки тизеров с предложением загрузить полезную прогу — например, для игры Mines of Dalarnia. Кликнув по указанной ссылке, получатель попадает на сайт-редиректор, схожий с ожидаемым оригиналом.
Адрес фальшивки тоже правдоподобен: злоумышленники используют тайпсквоттинг либо попросту регистрируют такое же имя домена, но в другой TLD-зоне. Для пущей убедительности маскировочный сайт использует бесплатный SSL-сертификат Let’s Encrypt.
После автоматического перенаправления браузера на машину жертвы загружается фейковый инсталлятор для Windows, запускающий цепочку заражения.
В ходе исследования было выявлено 82 вредоносных домена, ассоциируемых с Babadeda-кампанией. Все они созданы в период с 24 июля по 17 ноября этого года. Один сайт был оформлен на русском языке.
Обнаружены также различные варианты криптора. Некоторые из них при исполнении выводят интерактивное окно с сообщением об ошибке (отказе приложения) — по всей видимости, это еще один маскировочный трюк.
Applebot – поисковый бот Apple
Компания Apple официально подтвердила существование собственного поискового бота, следы которого наблюдательные веб-мастера начали замечать на своих сайтах ещё осенью 2014 года. IP-адреса, с которых наведывается на сайты этот бот, начинаются с цифры 17, а весь этот диапазон принадлежит исключительно Apple.
И вот на сайте компании появилась официальная справочная информация о поисковом боте под названием Applebot. Он в самом деле действует из диапазона IP-адресов 17.0.0.0 и занимается сбором информации для «продуктов Apple, включая Siri и предложения Spotlight«, говорится на официальном сайте.
Когда следы бота только обнаружились на просторах Интернета, многие заговорили о том, что Apple собирается создать собственный поисковик в пику Google. С одной стороны, официально подтверждённое существование Applebot и расплывчатая формулировка «продукты Apple, включая Siri и предложения Spotlight» говорят в пользу этого предположения. Можно заключить, что помимо перечисленных, результатами работы бота могут пользоваться и другие продукты компании – почему бы и не собственный поисковик?
С другой стороны, некоторые обозреватели справедливо отмечают, что Apple ориентирована прежде всего на продажу устройств, а весь комплекс программных сервисов нужен только для повышения привлекательности «яблочного» оборудования. Да и гендиректор Тим Кук (Tim Cook) в минувшем году неодобрительно высказался о сервисах, собирающих персональные данные пользователей, а без этого создать поисковик, способный конкурировать с Google на равных, вряд ли получится. Так что пока возможность появления собственного поискового сервиса Apple остаётся под вопросом.
Apple делает свой поисковик на замену Google? Кажется, да
Нет смысла спорить с тем, что за последние несколько лет ассортимент фирменной продукции Apple разросся весьма и весьма ощутимо. Причём особенное внимание в Купертино уделяют сервисам, рассматривая именно их как новый виток своего развития, который поможет компании удержаться на плаву, когда пользователи перестанут покупать iPhone так же охотно, как раньше. Несмотря на то что Apple уже запустила даже такие сервисы, как Apple News+, Apple Arcade и Apple Card, у неё есть планы по запуску ещё более неожиданного продукта.
Всё указывает на то, что Apple делает свой поисковик
Applebot – это поисковый робот Apple, который используется такими службами, как «Предложения Siri» и «Предложения Spotlight». Он может использоваться для поиска информации в интернете, но при этом его поисковые функции сильно ограничены по сравнению с Яндексом и Google. Правда, судя по всему, Apple решила расширить их, начав сбор необходимых данных для создания собственного поисковика.
Apple может работать над созданием собственного поисковика, чтобы составить конкуренцию Google. На это указывает сразу несколько факторов. Во-первых, высокая активность робота Applebot, который сканирует различные сайты в интернете, собирая о них максимально подробную информацию. Он изучает методики ранжирования веб-ресурсов, показатели вовлечённости пользователей, релевантность поисковой выдачи, содержимое страниц, общее количество ссылок, которые на них представлены, характеристики самого сайта и даже дизайн.
Что делает Applebot
Сейчас Apple пока собирает информацию о сайтах, которая поможет в разработке поисковика
Во-вторых, Apple сама внесла изменения в документ, описывающий принципы работы Applebot, предложив новые функции, поддержку которых получил робот:
Apple изменила работу Siri в бете iPadOS 14: что изменилось?
Как видите, Apple довольно активно взялась за изучение интернет-пространства, что нужно ей именно для создания поисковика. Наверное, можно было бы предположить, что в Купертино хотят просто повысить релевантность выдачи «Предложений Siri» и «Предложений Spotlight», но это явно был бы перебор. Всё-таки изначально эти инструменты предназначались только для локальной работы, а потому сильно ограничены с точки зрения эффективности поиска. Поэтому продолжать совершенствовать их в поисковом направлении, скорее всего, бессмысленно. Во всяком случае, в том ключе, в котором это делает Apple.
Собственный поисковик Apple
Появление нового поисковика от Apple совершенно точно даст толчок к развитию Google
Поисковик – это очень масштабный продукт, который позволил бы Apple решить сразу несколько проблем. Мало того, что компания получила бы колоссальные объёмы информации о сайтах, могла бы начать продавать рекламу и отслеживать развитие сайтов, так она ещё и смогла бы составить конкуренцию Google, что для неё явно немаловажно. Ведь сейчас именно Google считается одним из основных игроков на рынке поисковых систем, а в Купертино любят бросать вызовы конкурентам, поэтому я бы осмелился в ближайшие год-два ждать релиза Apple Search.
Почему Apple лицемерит, запрещая потоковые игровые сервисы
Нужен ли нам ещё один поисковик? Конечно, нужен. Несмотря на то что кто-то обязательно скажет, что при наличии Google ещё одна поисковая система уже никому не понадобится, это не совсем так. Конкуренция – это очень хорошо для развития рынка. Ведь если Apple будет пытаться сделать что-то своё, она обязательно предложит какие-то уникальные для отрасли решения. И даже если собственный продукт компании не станет лидером, её наработки обязательно начнёт перенимать Google и все остальные. В результате мы, как пользователи, от этого только выиграем.
Apple user agent
Узнайте о Applebot, веб-краулер для Apple.
Applebot-это веб-краулер для Apple. Продукты, такие как Siri и Spotlight предложения использовать Applebot. Он уважает общепринятые правила robots.txt и роботы мета-теги, и это происходит в 17.0.0.0 чистый блок.
Определить Applebot
Строку агента пользователя содержит “Applebot” вместе с дополнительной информацией агента. Вот пример:
Настройка правил для Applebot
Applebot уважает стандартные директивы robots.txt которые направлены на Applebot. В этом примере, Applebot не пытается ползать документов, которые находятся под /частная/ или /не допускается/:
Applebot поддерживает роботы мета-теги в HTML-документы. Чтобы указать правила роботы в мета теги, поставить теги в разделе документа, как это:
Applebot также поддерживает следующие директивы:
Поставить несколько директив в один мета тег, используйте запятую или несколько мета-тегов. Вот некоторые примеры:
Свяжитесь с нами
Если у вас есть вопросы или проблемы, пожалуйста, свяжитесь с нами по applebot@apple.com.
Информация о продуктах, произведенных не компанией Apple, или о независимых веб-сайтах, неподконтрольных и не тестируемых компанией Apple, не носит рекомендательного характера и не рекламируются компанией. Компания Apple не несет никакой ответственности за выбор, функциональность и использование веб-сайтов или продукции. Apple не делает никаких заявлений относительно стороннего точность сайт или надежность. Риски, связанные с использованием Интернета. Обратитесь к поставщику за дополнительной информацией. Другие названия компаний и продуктов могут быть товарными знаками их соответствующих владельцев.
