mailtype почта россии что это
Электронные заказные письма — как и зачем Почта России оцифровала корреспонденцию
Задача заказного письма — передать адресату важные бумаги: договоры, счета, акты или претензии. Заказные письма имеют трек-номер и вручаются лично получателю под подпись или представителю по доверенности. Эти письма часто используются для общения с государственными организациями, судами, Роспатентом.
Мы оцифровали заказные письма: вы можете отправлять и получать их через личный кабинет, без похода в почтовое отделение.
Зачем нужно было оцифровывать заказные письма?
Главная цель перехода на ЭЗП — экономия времени и ресурсов. Замена бумажных заказных писем на электронные помогла снизить нагрузку в почтовых отделениях: не нужно относить письмо на почту, а адресат получает его почти мгновенно.
Оцифровка почты помогает государственным органам и организациям снижать затраты на распечатку и упаковку в конверты бумажных писем. Через сервис ЭЗП приходят штрафы ГИБДД, постановления от Федеральной службы судебных приставов, повестки от мировых судей и других ведомств. Штрафы от ГИБДД сперва попадают в нашу систему, поэтому пользователи zakaznoe.pochta.ru и мобильного приложения Почты узнают о них раньше всех, а значит могут оперативно оплатить штраф со скидкой из электронного письма.
Что это даёт отправителю
До недавнего времени пользоваться этой услугой могли только госорганы и организации. С 2019 года у обычных пользователей Почты тоже появилась возможность отправлять электронные заказные письма в адрес госорганов, других физических лиц и организаций из своего личного кабинета zakaznoe.pochta.ru и мобильного приложения «Почта России».
Для этого не нужно тратить время на распечатку, поход в отделение или поиск ящика, конвертов и марок. Среднее время доставки электронного заказного письма до адресата всего 3 минуты. Письмо будет храниться в личном кабинете, где можно отслеживать маршрут и статус письма в режиме реального времени по трек-номеру.
Работает это так: отправитель — государственный орган, компания или частное лицо — загружает письма в электронном виде в почтовую систему. Если у получателя включена электронная доставка, то он получит письмо онлайн, если нет — оно будет доставлено в бумажном виде. При этом распечатка, подготовка и франкирование писем (нанесение отметок, заменяющих марки) это наша забота, всё это включено в стоимость услуги.
Для отправки электронного заказного письма из личного кабинета zakaznoe.pochta.ru нужно выполнить следующие шаги:
Так выглядит процесс оформления электронного заказного письма
Что это даёт получателю
Благодаря тому, что письма приходят электронно, вы получите письмо даже при смене места жительства и сможете ответить на него из личного кабинета. Чтобы начать получать юридически значимые письма от государственных органов и организаций в электронном виде, нужно дать на это своё согласие. Сделать это можно на одной из этих площадок:
Оповещения о новых заказных письмах можно получать по электронной почте, СМС и через push-уведомления. Для этого укажите номер мобильного телефона и электронную почту в настройках личного кабинета.
Услугу можно отключить в любой момент, и тогда заказные письма снова будут приходить в бумажном виде.
Сколько стоит отправка и получение ЭЗП
Подключение к сервису и получение писем доступно бесплатно, достаточно зарегистрироваться и дать согласие на доставку корреспонденции в электронном виде. Отправка одного электронного заказного письма стоит 60 рублей.
Это точно надежно?
Переживать не стоит — все работает быстро, безопасно, и отправленные таким образом письма являются юридически значимыми. Заказные письма отличаются от обычных тем, что вручение является официальным подтверждением того, что адресат получил информацию.
У бумажных заказных писем для подтверждения факта доставки есть статусы «доставлено для вручения в отделение» и «вручено». В электронной системе им соответствуют статусы «доставлено для вручения электронно» и «вручено». Для электронных писем статус вручения проставляется в момент, когда пользователь входит в личный кабинет. Зашел в личный кабинет — значит получил письмо. Ваш личный кабинет на сайте zakaznoe.pochta.ru или в мобильном приложении становится аналогом почтового ящика.
Теперь о безопасности. Письма, которые мы принимаем от клиентов-отправителей подписываются усиленной квалифицированной подписью — так мы гарантируем что в них ничего не было изменено и что сообщение было создано именно тем, кто его отправляет.
ЭЗП пересылаются по защищенным каналам передачи данных в соответствии с требованием ФЗ «О персональных данных». Почта России несёт ответственность за конфиденциальность переписки согласно статье 63 о тайне связи Федерального закона (126-ФЗ). Клиенты получают уведомление о письме на той площадке и тем способом, который выбрали при подключении.
Как Электронные заказные письма используются в бизнесе
Крупные юридические лица уже подключают свои информационные системы к сервису ЭЗП и отправляют письма в электронном формате, потому что это существенно экономит бюджет на доставку.
Если вам нужно отправить много писем своим клиентам то вы можете просто загрузить файл с письмами в личный кабинет, а Почта позаботится об отправке. Тем, кто получает письма электронно они придут в личный кабинет, а бумажные письма мы распечатаем, упакуем и доставим вживую.
Бизнес может не только отправлять письма электронно, но и получать их. Например, крупные компании, связанные с логистикой и автобизнесом, получают тысячи писем от ГИБДД ежедневно. Представьте всё это в бумажном виде — печать, доставка, каждое письмо нужно открыть и внести данные в свою систему. А благодаря интеграции с ЭЗП такой объем писем принимается и обрабатывается в электронном виде, что гораздо проще и удобнее.
Благодаря тому, что такие письма приходят быстрее, компании успевают оплачивать штрафы со скидкой, вовремя обжаловать постановления о нарушениях, если не считают себя виноватыми, а также хранить копии заказных писем.
Статистика использования
В 2018 году услуга была доступна только в 5 регионах, в 2019 году добавилось еще 46, а на 1 марта 2020 электронные заказные письма доступны уже в 58 регионах.
Только за прошлый год число электронных отправлений выросло на 48% — с 50 до 74 миллионов. Подключение к сервису ЭЗП даёт возможность получать и отправлять юридически значимые письма даже из самых отдаленных точек страны.
Карта охвата сервиса электронных заказных писем
Получение доступа к API Почты России
Здравствуйте, меня зовут Андрей и я по роду деятельности и не только, получаю много посылок с помощью Почты России. Соответственно очень мне нравится отслеживать их перемещение через сеть Интернет с помощью сервиса на сайте Почты России и сторонних сервисов. Те кто когда либо пробивал посылку на сайте Почты России знают насколько это неудобно, а может и не знают, может кому то нравится, мне нет, одну посылку еще можно отслеживать заучив трек номер наизусть, а если несколько то неудобно. У сторонних сервисов все намного лучше, но на бесплатном обслуживании проверка статуса посылки раз в сутки и нет приятных мелочей типа смс уведомления. Если оплатить тариф то становится совсем хорошо, почти все меня устраивало, пока не вспомнил что когда Почта ввела у себя на сервисе отслеживания каптчу, здесь на Хабре проскакивали сообщения о том что у Почты есть api для доступа к сервису трекинга. Статья на Хабре доступна и сейчас, называется «Клиент для SOAP API Почты России на Python». Так вот, я тогда подумал а может попробовать получить доступ и написать свой скрипт, только то что мне нужно и ничего лишнего. На самом сайте Почты России я не нашел никакой информации как к ним подключится, может плохо искал. В статье, о которой писал выше, предлагалось в свободной форме написать на fc@russianpost.ru, что я и сделал. Так просто и написал, что мне нужен доступ к отслеживанию статусов РПО по SOAP протоколу, зачем мне это нужно особо в подробности не вдавался. Каково же было моё удивление когда мне ответили да ещё и так быстро, минут через 15 примерно. Ответ был следующего содержания:
Доступ предоставляется юридическим лицам и ИП. Во вложении заявка на подключение к сервису. Скан-копию оформленной и заверенной заявки направляйте на этот адрес.
Тут следует сказать что я ИП и у меня есть печать. Во вложении действительно был файл в формате doc. Сама заявка очень простенькая нужно указать наименование предприятия, инн, почтовый индекс, ф.и.о., контактный телефон, e-mail. Все это я заполнил, распечатал, подписал, поставил печать, отсканировал и отправил обратно. Все это происходило в пятницу, после отправки, до конца рабочего дня ответа не пришло, и я спокойно отправился на выходные с мыслю что подожду с понедельника дня три и если ответа не будет напишу на этот адрес еще раз. В понедельник пришел ответ следующего содержания:
Во вложении учетные данные для подключения, адрес доступа и механизмы интеграции.
Во вложении было два файла, текстовый, с логином, паролем и url сервиса для отправки запросов. Второй назывался Интеграционные механизмы взаимодействия с сервисом отслеживания РПО, и представлял из себя документ в формате doc на 16 страниц.
Теперь немного о самой реализации доступа. Как уже понятно доступ осуществляется по протоколу SOAP в режиме WSDL, в присланных документах есть вся необходимая информация для формирования запросов. Можно особо не заморачиваться и взять готовый скрипт на python из статьи выше и на его основе что-нибудь сделать, лично я с python не очень дружу. Свой сервис я пишу на php. С soap знаком тоже поверхностно, поэтому сейчас активно его осваиваю. Очень хорошая статья по soap здесь на Хабре, во всяком случае мне помогла понять что к чему. И ещё на github в результатах поиска по ключевому слову russianpost есть готовые классы на php для формирования запросов к soap api Почты России. Вот такая история.
Проектирование и разработка системы обработки данных, получаемых ФГУП «Почта России» от ОАО «Ростелеком»
Описание формата и структуры входных и выходных файлов. Выбор языка программирования и Perl модуля для генерации документов в формате pdf. Валидация почтового адреса. Процесс создания алгоритма обработки данных. Структура штрихкодового идентификатора.
Мировой опыт показывает, что, несмотря на развитие высоких технологий и активное использование электронной почты, большинство людей предпочитает получать официальные документы не только в электронном, но и в бумажном виде. Это относится и к телефонным счетам, квитанциям по оплате коммунальных услуг и многому другому.
Многим компаниям, имеющим большую клиентскую базу, требуются услуги подготовки, печати и отправки почтовых отправлений своим клиентам.
Целью настоящей дипломной работы является проектирование и разработка системы обработки данных, получаемых ФГУП «Почта России» от ОАО «Ростелеком».
Данная система предназначена для:
· Формирования почтовых отправлений по макету заказчика.
· Определения одного из цехов для производства почтовых отправлений.
· Создания сопроводительной документации, содержащей: акт приема-передачи данных, списки по ф. 103, отчет для клиента.
· Автоматизации труда операторов связи в цехах производства.
· Получения уведомлений об ошибках в работе программы, посредством протокла XMPP.
Для достижения поставленной задачи необходимо выполнить следующие задачи:
· Провести обзор и оценить возможности современных систем обработки данных и формирования почтовых отправлений.
· Изучить руководящие технические материалы «Почты России».
· Провести обзор языков программирования высокого уровня для разработки системы формирования почтовых отправлений.
· Произвести выбор общедоступных модулей для работы с файлами формата pdf, Microsoft Excel, для работы скачивания и загрузки файлов на ФТП сервер.
· Спроектировать общую схему работы системы.
· Разработать основные модули для выполнения функционала программы.
· Спроектировать структуру базу данных системы и выбрать систему управления базой данных.
· Изучить вредное влияние ПК на человека и провести анализ механизмов утилизации ПК в России и на Западе.
· Разработать тесты для оценки поведения системы в нестандартных ситуациях и провести автоматическое тестирование программы.
· Протестировать скорость работы системы и оценить узкие места в программе.
Разрабатываемая система позволит самостоятельно формировать почтовые отправления по заданному макету, а также создавать отчетную документацию, электронные списки для ПО «Партионная почта», отчет для клиента о количестве отправленных писем и присвоенных им кодах ШПИ (штриховой почтовый идентификатор).
1. Аналитический обзор аналогичных программных продуктов
Среди компьютерного программного обеспечения есть большое количество программных продуктов, предназначенных для обработки файлов и формирования отправления, на основе макета. В компании имеется два типа печатающих устройств: листовые машины и рулонные. Печать большого количества отправлений обычно осуществляют на рулонной машине, т.к. скорость печати на ней выше, а себестоимость одного отпечатка ниже. В компании установлены рулонные печатающие устройства фирмы IBM. Данные устройства принимают на вход файлы только в формате afp. Это специальный потоковый формат печати, разработанный компанией IBM. Поэтому для обработки почтовых отправлений, необходимо ПО, которое может создавать файлы в формате Advanced Function Presentation (afp).
Рассмотрим некоторые программные продукты, предназначенные для формирования почтовых отправлений.
1. DocBridge Mill от компании Compart [1]. Программное обеспечение состоит из нескольких компонентов:
· DocBridge Mill WorkBench. Графическая среда для создания схем преобразования данных. Используется для отрисовки схем, по которым будет производиться преобразование данных, упаковки этих схем в формат mia для последующего использования в продукте DocBridge Mill Server.
· DocBridge Mill Server. Программное обеспечение, устанавливаемое в системе в качестве демона (программа, работающая в фоновом режиме). В данном продукте возможно реализовать «горячие папки», в одну папку складываются исходные файлы, а в другой папке после обработки появляются готовые файлы. Для настройки горячей папки, в ПО загружается схема преобразования данных, созданная с помощью DocBridge Mill WorkBench, а также указываются пути к папкам для входных и выходных файлов. Доступ к настройкам ПО осуществляется через web интерфейс.
· Cpmcopy. Консольная утилита, предназначенная в основном для конвертации файлов из одного формата в другой.
Продукт заявлен как универсальный обработчик документов. Предназначен он для обработки данных и создания на основе шаблона, готовых отправлений. В качестве входных форматов может принимать как xml, xsl-fo, pdf, data-file, csv, так и множество других форматов, на выходе получаются файлы формата afp, pdf, csv. ПО было куплено в компании и использовалось для формирования отправлений некоторых клиентов. В основном, ПО использовалось для простой конвертации pdf файлов в формат afp. Возможные форматы, а также количество используемых для обработки ядер процессора, лицензируется и покупается отдельно. В компании была приобретена лицензия на 1 ядро, входные форматы: pdf, xsl-fo; выходной формат: afp. Главными недостатками Docbridge Mill являются:
· Невозможность создания отчетной документации, электронных списков для прогрузки в ПО «Партионная почта».
· Невозможность нанесения на отправления специальных меток реза (OMR метки, DataMatrix).
· Необходимость лицензирования каждого используемого ядра процессора.
· Невозможность работы с данными в формате xml.
· Невозможность сортировки почтовых отправлений по индексам во время обработки.
2. Bta Print Machine от компании ITS Neopost [2]. Программное обеспечение от Neopost специально предназначено для обработки почтовых отправлений. ПО легко интегрируется в корпоративную сеть, автоматически принимает исходные данные из различных баз данных. Для написания программ, в Bta Print Machine используется язык, похожий на Visual Basic. В качестве форматов исходных данных можно использовать: xml, текстовые файлы, csv. На выходе получаются форматы: PCL, PDF, PS, TIFF, AFP. Программный продукт может создавать отчетную документацию, имеет возможность рассылки отчетов на E-Mail, факс; может наносить на отправления бар-коды, OMR метки для реза, автоматически распределять задания между печатающими машинами, сортировать и группировать отправления по разным признакам, архивировать обработанные данные. Основным недостатком продукта является его высокая цена, а также необходимость интеграции всех цехов и печатающих устройств в единую сеть и закупку на все станции данного ПО. В данный момент объединение всех печатающих устройств и рабочих станций, используемых для печати отправлений, невозможно по соображениям информационной безопасности.
3. Комплексное решение от компании GMC [3]. Компания GMC занимается разработкой программного обеспечения, предназначенного для обработки персонифицированных данных. GMC предлагет множество программных продуктов, таких как:
· Inspire Designer. Обладает многофункциональным интерфейсом для создания высококачественных, персонализированных документов прямого маркетинга, деловой документации и документов по требованию. Выполняется ввод данных, импортирование проектов, подготовка данных, проектирование и многосложный графический макет страниц.
· Inspire Print Output. Осуществляет всеобъемлющую поддержку потока данных печати документов, включая Advanced Function Presentation™ (AFP™), PostScript, PCL, Metacode, XML и PDF.
· Inspire Automator. Осуществляет выполнение разнообразных операций, таких как отправка документов по email, верификация данных посредством web-сервера, загрузка данных с/на ФТП сервер, в автоматическом режиме.
Для выполнения требуемого функционала по подготовке писем и отчетной документации для нашей компании, потребуется приобрести два программных продукта: Inspire Designer и Inspire Automator. Система имеет возможность расширения, за счет покупки дополнительных модулей. Есть возможность написания дополнительных модулей/функций на языке Java. Главным недостатком данной системы является ее высокая стоимость (ок. 1 млн. евро).
Сравнительная характеристика продуктов представлена в таблице 1.
Возможность получения формата afp на выходе
25 петабайт данных: как устроена BigData в Почте России
Сегодня любая компания старается копить и использовать данные в своих бизнес-процессах, и Почта не исключение.
У Почты нет проблем с количеством данных – у нас работает более 300 IT-систем, есть база в 40 млн пользователей и каждый день происходит 11 миллионов клиентских взаимодействий. В результате мы накопили 25 петабайт различных данных, которые помогают нам проектировать сервисы, улучшать процессы внутри компании, снижать риски и находить новые способы монетизации и экономии.
В этой статье мы расскажем про то, как в Почте России устроена работа с данными, как устроены специфические почтово-логистические процессы и какую роль в них играет Big Data.
Какие данные у нас есть и для чего
Почта — это крупнейшая в России логистическая и ритейл сеть, главная особенность которой с точки зрения данных заключается в том, что каждая единица «товара» (т. е. письмо, посылка) принадлежит конкретному получателю. В обычном магазине, если покупателю нужен товар, ему выдают любую единицу из партии, в Почте же каждое отправление поименовано, поэтому требования к сбору и отслеживанию данных намного строже.
Мы делим информацию на несколько типов:
В Data Cloud используются открытые продукты:
Какие задачи Почты решаются с помощью данных?
Контроль доставки и других KPI
При отправке письма или посылки отправитель выбирает тариф, который зависит от расстояния и срока доставки. Чтобы определить сроки для разных направлений, мы разбиваем маршруты на «плечи» – минимальные отрезки логистического пути. Для каждой пары из «плеча» и тарифа устанавливаем свой контрольный срок.
Далее в дело вступают аналитики, которые с помощью инструментов и данных, собранных в Big Data, оптимизируют полученные маршруты отправлений. В Почте внедрено несколько больших систем управления магистралью (пересылкой отправлений по основным маршрутам передвижения). Из этих систем в режиме онлайн собирается информация о том, где находится конкретная посылка или письмо. Анализируя эти данные, а также уровень загрузки дорог, объема перевозимого трафика и ряд других факторов, маршруты отправлений корректируются так, чтобы получить оптимальное соотношение скорости и стоимости доставки.
С помощью Big Data мы управляем разными KPI. Это контрольные сроки, сохранность отправлений, среднее время очереди в отделении, жалобы и претензии, средний чек и так далее. Все эти показатели влияют на мотивацию и зарплату сотрудников. С помощью данных мы прогнозируем нагрузку на всю систему и на отделения, и, используя эти прогнозы, составляем графики работы сотрудников. В случае со сроками DataCloud отслеживает фактические сроки, сравнивает их с контрольными, находит отклонения и высчитывает процент выполнения KPI.
Process mining
С помощью алгоритмов машинного обучения мы умеем отслеживать отклонения во всех стандартных процессах. Работает это так: у нас есть массив данных по всем бизнес-процессам, мы знаем, как должны проходить типовые процессы и какие отклонения считать плохими. На основе этой информации мы учим алгоритмы определять проблемы по различным паттернам.
Один из примеров использования такого сценария — серая почта. Это когда в массовую отправку мимо кассы вбрасывают письма. Мы умеем отслеживать похожие на серую почту отправления по массе контейнеров и по поведению посылок на маршруте.
Но недополучать прибыль мы можем по разным причинам – это не только серая почта, анализ данных показал что причиной может быть и человеческий фактор, а именно ошибки при вводе данных, и несовершенство взаимодействия многочисленных IT систем. Проанализировав данные о приеме отправлений в отделениях почтовой связи мы смогли обнаружить источник дополнительной выручки в размере 250 млн руб. в год.
Оказалось, что при приеме отправлений они иногда оформлялись некорректно и Почта взимала не полную стоимость доставки (она зависит от маршрута и веса отправления), а существенно меньшую сумму. Собранные в Data Cloud данные позволяют отследить весь путь любого отправления, который проходит из одной информационной системы Почты в другую, сопоставить атрибуты на старте отправления и финише и отладить процесс там, где показатель качества был невелик. Благодаря этим данным, Почта не только исправила ряд ошибок, но и работает над перестройкой текущей архитектуры IT систем. Фактически благодаря данным наработкам, Почта взяла курс на создание цифрового двойника, одновременно решая текущие проблемы.
Через DataCloud мы также получаем ежедневные отчеты о разных проблемах. К примеру, из отчета мы можем увидеть, что в регионе возникли массовые замедления – например, в Сибири выпало много снега, встали все поезда и сотни посылок никуда не едут. Мы видим проблему на любом расстоянии и ищем возможные решения — поменять вид транспорта, перестроить маршруты. Так что если ваша посылка задерживается на каком-то участке маршрута, то мы знаем где, почему, и что нужно исправлять.
Ситуационное реагирование
Есть такие проблемы, на которые нужно реагировать в реальном времени — застрявшая на ленте посылка, попавшая в аварию машина и тому подобные.
Для быстрого реагирования на в Почте существует автоматизированный ситуационный центр.
Здесь на мониторах у сотрудников по результатам анализа данных всплывают тикеты. Одна из типичных задач центра — зацикливание посылки, когда у отправления повреждается штрихкод. Такую проблему до появления автоматизации решали вручную – отправление начинало путешествовать между двумя сортировочными узлами и какой – нибудь сотрудник рано или поздно замечал коробку и вынимал ее из общего потока.
Теперь же мы видим такую ошибку сразу и удаленно отправляем на автоматизированную сортировочную линию команду сбросить посылку в отбраковку, где на нее приклеят новый, исправный штрихкод.
Трекинг
Мы доставляем 2 млрд посылок в год, и все их нужно отслеживать в трекинге, при этом на каждое отправление приходится по 20–30 событий. Поэтому основной массив данных приходится на информацию об отправлениях и их жизненном цикле, проще говоря – трекинг.
У каждого отправления есть жизненный цикл – начиная от операции «прием» в отделении связи и заканчивая операцией «вручение». Наблюдать за жизненным циклом отправлений нужно не только клиентам, но и самой Почте и её партнерам. В этом нам помогает распределённая СУБД Apache Cassandra.
Один из свежих примеров использования подобных данных — интеграция с китайской логистической компанией Cainiao для отслеживания посылок с AliExpress. Интеграция позволила отслеживать заказы в реальном времени, что помогло снизить долю недоставленных товаров с 10% до 3–5%, а срок доставки в крупнейшие города снизился почти в полтора раза. (Важное примечание – говоря о недоставленных товарах, мы имеем в виду не потерянные, а те, которые прибыли позже контрольного срока, который составляет 60 дней. А физически теряем мы крайне мало).
Работает все так: когда клиент оформляет покупку с доставкой через Cainiao, те присылают Почте информацию о заказе: трек-номер, логистический номер и состав вложений. Почта получает эти данные и записывает себе для отслеживания, и когда посылка едет по территории РФ и получает новые статусы, мы оповещаем китайскую службу об этих статусах, обращаясь к их API. Таким образом, Cainiao получает данные о статусах практически сразу.
При создании системы для управления трекингом в 2014 году мы ориентировались на 3 главных критерия. Она должна была:
Cassandra работает быстро благодаря тому, что в ней не требуется полное подтверждение записи. То есть в нее можно постоянно писать данные и сразу же читать их нужными системами. Технология предполагает многократное копирование данных на сервера – это обеспечивает надёжность хранения. Сейчас система работает на 31 сервере c фактором репликации 5. Это значит, что при попытке записи одной строки в основное хранилище, запись должна попасть на несколько разных серверов. Так мы защищаем данные от потерь.
С нагрузкой тоже все хорошо. Самая большая зафиксированная нагрузка на чтение — до 20 000 запросов в секунду без просадки производительности, и это даже не пик. На запись – 10 000 операций в секунду на пике. Cassandra расположена во внутреннем контуре и приспособлена для онлайн-обработки и передачи данных о логистических событиях – как во внешние системы (мобильное приложение, сайт pochta.ru), так и в наши внутренние системы.
Аналитика и управленческие решения
Данные нужны нам не только для решения оперативных задач. Мы используем их еще для того, чтобы анализировать и улучшать работу сервисов, проверять востребованность новых услуг. Решения, принятые не на основе данных, часто субъективны. Поэтому Почта перестраивает подход к исследованиям пользовательского опыта и стремимся принимать решения на основе конкретных чисел. Для этого у нас есть инфраструктура для Data Science – технологическая платформа, включенная в контур Datacloud, которая позволяет разрабатывать и применять модели искусственного интеллекта на основе информации, собранной с множества IT-систем.
Чтобы сделать работу с данными доступной для людей с самыми разными навыками, мы сделали простой и удобный инструмент — песочницу данных. С ее помощью сотрудники строят отчеты, выводят нужные показатели, создают витрины выверки счетов для работы с международными платформами, создают модели.
Раньше для работы с данными требовался IT-бэкграунд, достаточно глубокое знание SQL и подобных программ. Сейчас же достаточно либо самого базового уровня SQL, либо он вообще не нужен – в песочнице можно строить собственные отчеты в кубах (которые выглядят как сводная таблица в Excel), использовать простые фильтры или готовые формы. Сейчас платформу используют более более 200 аналитиков различных бизнес-подразделений. Только за первое полугодие 2020 года число сотрудников, работающих с платформой, увеличилось на 65%.
Песочница данных
«Песочница» представляет собой набор ресурсов, с помощью которых специалисты могут экспериментировать и изменять данные любым способом, проводить глубокий анализ, чтобы ответить на важные бизнес-вопросы.
У Почты России множество бизнес-подразделений – это блок электронной коммерции, международный блок, блок почтового бизнеса, управление сетью отделений и так далее. У каждого из них есть собственные аналитики, и именно для них и предназначена песочница. Фактически мы предоставляем self–service BI, где аналитики могут построить красивую визуализацию, проверить гипотезу, пропилотировать отчетность. Еще песочницу можно использовать как полигон для разработки моделей и их регулярного применения. С ее помощью мы проверяем гипотезы о направлениях развития существующих продуктов, о внедрении новых, о ценообразовании, прогнозируем нагрузки.
Когда в Почте появляется новая услуга, важно быстро понять, насколько она хорошо внедрена и какие показатели демонстрирует. В песочнице можно собрать нужную информацию и дать бизнес-аналитикам оценить качественные или количественные показатели внедрения. Для этого в песочницу добавляют новый источник данных и бизнес-аналитики анализируют новые данные, например, доходы/расходы в разрезе отделений или нагрузку на сотрудников и т.д.
До появления песочницы сотрудники добывали данные разными способами – самостоятельно скачивали их из систем-источников, работали со сводными таблицами, разворачивали свои сервера. Все это приводило к удорожанию владения данными для компании, так как одна и та же информация запрашивалась разными пользователями. Теперь трудозатраты на подготовку, хранение и запросы на систему объединены в один поток, а значит обходятся дешевле и работают быстрее.
Песочница состоит из:
Песочница представляет собой отдельную физическую инфраструктуру, отдельную от промышленной среды. Она состоит из нескольких типов инструментов: хранения данных, анализа и построения моделей искусственного интеллекта. В песочнице накапливаются данные, отделенные от производственной базы. Пользователи могут загружать собственные данные как часть проекта на короткие периоды, даже если те не включены в официальную модель компании.
С точки зрения самих данных, песочница разделена на несколько областей: 
Полная копия всех накопленных в промышленной среде данных — это «зеркало» промышленной среды со всеми ее данными, доступными для анализа без влияния на промышленный контур системы.
Область временного получения данных от источников — это отдельная область, в которой мы можем быстро получать любые данные от любых систем по специальному регламенту. Это нужно, чтобы давать аналитикам возможность как можно быстрее смотреть и пилотировать данные, понимать насколько те пригодны для работы, проверять гипотезы и строить тестовую отчетность и на ее основе принимать решение, нужны ли эти данные в промышленном контуре. Если оказывается что нужны, то запускать промышленное подключение.
Чтобы сделать работу пользователей в песочнице удобнее, здесь же существует две пользовательские области. Это личные (user area) схемы, в которые каждый человек может подгрузить свои данные с помощью доступных интерфейсов, делать выборки из общедоступных данных. И пилотная область — предназначенная для работы групп пользователей над какой-то общей задачей. Суть ее та же самая — подгрузить данные или создать собственные выборки на основе существующих, пилотировать их на каком-то объеме, но обязательно с ограниченным сроком жизни, после которого принимается решение: успешен пилот или нет. И также в случае успеха инициируется промышленный запуск решения.
И еще одна область — для построения моделей искусственного интеллекта. Это датасеты, витрины, выборки для разработки, обучения и регулярного применения моделей.
Качество и доступность данных
C помощью анализа данных мы собираемся сокращать время, которое тратим на решения о судьбе новых продуктов и услуг. Поэтому для нас важны качество, доступность и стабильность данных – ведь машина не человек, она не распознает ошибку в расчетах, если информация была собрана не по правилам.
В эпоху Agile и продуктовых подходов, когда команды часто что-то меняют в продуктах и системах, становится важно сохранять порядок в данных. Чтобы держать изменения под контролем, мы особенно внимательно следим за качеством и стандартами данных как на уровне хранилища, так и на уровне IT-систем.
Еще, чтобы данные были корректными, их нужно подробно описывать и делать прозрачными для всех. Сейчас этот процесс автоматизирован и интегрирован в процесс разработки. Каждая доработка рождает метаданные – данные о данных, в которых описано что это за информация, откуда она поступила и так далее. C помощью метаданных становится легче находить информацию и управлять ею в большом потоке.
А также мы описываем все атрибуты, включая бизнес-алгоритмы и их расчеты. По названию не всегда возможно определить, как использовать атрибут. Конечно, иногда можно догадаться по названию о смысле, но все-таки содержание не всегда очевидно. Поэтому мы закладываем в описание еще и бизнес-смысл, бизнес-алгоритмы, информацию о том, откуда данные поступили. Все это нужно, чтобы пользователь не догадывался, а получал точные и понятные результаты.
Для управления качеством мы собираем рабочие группы, на которых обсуждаем статусы качества объектов, фиксируем методики и критерии, рассматриваем влияние разных событий на качество данных. И если видим проблемы, то можем рекомендовать что-то поменять в бизнес-процессах – обновить инструкцию для работников в отделении, автоматизировать процесс, доработать систему. Так, если мы видим задержку в поступлении отчетов из IT систем регионов – то собираем группу на которой совместно находим проблему (чаще всего техническую) и предлагаем способы ее решения.
Когда данные подробно описаны и есть интерактивный пользовательский интерфейс, с помощью которого пользователи ищут нужные атрибуты и получают информацию о том, что те означают, работа с песочницей становится гораздо эффективнее.
Это лишь часть задач, которая стоит перед нашей командой по управлению данными. Количество данных в Почте растет с каждый днем, и для новых кейсов нам нужны аналитики, умеющие строить хранилища и озера данных, специалисты по качеству данных — для внедрения процессов и методологии, а также сотрудники, которые будут заниматься архитектурой и описанием данных.