Cognitive Agro Pilot
НАШ РОБОТ ПОМОЖЕТ ВАМ В УБОРКЕ УРОЖАЯ
Инвестируйте в решения следующего поколения
*Будет доступно в сезоне 2022, может потребовать установки дополнительного оборудования
Режимы автономного движения комбайна
Режимы уборки беспилотного комбайна
Представьте комбайн, который выйдя в поле не будет слепо ехать по виртуальной линии, а перестроится туда, где культура не убрана, сам меняет маршрут и сообщает остальным машинам новые данные.
Уборку любых конфигураций — в рядках, валках, кромке, любые культуры.
Никаких сложных настроек — AgroPilot сам увидит неубранные участки и выстроит траекторию работы и режим уборки.
На пути возникло препятствие?
Он остановится, совершит объезд или попросит помощи у человека, сохранив целыми агрегаты, здоровье людей, финансы и время.
Пример работы Cognitive Agro Pilot
Разделить задачи вождения и контроля уборочных агрегатов между роботом и механизатором.
Анализ карт урожайности, режимов уборки для составления планов на следующий сезон. Уменьшение инцидентов с техникой и сохранность парка.
Снижение расхода топлива во время уборки до 5%.
Максимальная производительность земельных ресурсов и оптимизация затрат.
*Будет доступно в сезоне 2022, может потребовать установки дополнительного оборудования
В двух словах – параллельное вождение это езда вслепую. Для работы такой системы необходим устойчивый сигнал с навигационных спутников и подписка на получение RTK поправок (примерно 5 тыс. руб. в месяц). Перед стартом систему параллельного вождения нужно «прогреть» минут 10-15, чтобы «поймать» сигнал, в процессе движения навигационный сигнал меняет устойчивость, что отражается на реальной точности движения. Она может достигать 5 см, а может и 50. Такие колебания точности при уборке ведут к тому, что возникают узкие пропуски неубранной культуры и нужно либо оставить этот урожай в поле, либо потратить топливо на то, чтобы убрать узкую полоску пропуска. При этом «глазами» такой системы остается сам механизатор, все препятствия – это его ответственность
Cognitive Agro Pilot «видит» и «понимает» обстановку по ходу движения. Где находится кромка, валок или рядок, какие впереди препятствия. Поэтому управление комбайном выполняется также, как это делает механизатор – учитывая реальное положение объектов по ходу движения. Механизатор может действительно сосредоточится на уборочных агрегатах.
Автомобильный транспорт
Система управления беспилотным автомобилем
Технология позволяет распознавать дорожное полотно независимо от наличия разметки и других инфраструктурных элементов. Эффективно работает в любую погоду, независимо от времени года, снегового покрова, наличия асфальтового покрытия и т.д.
В основе метода «виртуального тоннеля» лежит принцип внутреннего самоподобия дорожной сцены. Разработчики научились выявлять наиболее общие, фундаментальные признаки, присуще дорожному полотну, будь это автомагистраль, проселочная или грунтовая дорога. Это позволяет распознавать дорожное полотно с высокой точностью и обеспечивать устойчивую работу разработанных на основе технологии алгоритмов компьютерного зрения на различных конфигурациях дороги и в различных условиях: поворотах в разные стороны, подъемах, спусках, в ночное время, зимний период, а также в неблагоприятных погодных и климатических условиях.
Созданная технология получила название «виртуальный тоннель», поскольку именно такую форму напоминает удаляющаяся последовательность прямоугольных зон интереса.
Позволяет создавать эффективные ADS-системы 3-5 уровней, обеспечивающих высококачественную детекцию дорожного полотна произвольной формы и геометрии в том числе и в сложных погодных и климатических условиях.
Технология CLLDF позволяет максимально эффективно использовать в модели компьютерного зрения комбинированные данные, поступающие от различных сенсоров (видеокамер, радаров, лидаров и т.д.) на вычислительный блок.
А рхитектура Cognitive Low level Data Fusion предусматривает возможность получения детальных данных о дорожной сцене от разных сенсоров. Например, если сигнал от радара детектирует препятствие на пути автомобиля, а видеокамера из-за ослепления солнцем его четко не распознает, искусственный интеллект оценит эту ситуацию, как проблемную и либо затребует более детальную информацию от видеокамеры, либо примет решение на основе данных с радара.
Cognitive Pilot
Cognitive Pilot (ООО «Когнитив Роботикс») — ведущий мировой разработчик систем искусственного интеллекта для беспилотных транспортных средств. Разрабатывает и предлагает решения в направлениях сельского хозяйства, рельсового и автомобильного транспорта, а также инновационных сенсоров для беспилотных транспортных средств.
Центральный офис Cognitive Pilot расположен в Москве.
Компания реализует проекты в России, европейских странах, США, Азии и Латинской Америке.
Cognitive Pilot представила инновационный радар для массового рынка — Cognitive Mini Radar. Интерес к продукту проявляют компании из Европы и США.
Cognitive Pilot объявила о создании первой в мире открытой базы данных изображений для обучения беспилотной сельхозтехники. Совместно с агрохолдингом «Песчанокопская аграрная группа» будет создан опытный полигон по тестированию и эксплуатации систем управления на основе искусственного интеллекта на различных видах сельхозтехники.
Китайский ж/д оператор FITSCO и Cognitive Pilot подписали контракт на создание системы искусственного интеллекта для программно-аппаратного комплекса «Умный трамвай» для массового использования в городской транспортной сети Шанхая
Один из крупнейших российских агрохолдингов «Русагро» и Cognitive Pilot приступили к массовому оснащению сельхозтехники системой беспилотного вождения. Система управления беспилотной сельхозтехникой на базе ИИ Cognitive Agro Pilot будет установлена на 242 зерноуборочных комбайнах, используемых «Русагро» в Белгородской, Тамбовской, Курской и Орловской областях, а также Приморском крае.
Крупнейший в России партнер международного производителя сельскохозяйственной техники John Deere, холдинг «ЭкоНива» и Cognitive Pilot создают сервисную сеть для «умной сельхозтехники», оснащаемой системой искусственного интеллекта C-Pilot во всех регионах России. В течение ближайших трех лет каждый десятый комбайн в России может стать беспилотным.
Cognitive Pilot, совместно с ведущими игроками на рынке комплексной цифровизации АПК «Диджитал Агро», «Агросигнал» объявили о создании агроэкосистемы для цифровизации хозяйств.
Cognitive Pilot и ведущий поставщик комплексных телематических решений и платформы автотелематики Сбербанк-Телеком подписали соглашение о стратегическом сотрудничестве. В рамках договора стороны планируют создание нового решения для российского и международного рынков — интегрированной платформы для сбора высококачественной смарт-аналитики и мониторинга сельскохозяйственных процессов Cognitive Sber Agro Analyst.
Cognitive и ООО «ПК Транспортные системы» продемонстрировали результаты тестирования первого в России промышленного прототипа беспилотного трамвая. Автопилот Cognitive Pilot имеет уровень 3+ (уровень 3 — водитель может не контролировать машину на дорогах с «предсказуемым» движением (например, автобаны), но быть готовым взять управление).
Компания начала реализацию проекта с ОАО «РЖД» по созданию прототипа локомотива с возможностью автономного управления. Решение получило высокую оценку руководства ОАО «РЖД» во главе с О.Белозеровым в рамках XV Ассамблеи начальников железных дорог. Cognitive Rail Pilot установлен на десять российских ж/д-локомотивов.
Cognitive объявила о завершении контракта с Hyundai Mobis по разработке системы компьютерного зрения для автопилота 4 уровня.
Проведено первое в России внедрение системы управления беспилотным комбайном в агрохозяйства Томской области. Во время автономной уборки зерновых в Курганской области установлен рекорд по уборке урожая.
Cognitive Technologies и Сбербанк объединили усилия для развития беспилотных технологий и создали компанию Cognitive Pilot, призванную стать мировым лидером в области ИИ для беспилотного транспорта. Продукты и решения Cognitive Pilot будут использованы для развития проектов цифровой экономики в сфере транспорта, сельского хозяйства, компьютерного зрения и искусственного интеллекта. Событие освещается ведущими мировыми СМИ.
Влиятельное, профессиональное американское издание AVT Magazine присудила Cognitive награду AVT ACES Award за 2019 год за создание лучшей в мире технологии беспилотного управления сельхозтехникой. Решение компании в области управления беспилотным транспортом также заняло третью позицию в списке мировых лидеров в области систем искусственного интеллекта по данным форума профессионалов отрасли Automotive Tech.AD Berlin.
Эпохальное событие. Мы вышли на мировой рынок ИИ для беспилотного транспорта. Наши технологии управления автопилотом способные работать в любую погоду, производят фурор на одной из крупнейших выставок в мире в области робототехники и электроники CES в Лас-Вегасе.
Открыты офисы компании в Калининграде и Тюмени.
Представлен первый в мире АГРОДРОИД C2-A2 droid1 (Cognitive2-Agro2 Droid1) – промышленный образец универсальной системы управления беспилотным сельскохозяйственным транспортом. Мы разработали технологию моделирования интуиции человека Cognitive artificial intuition.
Компания представила первый в мире промышленный образец 4D-радара для управления беспилотным транспортом. Мы заключили ряд соглашений с ведущими мировыми автопроизводителями и Tier-1.
Cognitive отмечена наградой крупнейшего технологического форума Ближневосточного региона и стран Южной Азии GITEX Technology Week в категории ‘International Recognition’.
Это год технологического прорыва. Нами были созданы решения, определившие мировое лидерство на многие годы вперед.
Нашими специалистами была создана технология комбинирования данных, поступающих от различных сенсоров на «нижнем» уровне Cognitive data fusion. Внедрено IoT — решение — система автоматического контроля уборки зерновых Cognitive Agro Control в одном из крупнейших отечественных агрохозяйств «Союз-Агро». Проведены первые в России испытания ИИ-системы управления беспилотным комбайном, в том числе и в ночных условиях.
Совместно с НИТУ МИСиС мы провели крупнейший в мире хакатон по системам компьютерного зрения VisionHack 2017.
Cognitive получает награду британской аналитической компании Softech INTL, как лучший разработчик искусственного интеллекта для беспилотных транспортных средств в мире. Отраслевой международный портал Guidaautonoma назвал Cognitive компанией дня в марте 2017 года.
Мы создаем и предлагаем заказчикам по всему миру уникальные технологии управления на основе искусственного интеллекта в направлениях сельского хозяйства, рельсового и автомобильного транспорта.
Это решения, которые работают в самых сложных погодных условиях, обеспечивая безопасность. Их применение позволяет нашим клиентам повысить эффективность бизнеса в разы.
Как мы написали крутейший в мире автопилот для маневрового тепловоза
Один из ранних прототипов, использовавшихся для тестов.
Сразу скажу: крутейший он потому, что единственный из доведённых до опытной эксплуатации автопилотов третьего уровня. А единственный доведённый до опытной эксплуатации он потому, что без наработок по автопилотированию трамваев и чего-то ещё в этот рынок соваться просто нет смысла. Тепловозов довольно много, задача интересная и важная для производств, но не окупается как отдельная. Мы знаем про наработки на эту тему у НИИАС и Siemens, но не знаем, чтобы их трамваи где-то ездили в городской среде, а локомотивы перевозили реальные грузы.
Поскольку у нас уже достаточно много различных наработок и решений с беспилотными трамваями в России и Китае, мы решили провести эксперименты с одним крупным предприятием с большим парком маневровых тепловозов, используемых для доставки сырья к цехам.
Там проблема в том, что движение тепловоза регламентируется множеством сигналов, положениями людей и объектов инфраструктуры, а также командами диспетчера. Машинист должен оставаться предельно внимательным всю смену (примерно 12 часов), в том числе и ночью. В результате он рано или поздно либо пропускает что-то и попадает в аварию, либо кого-то сбивает. Это жизнь, травмы на транспорте случаются, но конкретно в этих ситуациях можно позволить себе ставить на тепловозы радары, потому что встаёт не просто один тепловоз, а целое крупное предприятие. Надолго. Предотвращение столкновений и автопилот могут сильно снизить нагрузку на человека в кабине, и тогда производства не будут вставать.
Модуль на картинке — один из ранних прототипов блока камер, с которого мы начинали. С этого момента он претерпел значительные изменения, но всегда интересно посмотреть, с чего всё начиналось. Сейчас расскажу, как вообще роботы способны ориентироваться на станциях, потому что задача вообще-то нетривиальная.
Наш автопилот обеспечивает безопасную работу в сложных погодных и климатических условиях и при любой освещённости.
Вот что ставится на тепловоз:
Текущая редакция в железе блока камер сильно отличается от первых прототипов.
Три камеры нужны потому, что двигаться эта конструкция может довольно быстро, тормозной путь в отличие от трамвая большой (трамваи встают почти на месте в аварийном случае), груз сзади едет крупный. Поэтому надо заранее прогнозировать ситуацию. Очень часто нужно считывать показания светофоров вот в таких сюжетах:
Поэтому имеются три камеры:
Сетап нужен довольно дорогой, около 15 тысяч долларов. Это не поставят на автомобиль, потому что комплекс не должен стоить дороже машины. Но именно на тепловозах разворачивать подобный программно-аппаратный комплекс разумно, и он окупается. И задача другая. Гугл на последней конференции показывал свой полный набор сенсоров, который, по его мнению, должен стоять на каждой беспилотной машине, там цена сильно больше 100 тысяч долларов. И у них, и у нас есть конвергентное дублирование: если одна из подсистем откажет, то можно будет доехать до депо (сервиса) на остальных.
Почему начали в России
Потому что мы в TOP-3 по сельхозтехнике, в TOP-5 по железнодорожной, и у нас одна из самых развитых трамвайных сетей в мире (но дальше первой десятки, сравнить вот хотя бы с Китаем). Мировой рынок тракторов, комбайнов, трамваев и тепловозов — треть от автомобильного. Треть. А у нас идеальная страна для развития всего этого ещё и потому, что в 90-х всё разваливали и не закупали, и много где сейчас техника почти свежая, то есть позапрошлых поколений почти нет.
В мире — 300 тысяч локомотивов. В нашей стране — 50 тысяч локомотивов у РЖД. Из них 15 тысяч — маневровые. Кроме этого, есть ещё 10 тысяч локомотивов частных владельцев. Это чаще всего крупные заводы — металлургические комбинаты. 250 локомотивов — на Новолипецком, например. Они решают конкретную задачу: непрерывность процесса доставки сырья на производства или отгрузки готовой продукции на магистральную железную дорогу. Есть химические, металлургические и горнорудные предприятия с такими задачами.
Производится меньше 1 000 тепловозов в год. Это aftermarket — надо разбираться с текущим парком. Надо его дооснастить.
А это мы умеем очень хорошо.
Количество аварий на закрытых участках больше, чем кажется снаружи. Они почти всегда без жертв, но с ущербом материальным (взрез стрелки, состав сошёл с рельсов), и всегда нарушается ритмичность производства, пока идёт ремонт.
Поставлена задача сделать L3 — беспилотный локомотив.
Решение
Трамвайные наработки позволяют хорошо держать путь:
И хорошо видеть препятствия:
Но просто взять и накатить код на тепловоз не выйдет. Дело в том, что если трамвайный маршрут достаточно простой (двухколейка с минимумом разветвлений), то у тепловоза гораздо выше сложность станций, и в плотном скоплении путей нужно ориентироваться очень хорошо.
Плюс маневровых тепловозов — они не ездят по всей стране, а двигаются по своим закрытым маршрутам. Первое, что мы сделали, — это начали делать в качестве вспомогательного источника данных карты путей на основе планов и спутниковых снимков (надо признать, что со спутниковыми снимками оказалось намного быстрее и надёжнее). То есть обучили нейросеть для выделения путей, но пока корректируем результат руками. Получались вот такие схемы:
На борту есть высокоточная GPS + ГЛОНАСС (тоже дорого, но тут можно), схема визуального ориентирования и радар. Это значит, что можно привязаться по координатам примерно к участку маршрута, а за счёт распознавания окружающих предметов «узнать» точное место.
Удобно, когда есть спутниковая карта.
Поэтому следующее, что мы сделали, — это начали учить тепловозы станциям. Фактически при каждом проходе по маршруту тепловоз запоминает окружающие предметы и распознаёт их, чтобы поделить на постоянные и временные (ориентироваться по канистре или человеку странно, а вот по совокупности столбов, светофорам и стрелкам вполне можно). Потом проецирует на карту. Это один из источников данных, и он даёт возможность очень повысить точность принятия решений автопилотом. Алгоритм запоминания — примерно как в случае с FaceID: новые успешные данные добавляются в обучающую выборку.
Естественно, нам понадобилось размечать датасеты вручную вначале. Не самая приятная и быстрая работа, но очень нужная. Собрать датасеты можно было только на объекте, потому что многое внутри ни на что из коммерческих банков не похоже.
Одна из особенностей станций — яркий свет и плохие условия для распознавания. Вот тут обязательно нужен радар для поиска пешеходов, видеоаналитика сама по себе не вытащит:
А вот так можно вытягивать плохие сцены (произвольные препятствия на путях, оценка расстояния до объектов) за счёт стереозрения, что создаёт ещё больше данных для низкоуровневого определения окружающей картины:
Поскольку радар — нашей собственной разработки, мы имеем возможность получать низкоуровневые данные со всех датчиков и вытаскивать нейросетками прямо на лету из них больше корреляций, чем обычно. В том числе с исходной радарной развёртки. Это тоже оказалось очень важным для проекта.
Конечно, мы используем также прогнозы движения людей (больше деталей есть в прошлом посте про трамвай). Но здесь всё просто, люди почти не ходят и не пытаются прыгать под тепловоз в попытках в него сесть. Вот избегание препятствий:
Вот так детектируется положение стрелок: ждём стрелку в навигации, ищем стрелку, переключаемся на дальнюю камеру для более внимательного разглядывания, выделяем сегмент со стрелкой в кадре, тащим его в нейронку, получаем результат состояния стрелки.
Чем отличаются задачи маневрового тепловоза от обычных?
Маневровые — это вот такие устройства:
Такой тепловоз почти постоянно занят тем, что подъезжает и стыкуется с составом.
Особенности движения в том, что он и тянет, и толкает. Двигается в две стороны, то есть полдня едет против основного вида из кабины.
Очень много ограничений на манёвры, есть свои собственные светофоры, кроме обычных.
Если на обычных перегонах стрелок мало, то у маневрового внутри станции обычно целая сеть переключений. На станциях недостаточно GPS + RTK-поправки, потому что вокруг очень много разного железа. Сглаживание фильтром Калмана не гарантирует сохранения пути. У нас постоянно в полутора метрах — соседний путь, и мы можем спозиционировать себя там, это приводит к ошибкам алгоритма. Использовали фильтр частиц на низкоуровневые данные — он позволил в 10 раз улучшить точность позиционирования. Фильтр частиц — тяжело в вычислениях (это можно обойти), и мы можем не задавать явно модель движения. Зато можно давать ему данные со всех датчиков: это одометрия, столбы на станции, светофоры и стрелки, делаем привязку к виртуальной карте. Работает под мостами. Распределение впереди лежащих столбов, стрелок и светофоров на станции позволяет дать значительно более точную оценку собственного положения, чем GPS. В будущем вообще планируем отказаться от RTK-поправок, GPS будет нужна только для первичной оценки положения. Далее — корреляция столбов на карте и по камере/радару.
Светофоры более сложные, чем на трамвае. Надо различать сигналы светофора. На перегонах есть АЛСН, а для маневровых задач сигнал по рельсу не дублируется внутри станции. Нужен ночной режим, это когда светофоры засвечивают камеру. В дневном же режиме они иногда бледные слишком. Для этого придумали систему фильтров. Распознавать надо за 300 метров, чтобы успеть остановить состав.
С подготовленной и размеченной спутниковой картой получается хорошо, но автопилот может научиться после пяти-шести проездов по новой станции и сам, поэтому, если офис не готовит карту, то нужно будет ездить порожняком на новых станциях. С другой стороны, если карта устарела, то наш робот не растеряется. Важно, что это отнимает много ресурсов, потому что нужно не просто смотреть на объекты, а анализировать тип каждого. Дежурный по перегону может стать постоянным объектом, потому что он всегда на одном месте, но если ему присвоен класс человека, то робот понимает, что смысла заносить его на карту нет.
Машинисту нужен помощник, чтобы обозреть 180 градусов по ходу движения, потому что у тепловоза конструкция, когда впереди стоит двигательный отсек, и он закрывает обзор машинисту на всё слева. И либо машинист должен ездить с помощником (обычно одному не дозволено), либо нужны системы обзора и автопилотирования.
С нашей системой после окончания испытаний и сертификации можно будет обойтись без помощника на участке. Система не уснёт.
Вот одна из лучших иллюстраций, что бывает. БелАЗ столкнулся с тепловозом. Тепловоз проиграл, а у БелАЗа отлетела подвеска и сломалась балка. Теперь вы знаете, кит побеждает или слон.
Довольно сложно было с торможением. В случае трамвая мы гибко управляем процессом и можем делать частичное торможение. В случае поезда — только до полной остановки, иначе может случиться разрыв состава. Трамвай мог снизить скорость и управлять временем до столкновения. Это связано с его тормозной системой и фиксированным весом. Поезд каждый раз — разный, бывает до 100 вагонов, и пневмотормоз несколько секунд снимается. Большая проблема в том, что если мы управляем тормозами состава, то надо управлять давлением по всему составу, что слегка выбивалось за задачи автопилота.
Что именно делает система?
Сейчас инициирует автоторможение по светофору, запрещающему положению пошёрстной стрелки, по подъезду к составу быстрее допуска или при препятствии на путях (включая человека). Высчитываем прогноз столкновения, траектории объектов, скорость поезда. Если человек по своим намерениям пересекает пути в то же время, когда там идёт состав, то сначала — предупреждение, если времени мало — инициируем торможение.
Тестовая база была в Вологде, потому что там очень серьёзно относятся к безопасности. Несколько лет назад машинист локомотива заснул и въехал в состав цистерн через запрещающий сигнал. В итоге машина перевернулась, куча цистерн сошла с рельсов, хорошо, что они были пустые. Фотографии есть, они очень впечатляющие.
Если бы цистерны были не пустые, то фотографий бы не было, просто всё взлетело бы на воздух. Проезд запрещающего светофора уставшим машинистом производится чаще, чем кажется снаружи. Очень вероятный случай — не раздолбайство, а неверное понимание команды диспетчера по рации (можно ехать под синий при разрешении диспетчера так делать). Но если при этом не посмотреть на стрелку, то она будет взломана. Текущему составу ничего не случится, а вот следующий идущий за ним в обратном направлении может сойти с рельсов.
Вот так это выглядит из кабины машиниста:
Как видите, мы верно идём к тому, что старые «ЧМЭЗики» (в ряде регионов их называют ещё «Чмухи») будут очень совершенным беспилотным транспортом. Ну или с ассистирующим ко-пилотом как минимум. Это уже есть и работает.
Послесловие
В декабре 2019 года мы завершили проект с РЖД на создание программно-аппаратного комплекса помощи машинисту, представили прототип маневрового локомотива с возможностью автономного управления. Первые результаты работ показали руководству РЖД в июле прошлого года и получили высокую оценку. Сегодня по договору интеллектуальные комплексы Cognitive Rail Way Pilot установлены на десять маневровых локомотивов марки «ЧМЭЗ».
Руководитель РЖД Олег Белозеров c руководителями дорог и Губернатор Тульской области Алексей Дюмин принимают работу у спецов Cognitive Pilot в рамках XV Ассамблеи начальников железных дорог на станции Щекино Тульской ЖД.
Команда Cognitive Pilot после успешной демонстрации результатов совместного проекта руководству РЖД и Тульской области на станции Щекино Тульской ЖД.
