ГИС? или неГИС? Вот в чем вопрос
Поводом к этой публикации является отсутствие конкретного определения такой сущности как ГИС (государственная информационная система) с одной стороны, и разнообразная (порой, недопустимая) трактовка этого понятия с другой стороны. Правильная классификация системы (ГИС или неГИС) имеет непосредственное практическое значение: если система неГИС, то ряд обязательных (порой серьезных) требований переходят в разряд рекомендаций.
Что же такое государственная информационная система? Федеральный закон от 27.07.2006 N 149-ФЗ «Об информации, информационных технологиях и о защите информации» (далее — закона) содержит понятие информационной системы (в целом) и косвенно определяет ГИС.
Итак, информационная система — это совокупность содержащейся в базах данных информации и обеспечивающих ее обработку информационных технологий и технических средств (п.3 ст. 2 названного закона). Определение вполне себе «техническое», не отсылающее к нормам права, и, на мой взгляд, достаточно конкретное, чтобы не вызывать споров по поводу содержания понятия. Кроме того, наличие таких терминов как «база данных», «информационные технологии», «технические средства» позволяет делать вывод с достаточной степенью уверенности, что информационная система хранится (и эксплуатируется) в памяти ЭВМ.
С государственной информационной системой уже посложнее. Согласно пп.1 п.1. ст. 13 государственные информационные системы — федеральные информационные системы и региональные информационные системы, созданные на основании соответственно федеральных законов, законов субъектов Российской Федерации, на основании правовых актов государственных органов. Какие выводы можно сделать из этого понятия?
Далее, ст. 14 закона определяет цели создания ГИС — это реализация полномочий государственных органов и обеспечения обмена информацией между этими органами, а также в иных установленных федеральными законами целях. Сразу же встает вопрос, что является государственным органом? И как в контексте закона понятие «государственный орган» соотносится с понятием «орган государственной власти», поскольку в тексте закона встречаются и то, и то? Для целей этого материала условимся, что понятия идентичные.
Единого перечня целей создания ГИС не существует, но cам закон определяет вполне себе очевидную цель как реализация полномочий и обмен информацией.
«Полномочие» словарь С.И. Ожегова определяет как «официально предоставленное кому-нибудь право какой-нибудь деятельности, ведения дел». Каждый государственный орган имеет собственные полномочия, изучение которых позволяет сделать вывод о том, что полномочия раскрывают функционал органа и в упрощенном смысле отвечают на вопрос зачем создан тот или иной орган. Иными словами, полномочия это не вся деятельность, которую осуществляет орган, а только та, характеризующая конкретно взятый орган. Общеотраслевые виды деятельности, такие как ведение бухгалтерского, кадрового учета, соблюдение норм в области охраны труда, экологических норм и т.д. не входят в понятие полномочий. Допустимо, на мой взгляд, использовать такой подход к решению вопроса: открыть положение о государственном органе, раздел полномочия и определить, какое конкретно полномочие реализует информационная система. Если ответ найден, это весьма убедительный довод в пользу того, чтобы считать информационную систему государственной.
Согласно п.3 ст. 14 источниками информации для ГИС является статистическая и иная документированная информация, предоставляемая гражданами (физическими лицами), организациями, государственными органами, органами местного самоуправления. Судя по источникам очевидно, что информационное содержание ГИС не может состоять из результатов внутренней деятельности одного конкретного государственного органа.
Правительством РФ Постановлением от 06 июля 2015г. №676 утверждены «Требования к порядку создания, развития, ввода в эксплуатацию, эксплуатации и вывода из эксплуатации государственных информационных систем и дальнейшего хранения содержащейся в их базах данных информации». Отмечу, что с точки зрения этого Постановления, требования обязательны для федеральных и региональных органов исполнительной власти, а для органов управления государственными внебюджетными фондами, органов местного самоуправления эти требования не являются требованиями, ибо носят рекомендательный характер.
Пунктом 1(1) указанных Требований перечислены основные требования, которые должны осуществляться при создании, развитии, вводе в эксплуатацию, эксплуатации и выводе из эксплуатации ГИС:
Какие из всего изложенного можно сделать выводы?
ГИС — это такая информационная система, которая обладает рядом характеристик:
Понятие ГИС
Кадастровые инженеры, проектировщики, геологи и другие специалисты часто сталкиваются с необходимостью использования картографических данных в работе. Современные разработки позволяют получать со спутника изображения местности в мельчайших деталях, а специально созданное программное обеспечение – использовать эти сведения для аналитических целей и выводить их в нужном формате.
Поговорим о структурах, позволяющих обобщать и исследовать географический материал для осуществления максимально обоснованных и оптимальных в каждом конкретном случае мер.
Определение ГИC (GIS): как расшифровывается аббревиатура и что это такое
Геоинформационные системы (ГИС) – это прогрессивные компьютерные технологии, которые используются для создания карт и оценки фактически существующих объектов, а также происшествий, происходящих в мире. При этом визуализация и пространственные обзоры сочетаются со стандартными процессами с базами данных: введением сведений и получением статистических результатов.
Именно обозначенные характеристики позволяют широко применять эти программы для решения многих проблем:
Анализ физических явлений и событий на планете.
Осмысление и обозначение их основных причин.
Изучение вопроса перенаселения.
Планирование перспективных решений в градостроительстве.
Оценка результатов текущей предпринимательской деятельности.
Экологические проблемы – загрязнение местностей, уменьшение размеров лесных массивов.
Кроме глобальных целей, с помощью такого обеспечения можно регулировать частные ситуации, например:
Поиск оптимального пути между точками.
Выбор удобного расположения для фирмы.
Нахождение нужного здания по адресу.
Географический анализ не только что появившееся направление. Но рассматриваемые нами технологии наиболее соответствуют требованиям современности. Это максимально эффективный, результативный и удобный процесс, автоматизирующий процедуру сбора соответствующего материала и его обработки.
Сегодня геоинформационные системы – это прибыльная область деятельности, в которой заняты миллионы людей в разных странах. Только в России более 200 различных компаний разрабатывают и внедряют такие технологии во все сферы хозяйствования.
Структура ГИС
Имеет несколько составных элементов.
Аппаратура. Это разнообразные виды компьютерных платформ, от персональных машин до глобальных централизованных серверов.
Программное обеспечение. Здесь присутствуют все нужные инструменты для получения, обработки и визуализации материала. Отдельными составными частями можно обозначить компоненты для:
— введения и манипулирования сведениями;
— управления базой данных (СУБД);
— отображения пространственных запросов;
Информация. Сообщения о географическом местоположении объектов и относящиеся к ним табличные параметры пользователь может собирать самостоятельно или приобретать их у других лиц. Кроме того, ГИС соотносит полученные данные с теми, которые есть в других источниках.
Исполнители. Пользователями сервиса являются как его разработчики, так и разнопрофильные инженеры, которые применяют эти технологии в своей ежедневной трудовой деятельности.
Методы. Исходя из особенностей функционирования каждой конкретной организации, использующей систему, составляется план и правила ее применения. Это определяет результативность работы с ней.
Какие возможны манипуляции в программах
Утилиты выполняют несколько процессов:
Ввод. При этом материал преобразуется в требуемый цифровой формат. Во время оцифровки за основу берутся бумажные карты, которые обрабатываются на сканерных аппаратах. Это актуально на крупных объектах, для маленьких задач можно вводить сведения через дигитайзер.
Манипулирование. Технологии имеют разные способы видоизменения материалов и обозначения определенных частей, необходимых для выполнения непосредственной задачи. Например, они позволяют приводить масштаб с разных элементов к единому значению для дальнейшей общей обработки.
Управление. При значительном объеме информации и большом числе пользователей рационально использовать системы управления базами данных для сбора и структурирования материала. Чаще всего применяют реляционную модель, когда сведения хранятся в таблицах.
Запрос и анализ. Программа позволяет получить ответы на многие примитивные и более детальные вопросы, начиная от личности владельца участка и заканчивая преимущественными видами почв под смешанным объектом. Также есть возможность создавать шаблоны для нахождения по определенному виду запроса. Для анализа используются такие инструменты как оценка близости и исследование наложения.
Визуализация. Это искомый результат большинства пространственных действий. Карты оснащены сопроводительной документацией, объемными изображениями, табличными значениями и графиками, мультимедийными и фотографическими отчетами.
Виды ГИС
Классификация географических информационных систем происходит по принципу охвата территории:
Глобальные (национальные и субконтинентальные) – дают возможность оценить ситуацию в масштабах планеты. Благодаря чему можно спрогнозировать и предотвратить природные и техногенные катаклизмы, оценить размер бедствия, спланировать ликвидацию последствий и организацию гуманитарной помощи. Применяются во всем мире с 1997 года.
Региональные (локальные, субрегиональные, местные) – действуют на муниципальном уровне. Такие технологии отражают многие ключевые сферы: инвестиционные, имущественные, навигационные, обеспечения безопасности населения и другие. Они помогают принимать решения при развитии определенного района, что способствует привлечению к нему капитала и росту его экономики.
Как функционирует система
ГИС хранит фактическую информацию о предметах в виде подборки тематических слоев, объединенных по принципу географического положения. Такой подход обеспечивает решение разноплановых задач по реорганизации местности и проведению мероприятий.
Для нахождения местоположения объекта используются координаты точки, ее адрес, индекс, номер земельного участка и т.п. Эти сведения наносятся на карты после процедуры геокодирования.
Технологии могут работать с растровыми и векторными моделями.
В векторной форме материал кодируется и сохраняется как набор координат. Она больше подходит для стабильных элементов с постоянными свойствами: реками, трубопроводами, полигоны.
Растровая схема включает блоки информации об отдельных составляющих. Она адаптирована для работы с переменными характеристиками, например, типы почв и доступность объектов.
Смежные инновации
ГИС тесно взаимодействует с другими приложениями. Рассмотрим связь и главные отличия со схожими информационными технологиями.
СУБД. Они служат для накопления, хранения и координирования разных материалов, поэтому часто входят в программную поддержку географических систем. В отличие от последних не имеют инструментов для оценки и пространственного изображения данных.
Средства настольного картографирования. В качестве сведений используют карты, но имеют ограниченные возможности для их управления и анализа.
Дистанционное зондирование и GPS. Здесь информация собирается с использованием специальных датчиков: бортовых камер летательных машин, сенсоров глобального позиционирования и прочих. При этом материал собирается в виде картинок с осуществлением их обработки и изучения. Однако из-за отсутствия некоторых инструментов их нельзя считать геоинформационным системами.
САПР. Это программы для составления различных чертежей, планов помещений и архитектурных разработок. Они применяют комплекс элементов с закрепленными параметрами. Многие из них имеют возможность импортировать значения из ГИС.
Среди подобных утилит стоит отметить продукцию компании ZWSOFT:
GEONIUM – аналог GeoniCS. Позволяет автоматизировать проектно-изыскательные работы. При этом создаются чертежи, соответствующие действующим нормативам оформления и стандартам. Содержит шесть модулей, использование которых решает различные инженерные, в том числе и геологические, задачи.
GEODirect – аналог GeoniCS Изыскания. Осуществляет анализ и интерпретацию результатов лабораторных и полевых исследований, выполняет статистическую обработку по заданным параметрам, вычисляет различные нормативные и расчетные показатели,формирует отчетность по стандартам стран СНГ.
ПроГео – утилита для кадастровых инженеров с полным набором инструментов, автоматизирующих подготовку документов. Постоянное обновление позволяет всегда предоставлять актуальную информацию по оформлению бумаг согласно требованиям проверяющих органов.
ZWCAD – система автоматизированного проектирования для архитекторов, инженеров, конструкторов. Имеет новое ядро на базе гибридных технологий, сочетающее понятный интерфейс, поддержку Unicode, возможность создавать трехмерные модели на основе их сечений. Имеет встроенную возможность вставки растровых карт по файлам географической привязки (географической регистрации).
Примеры ГИС для новичков
Программ, созданных для целей такого географического анализа, очень много. Рассмотрим для примера некоторые из них.
Mapinfo
Основными функциональными возможностями является:
применение понятной и удобной обменной схемы для передачи данных другим структурам;
активное окно можно сохранять в разных форматах: bmp, tif, jpg и wmf;
поддержка значительного количества географических проекций и систем координат;
можно вводить материал через дигитайзер.
Используя утилиту можно и делать тематические карты, и строить 3D ландшафты.
DataGraf
Инструмент для пространственной визуализации, моделирования ситуаций, построения синтетических показателей. Оптимален для изучения основ компьютерной картографии в учебных учреждениях.
создавать векторные карты;
привязывать к каждому элементу неограниченное число тематических баз данных;
копировать данные в другой файл через буфер обмена;
вручную изменять характеристики объектов и их местоположения.
QuickMAP
Простое средство для освоения базового уровня. Решает преимущественно иллюстративные задачи. Позволяет создавать оцифрованные карты на основе обычной картинки и в любом графическом формате.
Применение ГИС
Возможности для использования географических технологий очень обширны. Среди областей, где наиболее применимы эти системы, можно выделить:
Землеустройство. Утилиты нужды для составление кадастров, вычисление площадей элементов, разметка границ земельных участков.
Управление размещением объектов. Здесь их применение актуально для построения архитектурного плана, согласование сети промышленных, торговых и других точек специального назначения.
Районное развитие. Инженерные изыскания конкретных мест, решения задач по оптимизации инфраструктуры и привлечению инвесторов в настоящее время невозможны без детального изучения с помощью подобных структур.
Охрана природы. Программы позволяют осуществлять проведение экологического мониторинга, планирование использования ресурсов.
Прогнозирование ЧС. Отслеживание изменений в разных геологических состояниях позволяет предсказать возможность катастроф, разрабатывать меры для их предотвращения и минимизации потерь от них.
Краткие итоги
Мы дали расшифровку понятия ГИС, подробно рассмотрели, что такое геоинформационные системы и где они применяются. В заключении скажем, что это очень перспективное направление, которые активно развивается. Без использования подобных технологий уже невозможно представить работу специалистов многих областей.
ГИС и распределенные вычисления
Всем привет! Я снова буду рассказывать о геоинформационных технологиях. Этой статьей я начинаю серию о технологиях на стыке миров классических ГИС и все еще модного направления BigData. Я расскажу о ключевых особенностях применения распределенных вычислений к работе с геоданными, а также сделаю краткий обзор существующих инструментов.
Сегодня нас окружает огромное количество неструктурированных данных, которые до недавнего времени было немыслимо обработать. Примером таких данных могут служить, например, данные метеодатчиков, используемые для точного прогноза погоды. Более структурированные, но не менее массивные датасеты – это, например, спутниковые снимки (алгоритмам обработки снимков c помощью машинного обучения даже посвящен ряд статей у сообщества OpenDataScience). Набор снимков высокого разрешения, допустим, на всю Россию занимает несколько петабайт данных. Или история правок OpenStreetMap — это терабайт xml. Или данные лазерного сканирования. Наконец, данные с огромного количество датчиков, которыми обвешано множество техники – от дронов до тракторов (да, я про IoT). Более того, в цифровую эпоху мы сами создаем данные, многие из которых содержат в себе информацию о местоположении. Мобильная связь, приложения на смартфонах, кредитные карты – все это создает наш цифровой портрет в пространстве. Множества этих портретов создают поистине монструозные наборы неструктурированных данных.
На рисунке — визуализация треков OpenStreetMap с помощью GeoWave
Где стык ГИС и распределенных вычислений? Что такое «большие геоданные»? Какие инструменты помогут нам?
Здесь к месту упомянуть немного заезженный, но все еще не лишившийся смысла термин BigData, Большие Данные. Расшифровка этого термина зачастую зависит от личного мнения расшифровывающего, от того, какие инструменты и в какой сфере он использует. Часто BigData используется как всеохватывающий термин для описания технологий и алгоритмов для обработки больших массивов неструктурированных данных. Часто основная идея – это скорость обработки данных за счет использования алгоритмов распределенных вычислений.
Помимо скорости обработки и объема данных, существует еще аспект «сложности» данных. Как разделить сложные данные на части, «партиции» для параллельной обработки? Геоданные изначально относились к сложным данным, и с переходом к «большим геоданным» эта сложность возрастает практически экспоненциально. Соответственно, важной становится не просто обработка миллиардов записей, а миллиардов географических объектов, которые являются не просто точками, но линиями и полигонами. К тому же, зачастую требуется вычисление пространственных взаимоотношений.
Пространственное партицирование
На помощь нам приходит пространственная индексация, и зачастую классические методы индексации здесь слабо применимы. Для индексации двумерного и трехмерного пространства существует немало подходов. Например, знакомые многим геодезические сети, деревья квадрантов, R-деревья:
Одним из наиболее интересных методов является многообразие «заполняющих пространство кривых», Z-Curve и Gilbert Curve на рисунке выше. Первооткрывателем этих кривых был Джузеппе Пеано. Основная идея заключается в том, чтобы превратить многомерное пространство в одномерное с помощью кривой, которая фрактально заполняет собой все пространство. Вот, например, так кривая Гильберта заполняет собой плоскость:
А вот так эти кривые выглядят на земной поверхности:
Взяв на вооружение эти индексы, мы можем, наконец, прийти к партицированию геоданных. Нужно ли нам заново изобретать методики? К счастью, нет! На помощь нам приходят уже существующие фреймворки. Их немало, каждый из них имеет свою применимость и свои сильные стороны. Ниже я расскажу о наиболее примечательных.
GeoJinni (в прошлом SpatialHadoop)
GeoJinni (прежде называвшийся SpatialHadoop) – крайне интересное расширение для Hadoop, добавляющее геопространственные функции в различные слои и компоненты Hadoop для хранения, обработки и индексации больших геоданных. Если быть точным, то расширение затрагивает слои MapReduce и хранения, а также добавляет свой собственный операционный слой.
На самом нижнем уровне добавляется новый тип данных, позволяющий хранить и обрабатывать геоданные как ключ-значение. Также добавляются инструменты для загрузки и выгрузки различных форматов геоданных. В противовес классической структуре (точнее, ее отсутствию) хранилища Hadoop, GeoJinni создает два слоя индексного пространства, локальный и глобальный. Глобальный индекс позволяет партицировать данные по нодам кластера, локальный же отвечает за партиции на каждый ноде. Эта концепция позволяет использовать три типа индексов – Grid, R-tree и R+-tree. Все индексы строятся по запросу пользователя и размещаются непосредственно в HDFS.
GeoJinni устанавливается как расширение к уже существующему кластеру Hadoop, что не требует сборки кластера заново. Расширение может быть без проблем установлено в различных дистрибутивах Hadoop, например, Apache Hadoop, Cloudera или Hortonworks.
GeoMesa
GeoMesa – это набор инструментов, созданный специально для распределенных обработки, анализа и визуализации больших пространственно-временных данных, в том числе и потоковых. Например, потоки данных датчиков IoT, данные соцсетей.
Основой для хранения массивных наборов данных являются распределенные колоночные типы хранение, такие как Accumulo, HBase, Google Bigtable. Это позволяет быстро обращаться к этим данным через запросы с использованием расстояний и площадей. Также GeoMesa позволяет обрабатывать данные практически в реальном времени через специальный слой для системы потоковых сообщений Apache Kafka.
Наконец, с помощью подключения к ГИС-серверу GeoServer GeoMesa предоставляет доступ к своим потоковым сервисам через OGC протоколы WFS и WMS, что дает большой простор для пространственно-временных анализа и визуализации, от карт до графиков.
GeoWave
GeoWave в своей концепции задумывался как аналог PostGIS, пространственному расширению PostgreSQL, но для распределенного колоночного хранилища Accumulo. Этим хранилищем он долгое время и ограничивался, при этом оставаясь проектом с закрытым кодом. Лишь недавно код был передан в фонд Apache. И уже подключаются хранилище HBase и картографический движок Mapnik.
Предоставляет для Accumulo мультипространственные индексы, стандартные географические типы и операции, а также возможность обработки облаков точек PDAL. Обработка данных происходит через расширения для MapReduce, а визуализация через плагин к GeoServer.
Очень похож в своей концепции с GeoMesa, использует те же хранилища, но сосредоточен не на пространственно-временных выборках, а на визуализации многомерных массивов данных.
GeoTrellis
GeoTrellis отличается от своих собратьев. Он задумывался не как инструмент для работы с большими массивами геоданных, а как возможность утилизации распределенных вычислений для максимальной скорость обработки даже стандартных объемов геоданных. В первую очередь, речь идет об обработки растров, но за счет эффективной системы партицирований стало возможно выполнять и пространственные операции, и конвертацию данных. Основными инструментами разработки являются Scala и Akka, инструментом распределенной аналитики – Apache Spark.
Глобальная цель проекта – предоставление отзывчивого и богатого инструментария на уровне веб-приложения, что должно изменить пользовательский опыт в использовании систем распределенных вычислений. В конечном итоге, развитие экосистемы открытых геотехнологий, где GeoTrellis дополнит PostGIS, GeoServer и OpenLayers. Основными целями команда разработки ставит следующие:
GIS Tools for Hadoop
Наборы инструментов от Esri хотя формально и являются открытыми, но их применение имеет смысл в первую очередь с продуктами Esri. По концепции очень схожи с GeoJinni.
Инструменты разделены на три уровня
Что дальше?
Геоданные всегда были где-то рядом с большими данными, и приход инструментов распределенных вычислений позволяет делать действительно интересные вещи, позволяя не только географам, но и аналитикам данных (или как их модно называть, Data Science), совершать новые открытия в области анализа данных. Мгновенные моделирование затоплений, создание линий горизонта, пространственная статистика, анализ населения, создание трехмерных моделей из облаков точек, анализ спутниковых снимков.
Следующие статьи я посвящу инструментам и сфере их применения. Ваши комментарии могут помочь нам в проработке тем для следующих статей.
