Назад

Кихтенко В.А.   Смирнов В.В.   Чубаров Д.Л.   Мамаш Е.А.  

hVault: технология извлечения и статистического анализа для архива спутниковых данных

Докладчик: Кихтенко В.А.

В докладе представлен опыт использования новой технологии интеграции различных типов данных мониторинга в информационной системе, построенной на основе активного архива спутниковых данных ИВТ СО РАН. Данная технология основана на реляционной модели данных и реализует прозрачное отображение файлового архива спутниковых снимков в виртуальные таблицы базы данных. С помощью hVault становится возможным выполнение произвольных запросов к данным на языке SQL, при этом планировщик запросов оптимизирует их выполнение на основе доступных метаданных, а применяемые для выполнения вычислений алгоритмы предусматривают работу со сверхбольшими объемами информации. При разработке данной технологии использовалось исключительно свободное программное обеспечение с открытым исходным кодом, а именно: база данных PostgreSQL с пространственными расширениями PostGIS, библиотеки HDF и GDAL. WMS сервер написан на языке Go, а для разработки исследовательского ПО активно используется интерактивная среда iPython.

Описанная технология применяется в ИВТ СО РАН для информационной и вычислительной поддержки тематических исследований с использованием ДДЗ. Одной из таких задач является вопрос существования устойчивых тепловых аномалий, который широко изучается в процессе мониторинга природной среды и рационального природопользования: при поиске месторождений рудных полезных ископаемых, месторождений углеводородов, для уточнения рельефа земной поверхности, в том числе, океанического дна, при исследовании механизмов различных природных катастрофических явлений (землетрясений, извержений вулканов). В качестве одного из возможных источников данных о температурном режиме на поверхности Земли выступают данные дистанционного зондирования.

Другим примером использования данной технологии являются исследования посвященные статистическому анализу пространственного и временного распределения
пикселей с аномально высокими значениями яркостных температур, которые могут служить индикатором природного пожара. На основе этого анализа могут быть выявлены закономерности, определяющие возникновение и развитие природных пожаров. Изучение этих закономерностей позволит ответить на ряд вопросов, имеющих практическую значимость. Одним из таких вопросов является вопрос о соотношении числа природных пожаров, вызванных деятельностью человека по отношению к числу пожаров, вызванных естественными причинами. Исходя из этого числа оценивается количество катастрофических природных пожаров, которые могут быть предотвращены. Другой вопрос касается точности методик прогноза пожарной опасности, используемых на практике, и возможности улучшения этих методик. Оценки темпов восстановления природных экосистем после природных пожаров.

Разрабатываемая система извлечения данных совместима с многочисленными инструментами, использующими пространственное расширение стандартного языка структурированных запросов SQL. Использование системы позволяет более эффективно использовать накопленные архивы пространственных данных и предоставляет доступный инструментарий  для создание программного обеспечения и компонент обработки пространственных данных.

Работа выполнена при поддержке РФФИ (проект № 12-07-00545-а) и программы фундаментальных исследований Президиума РАН “Фундаментальные проблемы математического моделирования”.

Файл презентации: kikhtenko.pdf


К списку докладов