| Инд. авторы: | Кихтенко В.А., Чубаров Д.Л. |
| Заглавие: | Технологии параллельной обработки данных в задачах анализа больших объёмов спутниковых снимков |
| Библ. ссылка: | Кихтенко В.А., Чубаров Д.Л. Технологии параллельной обработки данных в задачах анализа больших объёмов спутниковых снимков [Электронный ресурс] // Тезисы докладов четырнадцатой открытой всероссийской конференции «Современные проблемы дистанционного зондирования Земли из космоса». - 2016. - Москва. - ISBN: 978-5-00015-007-8. - http://smiswww.iki.rssi.ru/d33_conf/thesisshow.aspx?page=133&thesis=5843 |
| Внешние системы: | РИНЦ: 28175422; |
| Реферат: | rus: В настоящее время сложилась ситуация, когда постоянное возрастание потоков данных дистанционного зондирования (ДДЗ) привело к накоплению сверхбольших объемов информации, а расширение областей их использования и развитие методов и алгоритмов обработки порождает ряд задач в области информационных технологий. Так, при выполнении исследований, требующих агрегации больших объемов ДДЗ, производить обработку данных только на одной рабочей станции уже не представляется возможным. В некоторых случаях одна только загрузка всех необходимых снимков из архива уже требует больших временных затрат. Таким образом, возникает необходимость в использовании распределенных систем анализа данных.
Существует множество таких систем, в качестве примера можно назвать Hadoop, Spark, SciDB, Presto и им подобные. Однако применение этих систем для обработки спутниковых данных связано с рядом трудностей. Во-первых, это необходимость создания модели данных дистанционного зондирования, которая, с одной стороны, обеспечивала бы удобство разработки алгоритмов анализа, а с другой, позволяла бы управляемое автоматическое распараллеливание процесса обработки. Во-вторых, аналитику данных требуется интерактивная среда разработки алгоритмов, обеспечивающая визуализацию результатов расчетов и быстрый отклик на изменения алгоритма обработки или его параметров. При этом важно учитывать пространственную природу данных и предоставить инструменты типичные для ГИС.
По мнению авторов, эффективная реализация такой системы возможна только в результате дополнения существующих архивов спутниковых данных сервисом высокопроизводительной распределенной обработки, способным выполнять пользовательские алгоритмы максимально близко к данным, для чего потребуются значительные аппаратные ресурсы.
В то же время, архивы спутниковых данных зачастую уже поддерживают различные приложения по преобразованию и предоставлению данных, и перед ними стоит задача оптимального использования имеющихся вычислительных мощностей. Эта задача может решаться как применением технологий виртуализации и контейнеризации - каждое приложение “упаковывается” в свой индивидуальный контейнер или виртуальную машину, так и развертыванием этих приложений поверх распределенной высокопроизводительной системы извлечения и обработки данных. В последнем случае эта система становится вычислительным ядром архива.
В докладе описывается опыт создания и эксплуатации системы доступа и аналитической обработки спутниковых снимков hVault, основанной на отображении спутниковых снимков в реляционную модель данных и выполнению запросов к ним на языке SQL, которую мы рассматриваем как прототип высокопроизводительной системы извлечения и обработки данных. Обсуждаются вопросы разделения ресурсов между hVault и другими приложениями и создания приложений на основе hVault. Приводятся оценки производительности и возможности для дальнейшего развития системы.
Работа выполнена при поддержке гранта РФФИ 16-37-00118 мол_а и программы фундаментальных исследований Президиума РАН по стратегическим направлениям развития науки №43П. |
| Ключевые слова: | обработка спутниковых данных; геопространственные данные; дистанционное зондирование Земли; Большие Данные; высокопроизводительная обработка; |
| Издано: | 2016 |
| Ссылка: | http://smiswww.iki.rssi.ru/d33_conf/thesisshow.aspx?page=133&thesis=5843 |
| Конференция: | Название: Четырнадцатая Всероссийская открытая конференция «Современные проблемы дистанционного зондирования Земли из космоса» Город: Москва Страна: Россия Даты проведения: 2016-11-14 - 2016-11-18 Ссылка: http://smiswww.iki.rssi.ru/d33_conf/default.aspx?page=126 |
