| Инд. авторы: | Потапов В.П., Попов С.Е., Костылев М.А. |
| Заглавие: | Информационно-вычислительная система массивно-параллельной обработки радарных данных в среде Apache Spark |
| Библ. ссылка: | Потапов В.П., Попов С.Е., Костылев М.А. Информационно-вычислительная система массивно-параллельной обработки радарных данных в среде Apache Spark // Вычислительные технологии. - 2018. - Т.23. - № 4. - С.110-123. - ISSN 1560-7534. - EISSN 2313-691X. |
| Внешние системы: | DOI: 10.25743/ICT.2018.23.16507; РИНЦ: 35562887; |
| Реферат: | rus: Рассмотрена задача создания информационно-вычислительной системы обработки радарных снимков с возможностью визуализации, конфигурирования и запуска алгоритмов основных этапов процессинга интерферометрических данных методом Persistent Scatterer в интеграции с MPP-системой (Massive Parallel Processing) для высокопроизводительного мониторинга смещений земной поверхности участков аэрокосмической съемки. Приведены основные схемы маршрутизации потоков данных исполнения заданий. Представлена программная реализация в виде веб-портала на базе компонентов ReactJS, включая автоматизированную загрузку и обновление базы данных радарных снимков Sentinel-1A посредством технологии RESTful API. eng: The aim of the presented work is the development of an information computational system for processing radar images with the ability to visualize, configure and run algorithms for the main stages of processing interferometric data by the Persistent Scatterer method integrated with the MPP system (massive parallel processing) for high-performance monitoring of the Earth surface displacement of aerospace survey sites. As a result of the analysis of the different approaches used in the processing of radar data and the review of distributed computing technologies, a distributed information system based on the architecture of massively parallel execution of the Apache Hadoop ecosystem processes the streaming post-processing of radar images and the construction of a displacement map was proposed and implemented. A software implementation is presented in the form of a web portal based on ReactJS components, including automated downloading and updating of the Sentinel-1A radar image database using RESTful API technology. The innovation of suggested solution consists of the model of the interaction between developed processing modules based on the isolated execution context with HDFS data storage during the preparing procedure and the complete cycle for the processing of the Earth surface displacement. An integrated approach to the developing scalable front-end and back-end software complex components with the use of ReactJS, Redux and Apache Spark framework was used for the first time. Supporting of WPS specification makes it possible using almost any GIS, which works with this standard. The evaluation of a scientific and technological level of research shows high performance of the developed system while maintaining the results quality. In particular, the adapted and integrated ESA SNAP Toolbox returned identical arrays of processed interferometric data in the per-pixel comparison but the speed of the procedure is several times faster. |
| Ключевые слова: | системы с массивно-параллельным исполнением заданий; радарная интерферометрия; мониторинг смещений земной поверхности; High-performance processing of spatial data; Systems with massively parallel execution of tasks; radar interferometry; Monitoring of earth surface displacements; высокопроизводительная обработка пространственных данных; |
| Издано: | 2018 |
| Физ. характеристика: | с.110-123 |
| Цитирование: | 1. Бондур В.Г., Савин А.И. Концепция создания систем мониторинга окружающей среды в экологических и природно-ресурсных целях // Исследование Земли из космоса. 1992. № 6. С. 70-78. 2. Кантемиров Ю.И. Космический радарный мониторинг смещений и деформаций земной поверхности и сооружений. Опыт компании “СОФЗОНД” // Вестн. СибГАУ. 2013. № 5(51). C. 52-54. 3. Sbas Tutorial. Available at: http://sarmap.ch/tutorials/sbas_tutorial_V_2_0.pdf (accessed 12.02.2016) 4. Sousaa, J.J., Hooperc, J.A., Hanssenc, R.F. et al. Persistent Scatterer InSAR: A comparison of methodologies based on a model of temporal deformation vs. spatial correlation selection criteria // Remote Sensing of Environment. 2011. Vol. 115, No. 10. P. 2652-2663. 5. Деструкция земной коры и процессы самоорганизации в областях сильного техногенного воздействия / В.Н. Опарин, А.Д. Сашурин, А.В. Леонтьев и др. Новосибирск: Изд-во СО РАН, 2012. 632 c. 6. Адушкин В.В., Опарин В.Н. От явления знакопеременной реакции горных пород на динамические воздействия - к волнам маятникового типа в напряженных геосредах. Ч. I // Физ.-техн. пробл. разработки полезных ископаемых. 2012. № 2. C. 3-28. 7. Адушкин В.В., Опарин В.Н. От явления знакопеременной реакции горных пород на динамические воздействия - к волнам маятникового типа в напряженных геосредах. Ч. II // Физ.-техн. пробл. разработки полезных ископаемых. 2013. № 2. C. 3-46. 8. Simmons, A.D., Kerekes, J.P., Raqueno, N.G. Hyperspectral monitoring of chemically sensitive plant sentinels // Proc. SPIE 7457. Imaging Spectrometry XIV, 74570G, San Diego, CA, 2003. P. 45-51. 9. Лупян Е.А., Савин И.Ю., Барталев С.А. и др. Спутниковый сервис мониторинга состояния растительности (“Вега”) // Соврем. пробл. дистанц. зонд. Земли из космоса. 2011. Т. 8, № 1. С. 190-198. 10. Lavrova, O.Yu., Loupian, E.A., Mityagina, M.I. et al. See the sea - multi-user information system ocean processes investigations based on satellite remote sensing data // Bollettino di Geofisica Teorica ed Applicata. 2013. Vol. 54. P. 146-147. 11. Гордеев Е.И., Гирина О.А., Лупян Е.А. и др. Изучение продуктов извержений вулканов Камчатки с помощью гиперспектральных спутниковых данных в информационной системе VolSatView // Соврем. пробл. дистанц. зонд. Земли из космоса. 2015. Т. 12, № 1. С. 113-128. 12. Лупян Е.А., Барталев С.А., Ершов Д.В. и др. Организация работы со спутниковыми данными в информационной системе дистанционного мониторинга лесных пожаров Федерального агентства лесного хозяйства (ИСДМ-Рослесхоз) // Соврем. пробл. дистанц. зонд. Земли из космоса. 2015. Т. 12, № 5. С. 222-250. 13. Takeuchi, S., Yamada, H. Monitoring of forest fire damage by using JERS-1 InSAR // Geosci. and Remote Sensing Symp. (IGARSS ’02). Toronto, Ontario, Canada. 2002. P. 3290-3292. 14. Geohazards Tep - Geobrowser. Available at: https://geohazards-tep.eo.esa.int/ (accessed 31.05.2017) 15. Маклин С., Нафтел Дж., Уильямс К. Microsoft.NET Remoting: Пер. с англ. М.: Торгово-изд. дом “Русская редакция”, 2003. 384 c. 16. Berman, F., Wolski, R. Application-level scheduling on distributed heterogeneous networks // Supercomputing: Proc. of the ACM/IEEE Conf. Pittsburgh, Pennsylvania USA, May 25-28, 1996. IEEE Comput. Soc., 1996. P. 1-28. 17. Maheswaran, M., Ali, S. Dynamic matching and scheduling of a class of independent tasks onto heterogeneous computing systems // J. of Parallel and Distributed Comput. 1999. Vol. 59, No.2. P. 107-131. 18. Laszewski, G., Foster, I. et al. CoG Kits: A bridge between commodity distributed computing and high-performance grids // Proc. of the ACM Java Grande 2000 Conf., San Francisco, CA, USA, June 3-5, 2000. ACM Press, P. 97-106. 19. Yang, T., Gerasoulis, A. DSC: Scheduling parallel tasks on an unbounded number of processors // IEEE Transact. on Parallel and Distributed Syst. 1994. Vol. 5, No. 9. P. 951-967. 20. Qusay, H.M. Distributed Java programming with RMI and CORBA // Oracle Techn. Network. http://www.oracle.com/technetwork/articles/javase/rmi-corba-136641.html (accessed 12.09.2017) 21. Reyes-Ortiz, J.L., Oneto, L., Anguita, D. Big data analytics in the cloud: Spark on Hadoop vs MPI/OpenMPI // INNS Conf. on Big Data 2015: Conf. Proc. San Francisco, USA, 8-10 August, 2015. ACM Press. P. 121-130. 22. Mavridis, I., Karatza, H. Performance evaluation of cloud-based log file analysis with Apache Hadoop and Apache Spark // J. of Syst. and Software. 2017. Vol. 125. P. 133-151. 23. Polato, I., Reginald, R., Goldman, A., Kon, F. A comprehensive view of Hadoop research - a systematic literature review // J. of Network and Comput. Appl. 2014. Vol. 46. P. 1-25. 24. Chen, Xu. Big data analytic frameworks for GIS (Amazon EC2, Hadoop, Spark) // Comprehensive Geographic Inform. Syst. 2017. Vol. 1. P. 148-152. 25. Verbesselt, J. Big Data: Techniques and Technologies in Geoinformatics // Intern. J. of Appl. Earth Observation and Geoinform. 2015. Vol. 35. Pt B. P. 368-369. 26. Yang Chaowei, Yu Manzhu, Hu Fei, Jiang Yongyao, Li Yun. Utilizing cloud computing to address big geospatial data challenges // Computers, Environment and Urban Syst. 2017. Vol. 61. Pt B. P. 120-128. 27. Hadoop, Storm, Samza, Spark, and Flink: Big data frameworks compared // Digital Ocean. https://www.digitalocean.com/community/tutorials/hadoop-storm-samza-spark-and- -flink-big-data-frameworks-compared (accessed 12.09.2017) 28. Spark vs. Tez: What’s the Difference? Xplenty. https://www.xplenty.com/blog/2015/01/ apache-spark-vs-tez-comparison/ (accessed 12.09.2017) 29. Feature wise comparison between Apache Hadoop vs Spark vs Flink // TheServerSide. http://www.theserverside.com/blog/Coffee-Talk-Java-News-Stories-and-Opinions/ Feature-wise-comparison-between-Apache-Hadoop-vs-Spark-vs-Flink (accessed 12.09.2017) |
