| Инд. авторы: | Донцов А.А., Волков Н.В., Лагутин А.А. |
| Заглавие: | Разработка технологии организации каталогов спутниковых данных |
| Библ. ссылка: | Донцов А.А., Волков Н.В., Лагутин А.А. Разработка технологии организации каталогов спутниковых данных // Известия Алтайского государственного университета. - 2014. - № 1-2. - С.172-175. - ISSN 1561-9443. - EISSN 1561-9451. |
| Внешние системы: | РИНЦ: 22502669; |
| Реферат: | rus: Предложена обобщенная модель построения хранилища данных большого объема, основанная на использовании NoSQL-технологии. Данная технология не предъявляет строгих требований к организации структуры хранилища данных, обладает высокой скоростью обработки запросов, возможностью проводить масштабирование в широких пределах, а также предоставляет допустимость репликации баз на нескольких серверах с поддержкой автоматической синхронизации данных. Организация каталогов данных с использованием технологии NoSQL позволяет проектировать базы данных, отличные от традиционных реляционных систем управления базами данных (СУБД) с доступом к данным средствами языка запросов SQL. Для реализации системы управления каталогами спутниковых данных используется документо-ориентированная СУБД MongoDB. Информационной основой разрабатываемой системы являются данные прибора спутникового базирования MODIS, установленного на платформах Terra и Aqua. Для извлечения информации из файлов спутниковых данных используется утилита gdalinfo библиотеки GDAL. Тестовый анализ, проведенный при построении каталога данных объемом более 20 гигабайт на сервере с двухъядерным процессором с тактовой частотой 2,1 ГГц и объемом оперативной памяти 2 Гб, позволил получить оценку времени - около ~ 5 минут, требуемого для выполнения всей последовательности операций. eng: A generalized model for a big data warehouse based on the NoSQL technology is proposed. This technology does not impose strict requirements to a database structure. It is scalable in large extend with a high-speed processing of queries and also provides the ability of database multiple servers replication with automatic data synchronization support. Data warehousing with NoSQL technology allows the design of databases to be different from the traditional relational database management systems (DBMS) based on SQL query tools for data access. The MongoDB database system is used for satellite metadata management. The source of data for the developed system is satellite-based spectroradiometer MODIS data (Terra and Aqua platforms). Gdalinfo utility from GDAL library is used for satellite data files processing. A test analysis is performed for the warehouse of more than 20 Gigabytes. The dual-core processor server with a CPU clock speed of 2.1 GHz and RAM 2 GB is utilized. The time for completing the entire sequence of operations is estimated in about 5 minutes. |
| Ключевые слова: | системы управления базами данных; Satellite Instruments; Database Management System; Data warehouse; geoportal; приборы спутникового базирования; геопортал; хранилища и каталоги данных; |
| Издано: | 2014 |
| Физ. характеристика: | с.172-175 |
| Цитирование: | 1. Фаулер М., Садаладж П.Дж. NoSQL: новая методология разработки нереляционных баз данных = NoSQL Distilled. - М., 2013. 2. Official site MongoDB project [Electronic resource]. - URL: https://www.mongodb.org/ 3. Введение в JSON [Electronic resource]. - URL: http://json.org/ 4. Спецификация BSON [Electronic resource]. - URL: http://bsonspec.org/ 5. Dean J., Ghemawat S. (Google, Inc.) MapReduce: Simplified Data Processing on Large Clusters // OSDI’04: Sixth Symposium on Operating System Design and Implementation, San Francisco, CA. - 2004. [Electronic resource]. - URL: http://research.google.com/archive/mapreduce.html 6. Salomonson V.V., Barnes W.L., Maymon P.W. et al. MODIS: Advanced Facility Instrument for Studies of the Earth as a System // IEEE Trans. Geosci. Remote Sens. - 1989. - V. 27, №2. 7. Barnes W.L., Xiong X.L., Salomonson V.V. Terra MODIS and Aqua MODIS // Adv. Space Res. - 2003. - №32. 8. Лагутин A.A., Никулин Ю.А., Жуков А.П. и др. Математические технологии оперативного регионального спутникового мониторинга характеристик атмосферы и подстилающей поверхности. Ч. 1. MODIS // Выч. технол. - 2007. - Т. 12, №2. 9. HDF - Hierarchical Data Format [Electronic resource]. - URL: http://www.hdfgroup.org/ 10. Yang W. A review of remote sensing data formats for earth system observations // In book J.J. Qu, W. Gao, M. Kafatos et al. Earth Science Satellite Remote Sensing. Vol. 2: Data, Computational Processing, and Tools, Tsinghua University Press, Beijing and Springer-Verlag. - 2006. - 335 P. 11. GDAL - Geospatial Data Abstraction Library [Electronic resource]. - URL: http://www.gdal.org/ 12. PyMongo 2.7rc0 Documentation [Electronic resource]. - URL: http://api.mongodb.org/ python/2.7rc0 13. Волков Н.В., Донцов А.А., Лагутин А.А. Разработка геопортальной системы для решения задач регионального космического мониторинга // Известия Алт. гос. ун-та - 2013. - №1/2(77). DOI:10.14258/izvasu(2013)1.2-30. 14. Донцов А.А., Волков Н.В. Геопортальная система регионального космического мониторинга // Дистанционное зондирование Земли из космоса: алгоритмы, технологии, данные: Матер. молодежной школы-семинара. - Барнаул, 2013. |
