Информация о публикации

Просмотр записей

Инд. авторы:	Попов С.Е., Замараев Р.Ю.
Заглавие:	Быстрый алгоритм классификации сейсмических событий на базе распределенных вычислений Apache Spark
Библ. ссылка:	Попов С.Е., Замараев Р.Ю. Быстрый алгоритм классификации сейсмических событий на базе распределенных вычислений Apache Spark // Программирование. - 2020. - № 1. - С.39-53. - ISSN 0132-3474.
Внешние системы:	DOI: 10.1134/S0361768820010053; РИНЦ: 41806939;
Реферат:	rus: Англ. перевод: см. 64546 В статье описаны ключевые моменты процесса разработки программной реализации алгоритма быстрой автоматической классификации сейсмических сигналов на основе диагностических шаблонов. Подробно описан процесс адаптации и интеграции данной реализации в систему распределенных вычислений Apache Spark. Представлено программное решение для предварительной обработки сигнала и оптимизации математической модели для параллельных вычислений с использованием транслируемых переменных. Проведены тесты производительности алгоритма классификации для набора суточных сигналов. Достигнуто десятикратное уменьшение времени работы алгоритма в контексте массивно-параллельного исполнения расчетных заданий по сравнению с последовательной обработкой.
Издано:	2020
Физ. характеристика:	с.39-53
Цитирование:	1. Scarpetta S., Giudicepietro F., Ezin E.C., Petrosino S., Del Pezzo E., Martini M., Marinaro M. Automatic Classification of Seismic Signals at Mt. Vesuvius Volcano, Italy, Using Neural Networks // Bulletin of the Seismological Society of America. 2005. V. 95. № 1. P. 185-196. 2. Benbrahim M., Daoudi A., Benjelloun K., Ibenbrahim A. Discrimination of Seismic Signals Using Artificial Neural Networks // Proceedings of world academy of science, engineering and technology. 2005. V. 4. P. 4-7. 3. Diersena S., Leeb E.-J., Spearsc D., Chenb P., Wanga L. Classification of Seismic Windows Using Artificial Neural Networks // Procedia Computer Science. 2011. V. 4. P. 1572-1581. 4. Hamer R.M., Cunningham J.W. Cluster analyzing profile data confounded with interrater differences: A comparison of profile association measures. Applied Psychological Measurement. 1981. V. 5. P. 63-72. 5. Kedrov E.O., Kedrov O.K. Spectral time method of identification of seismic events at distances of 15°-40° // Izvestiya, Physics of the Solid Earth. 2006. V. 42. № 5. P. 398-415. 6. Langer H., Falsaperla S., Powell T., Thompson G. Automatic classification and a-posteriori analysis of seismic event identification at Soufrière Hills volcano, Montserrat // Journal of Volcanology and Geothermal Research. Elsevier. 2006. V. 153. № 1. P. 1-10. 7. Lyubushin A.A. Jr., Kaláb Z., Častová N. Application of Wavelet Analysis to the Automatic Classification of Three-Component Seismic Records. Izvestiya, Physics of the Solid Earth. 2004. V. 40. № 7. P. 587-593. 8. Musil M., Pleginger A. Discrimination between Local Microearthquakes and Quarry Blasts by Multi-Layer Perceptrons and Kohonen Maps // Bulletin of the Seismological Society of America. 1996. V. 86. № 4. P. 1077-1090. 9. Ryzhikov G.A., Biryulina M.S., Husebye E.S. A novel approach to automatic monitoring of regional seismic events // IRIS Newsletter. 1996. V. XV. № 1. P. 12-14. 10. Shimshoni Y., Intrator N. Classification of Seismic Signals by Integrating Ensembles of Neural Networks // IEEE transactions on signal processing. 1998. V. 46. № 5. P. 1194-1201. 11. Ryan T.M., Borisov D., Lefebvre M., Tromp J. SeisFlows - Flexible waveform inversion software // Computers & Geosciences. 2018. V. 115. P. 88-95. 12. Philippe Lesage. Interactive Matlab software for the analysis of seismic volcanic signals // Computers & Geosciences. 2009. V. 35. № 10. P. 2137-2144. 13. Jiang W., Yu H., Li L., Huang L. A Robust Algorithm for Earthquake Detector // Proceedings of the 15 World Conference on Earthquake Engineering. Lisbon. Portugal. 2012. 14. Álvarez I., García L., Mota S., Cortés G., Benítez C., De La Torre A. An Automatic P-Phase Picking Algorithm Basedon Adaptive Multiband Processing // IEEE Geoscience and remote sensing letters. 2013. V. 10. № 6. P. 1488-1492. 15. Madureira G., Ruano A. A neural network seismic detector // IFAC Proceedings Volumes. 2009. V. 42. № 19. P. 304-309. 16. Clara E.Y., Ossian O'R., Karianne J.B., Beroza G.C. Earthquake detection through computationally efficient similarity search // Science Advances. 2015. V. 1. P. E1501057(1-13). 17. Paul B. Q., Pierre G., Yoann C., Munkhuu U. Detection and classification of seismic events with progressive multichannel correlation and hidden Markov models // Computers & Geosciences. 2015. V. 83. P. 110-119. 18. IRIS. Incorporated Research Institutions for Seismology. https://www.iris.edu/hq/ (дата обращения: 04.05.2019). 19. José Emilio Romero, Manuel Titos, Ángel Bueno, Isaac Álvarez, Luz García, Ángel de la Torre, M Carmen Benítez. APASVO: A free software tool for automatic P-phase picking and event detection in seismic traces // Computers & Geosciences. 2016. V. 90. Part A. P. 213-220. 20. GeoSeisQC. http://www.geoleader.ru/index.php/ru/produkty-ru/geoseicqc (дата обращения: 07.05.2019). 21. ZETLAB Детектор STA/LTA. https://zetlab.com/shop/programmnoe-obespechenie/funktsii-zetlab/analiz-signalov/detektor-sta-lta/ (дата обращения: 07.05.2019). 22. Stratimagic. http://www.pdgm.com/products/stratimagic/ (дата обращения: 07.05.2019). 23. Разработка и создание Грид-приложений для решения прикладных задач геофизики (10-07-00491-а) // РФФИ. http://www.rfbr.ru/rffi/ru/project_search/o_49145 (дата обращения: 07.05.2018). 24. "Использование слабо связанных вычислительных систем для решения обратных задач геофизики (11-05-00988-а) // РФФИ. http://www.rfbr.ru/rffi/ru/project_search/o_43212 (дата обращения: 07.05.2018). 25. Разработка GRID-системы и вычислительных сервисов для исследования геодинамических пространственно-временных процессов по данным ДЗЗ (11-07-12045-офи) // РФФИ. http://www.rfbr.ru/rffi/ru/project_search/o_46676 (дата обращения: 07.05.2018). 26. Distance computations // SciPy.org. https://docs.scipy.org/doc/scipy/reference/spatial.distance.html (дата обращения: 11.05.2018). 27. Замараев Р.Ю., Попов С.Е., Логов А.Б. Алгоритм классификации сейсмических событий на основе энтропийного отображения сигналов // Физика Земли. 2016. № 3. С. 31-37. 28. Замараев Р.Ю., Попов С.Е. Алгоритм автоматического обнаружения и классификации промышленных взрывов на основе энтропийного отображения сейсмических сигналов // Геофизические исследования. 2019. Т. 20. № 1. С. 38-51. 29. McKay D. Information Theory, Inference, and Learning Algorithms // Cambridge: Cambridge University Press, 2003. 631 p. 30. Kortström J., Uski M., Tiira T. Automatic classification of seismic events within a regional seismograph network // Computers & Geosciences, 2016. № 87. P. 22-30. 31. Guojun Gan, Chaoqun Ma, Jianhong Wu. Data clustering: theory, algorithms, and applications (ASA-SIAM series on statistics and applied probability) // Society for Industrial and Applied Mathematics Philadelphia. PA. USA, 2007. 451 p.