Система параллельной обработки спутниковых данных
Семинар: Информационные технологии
Начало заседания: 14:35
Дата выступления: 26 Апрель 2011
Организация: НГУ, ИВТ СО РАН
Авторы: Кихтенко В. А.
В настоящее время обработка массивов спутниковых данных состоит в запуске последовательностей вычислительных модулей и занимает продолжительное время. Для ускорения цикла обработки предлагается реализовать процесс вычислений на кластере, получив при этом возможность конфигурирования потока вычислений. Обработка данных производится существующими вычислительными модулями, часть которых может исполняться параллельно, так как не зависят от результатов друг друга. Основные проблемы при реализации такого распараллеливания это: специфицирование алгоритма обработки в виде, позволяющем выделить возможности для распараллеливания, и реализация его выполнения в распределенной среде кластера. Для решения первой задачи предлагается использовать один из существующих языков описания бизнес-процессов. Алгоритм обработки будет представлен в виде ориентированного графа зависимостей по данным, вершины которого – это вычислительные модули. Для выполнения алгоритма представленного в этом виде предлагается интегрировать интерпретатор выбранного языка с системой управления ресурсами кластера. Это позволяет абстрагироваться от того, где конкретно будет запущен вычислительный модуль, задав при необходимости лишь требования к узлу кластера. В докладе будет представлена система? реализующая изложенные выше идеи для обработки данных со спутника Terra. Основой разработки служит система управления вычислениями Taverna (написанная на Java), а для управления ресурсами кластера используется SLURM.