О применении технологии прямого удалённого доступа к памяти для облачных систем обработки и анализа больших данных на примере Apache Flink

Семинар: Информационно-вычислительные технологии в задачах поддержки принятия решений
Начало заседания: 11:00

Дата выступления: 15 Декабрь 2020

Организация: ФИЦ ИВТ

Авторы: Попов Игорь Васильевич

Одним из наиболее популярных средств для обработки и анализа больших объёмов данных являются облачные системы, такие как Apache Spark, Apache Flink, Apache Storm. Среди широко распространённых методов повышения производительности таких систем можно выделить оптимизацию алгоритмов обработки данных, а также наращивание мощности составляющих облако узлов. Однако нужно отметить, что текущие облачные системы как правило слабо используют аппаратные возможности ускорения, широко применяемые в области высокопроизводительных вычислений (High Performance Computing, HPC). Одной из таких технологий является прямой удалённый доступ к памяти средствами сетевой платы. В данном докладе будут рассмотрены возможности применения этой технологии на примере системы Apache Flink.

Ссылка для подключения:

https://vcs-3.ict.sc/b/grz-ayy-7ne