Одна из проблем работы графовых нейронных сетей состоит в том, что использование матрицы внимания исключительно для замены матрицы смежности дерева зависимостей может постепенно отклониться от исходной синтаксической структуры. В представленной работе в механизм внимания были внесены некоторые изменения с помощью синтаксических деревьев зависимостей. Кроме того, графовая нейронная сеть GNN объединена с представлением модели BERT, чтобы полностью использовать преимущества обеих методик.