ПОВЫШЕНИЕ ОБЪЯСНИМОСТИ ОБНАРУЖЕНИЯ ДИПФЕЙКОВ С ПОМОЩЬЮ ГРАФОВОЙ СЕТИ НА ОСНОВЕ СОСРЕДОТОЧЕНИЯ ВНИМАНИЯ

Аннотация

Понимание о том, как именно модели искусственного интеллекта принимают решения, важно, в особенности для таких сложных задач, как обнаружение дипфейков, где недостаточно просто получить результат – необходимо знать, почему именно модель приняла такое решение. Многие существующие методы интерпретации моделей искусственного интеллекта, такие как SHAP и Grad-CAM, помогают объяснить полученные решения, но зачастую полученные объяснения недостаточно детализированы для таких сложных данных как человеческие лица и дипфейки. В данной статье представлен новый метод с использованием графовых сетей с механизмом внимания (GAT) для задачи интерпретации решений детекторов дипфейков. Вместо того чтобы рассматривать изображение в целом, оно разбивается на патчи, а затем формируются в граф, где каждая ключевая часть лица (глаза, нос и рот) является отдельным узлом. Такое разбиение помогает модели учитывать при принятии решений наиболее важные области изображения. С помощью механизма внимания, модель выявляет, какие области изображения и лица повлияли на её решение. Проведено сравнивние двух версий механизма внимания, GATv1 и GATv2, и показано, как создается визуальная интерпретация с их помощью. При этом сохраняется высокая точность для классификатора дипфейков. Предложенный подход повышает понимание о том, как модель обрабатывает изображения, то есть, какие признаки оказались наиболее важными при принятии решения. Таким образом повышается доверие к работе модели искусственного интеллекта. Код в открытом доступе по адресу https://github.com/aleksandrpikul/ResGAT/tree/main.