ДЕТЕКЦИЯ ВЫСОКОКАЧЕСТВЕННЫХ ДИПФЕЙКОВ НА ОСНОВЕ ИНДЕКСА МЕЖПИКСЕЛЬНОГО СГЛАЖИВАНИЯ

Геннадий С. Погуляй, Алексей П. Лапсарь, Мария И. Ожиганова

Аннотация


Статья посвящена повышению надежности выявления синтетических изображений высокого качества в условиях постобработки. Целью работы является разработка информативного параметра межпиксельного сглаживания и метода его интеграции в глубокую архитектуру детектора дипфейков. Методология применения параметра включает формализацию локального индекса межпиксельного сглаживания и его многоуровневой версии карты индекса межпиксельного сглаживания как отношения энергий высоко- и низкочастотных компонент в скользящих окнах. Карта индекса межпиксельного сглаживания подается во вторую ветвь модели и используется для масок внимания в RGB-ветви (ConvNeXt-Tiny) с кросс-модальным слиянием признаков и комбинированной функцией потерь с регуляризатором «согласованности гладкости». Экспериментальная оценка на наборах реальных и синтетических изображений с типичными преобразованиями показала высокую эффективность применения предлагаемого параметра: AUC 96,1% и EER 10,5% во внутридоменном тесте, междоменная AUC 89,6%, Robust-AUC (JPEG-20) 87,4%; прирост относительно локально-артефактного ориентира составил 3,3 п.п., добавление канала с индексом межпиксельного сглаживания к RGB дало +5,8 п.п. AUC. Источником данных служили открытые наборы с разнесением персон и сцен между обучением и тестом, вычисление индекса линейно по числу пикселей и реализуемо в реальном времени на CPU. Области применения полученных результатов: модерация контента, KYC/идентификация, форензика и факт-чекинг, SOC/SIEM-сценарии. Выводы: предложенный параметр и двупоточная архитектура повышают отделимость классов, устойчивость к пользовательской постобработке и переносимость между генераторами при сохранении интерпретируемости решений.

Ключевые слова


индекс межпиксельного сглаживания, детекция дипфейков, двупоточная архитектура, кросс-модальное слияние, устойчивость к постобработке, цифровая криминалистика

Полный текст:

PDF

Литература


1. Tolosana R., Vera‑Rodríguez R., Fierrez J., Morales A., Ortega‑García J. DeepFakes and Beyond: A Survey of Face Manipulation and Fake Detection. DOI: https://doi.org/10.48550/arXiv.2001.00179.
2. Gong LY, Li XJ. A Contemporary Survey on Deepfake Detection: Datasets, Algorithms, and Challenges. Electronics. 2024; 13(3):585. DOI: https://doi.org/10.3390/electronics13030585.
3. Qureshi, S. M., Saeed, A., Almotiri, S. H., Ahmad, F., Al Ghamdi, M. A. (2024). Deepfake forensics: a survey of digital forensic methods for multimodal deepfake identification on social media. PeerJ. Computer science, 10, e2037. DOI: https://doi.org/10.7717/peerj-cs.2037.
4. Abbas F., Taeihagh A. Unmasking deepfakes: A systematic review of deepfake detection and generation techniques using artificial intelligence. Information Sciences. 2024. DOI: https://doi.org/10.1016/j.eswa.2024.124260.
5. Abdullah S.M. et al. An Analysis of Recent Advances in Deepfake Image Detection in an Evolving Threat Landscape. 2024 IEEE Symposium on Security and Privacy (SP), San Francisco, CA, USA, 2024, pp. 91-109. DOI: https://doi.org/10.1109/SP54263.2024.00194.
6. Bah M. D., Dahmane M. Enhanced Deepfake Detection Using Frequency Domain Upsampling. Proceedings of the 19th International Joint Conference on Computer Vision, Imaging and Computer Graphics Theory and Applications – VISIGRAPP 2024. V. 2: VISAPP. 2024, pp. 796–803. DOI: https://doi.org/10.5220/0012473700003660.
7. Fernández‑Menduiña S., Pérez-González F., Masciopinto M. Source camera attribution via PRNU emphasis: Towards a generalized multiplicative model. Signal Processing: Image Communication. 2023. DOI: https://doi.org/10.1016/j.image.2023.116944.
8. Mahara A., Rishe N. Methods and Trends in Detecting Generated Images: A Comprehensive Review. arXiv preprint. 2025. arXiv:2502.15176v1. DOI: https://doi.org/10.48550/arXiv.2502.15176.
9. Yan J., et al. Dual Frequency Branch Framework with Reconstructed Sliding‑Window Attention for Universal AI‑Image Detection. arXiv. 2025. arXiv:2501.15253. DOI: https://doi.org/10.48550/arXiv.2501.15253.
10. Lindeberg T. Feature Detection with Automatic Scale Selection. International Journal of Computer Vision. 1998, v. 30, no. 2, p. 79-116.EDN: AHEJSL.
11. Liu Z., et al. A ConvNet for the 2020s (ConvNeXt). CVPR 2022. DOI: https://doi.org/10.48550/arXiv.2201.03545.
12. Woo S., Park J., Lee J.‑Y., Kweon I.S. CBAM: Convolutional Block Attention Module. ECCV 2018. DOI: https://doi.org/10.48550/arXiv.1807.06521.
13. Tarvainen A., Valpola H. Mean Teachers are Better Role Models: Weight‑Averaged Consistency Targets Improve Semi‑Supervised Deep Learning Results. NeurIPS 2017. DOI: https://doi.org/10.48550/arXiv.1703.01780.
14. Rössler A., et al. FaceForensics++: Learning to Detect Manipulated Facial Images. ICCV 2019. URL: https://openaccess.thecvf.com/content_ICCV_2019/papers/Rossler_FaceForensics_Learning_to_Detect_Manipulated_Facial_Images_ICCV_2019_paper.pdf (accessed: 13.09.2025).
15. Dolhansky B., et al. The DeepFake Detection Challenge (DFDC) Dataset. arXiv. 2020. arXiv:2006.07397. DOI: https://doi.org/10.48550/arXiv.2006.07397.
16. Chen H., et al. Pay Less Attention to Deceptive Artifacts: Robust Detection of Compressed Deepfakes on Online Social Networks. arXiv. – 2025. – arXiv:2506.20548. DOI: https://doi.org/10.48550/arXiv.2506.20548.
17. DeLong E. R., DeLong D. M., Clarke‑Pearson D. L. (1988). Comparing the areas under two or more correlated receiver operating characteristic curves: a nonparametric approach. Biometrics, 44(3), 837-845. URL: https://pubmed.ncbi.nlm.nih.gov/3203132/ (accessed: 15.09.2025).




DOI: http://dx.doi.org/10.26583/bit.2026.3.12

Ссылки

  • На текущий момент ссылки отсутствуют.


Лицензия Creative Commons
Это произведение доступно по лицензии Creative Commons «Attribution» («Атрибуция») 4.0 Всемирная.