(46-4) 16 * << * >> * Русский * English * Содержание * Все выпуски

Обнаружение искусственных фрагментов, встроенных в изображения дистанционного зондирования состязательными нейросетями
М.В. Гашников 1, А.В. Кузнецов 1

1 Самарский национальный исследовательский университет имени академика С.П. Королёва,
443086, Россия, г. Самара, Московское шоссе, д. 34

 PDF, 1900 kB

DOI: 10.18287/2412-6179-CO-1064

Страницы: 643-649.

Аннотация:
Исследуются алгоритмы обнаружения искусственных фрагментов изображений дистанционного зондирования Земли, сгенерированных состязательными нейронными сетями. Рассматривается детектор искусственных изображений, основанный на обнаружении характерного для генеративно-состязательных нейросетей спектрального артефакта, причиной возникновения которого является слой сети, повышающий разрешение. Рассматриваемый детектор применяется для обнаружения искусственных фрагментов, встроенных в настоящие изображения дистанционного зондирования Земли с помощью состязательной нейросети, включающей генератор протяженных элементов. При этом используются изображения дистанционного зондирования различного типа и разрешения, а подменяемые области, некоторые из которых не являются односвязными, имеют различные размеры и формы. Экспериментально показано, что исследуемый спектральный нейросетевой детектор имеет высокую эффективность при обнаружении искусственных фрагментов изображений дистанционного зондирования Земли.

Ключевые слова:
обнаружение искусственных фрагментов изображений, нейронные сети, генеративно-состязательные нейросети, цикличные нейросети, доопределение изображений.

Благодарности
Исследование выполнено за счет гранта Российского научного фонда (проект № 22-21-00662).

Цитирование:
Гашников, М.В. Обнаружение искусственных фрагментов, встроенных в изображения дистанционного зондирования состязательными нейросетями / М.В. Гашников, А.В. Кузнецов // Компьютерная оптика. – 2022. – Т. 46, № 4. – С. 643-649. – DOI: 10.18287/2412-6179-CO-1064.

Citation:
Gashnikov MV, Kuznetsov AV. Detection of artificial fragments embedded in remote sensing images by adversarial neural networks. Computer Optics 2022; 46(4): 643-649. DOI: 10.18287/2412-6179-CO-1064.

References:
  1. Jam J, Kendrick C, Walker K, Drouard V, Hsu JG, Yap MH. A comprehensive review of past and present image inpainting methods. Comput Vis Image Underst 2021; 203: 103147.
  2. Patil BH, Patil PM. A comprehensive review on state-of-the-art image inpainting techniques. Scalable Computing: Practice and Experience 2020; 21(2): 265-276.
  3. Qin Z, Zeng Q, Zong Y, Xu F. Image inpainting based on deep learning: A review. Displays 2021; 69: 102028.
  4. Thanh DNH, Prasath VBS, Son NV, Son NV, Hieu LM. An adaptive image inpainting method based on the modified Mumford-Shah model and multiscale parameter estimation. Computer Optics 2019; 43(2): 251-257. DOI: 10.18287/2412-6179-2019-43-2-251-257.
  5. Dash A, Ye J, Wang G. A review of Generative Adversarial Networks (GANs) and its applications in a wide variety of disciplines. arXiv preprint 2021. Source: <https://arxiv.org/abs/2110.01442>.
  6. Gao J, Yuan Q, Li J, Su X. Unsupervised missing information reconstruction for single remote sensing image with Deep Code Regression. Int J Appl Earth Obs Geoinf 2021; 105: 102599.
  7. Nazeri K, Ng E, Joseph T, Qureshi F, Ebrahimi M. EdgeConnect: Generative image inpainting with adversarial edge learning. arXiv preprint 2019. Source: <https://arxiv.org/abs/1901.00212>.
  8. Voronin V, Gapon N, Semenishchev E, Zelensky A, Agaian S. A block-based method for the remote sensing images cloud detection and removal. Proc SPIE 2021; 11734: 117340K.
  9. Kuznetsov AV, Gashnikov MV. Remote sensing data retouching based on image inpainting algorithms in the forgery generation problem. Computer optics 2020; 44(5): 763-771. DOI: 10.18287/2412-6179-CO-721.
  10. Songyuan L, Fan M, Chen R. Overview of generative adversarial networks. J Phys Conf Ser 2021; 1873(1): 012071.
  11. Basso D, Colnago M, Azevedo S, Silva E, Pina P, Casaca W. Combining morphological filtering, anisotropic diffusion and block-based data replication for automatically detecting and recovering unscanned gaps in remote sensing images. Earth Sci Inform 2021; 14: 1145-1158.
  12. Horvath J, Baireddy S, Hao H, Montserrat DM, Delp EJ. Manipulation detection in satellite images using vision transformer. Proc IEEE/CVF Conf on Computer Vision and Pattern Recognition 2021: 1032-1041.
  13. Ali L, Kasetkasem T, Khan FG, Chanwimaluang T, Nakahara H. Identification of inpainted satellite images using evalutionary artificial neural network (EANN) and k-nearest neighbor (KNN) algorithm. 8th IEEE Int Conf of Information and Communication Technology for Embedded Systems (IC-ICTES) 2017: 1-6.
  14. Zhang X, Karaman S, Chang SF. Detecting and simulating artifacts in gan fake images. IEEE Int Workshop on Information Forensics and Security (WIFS) 2019: 1-6.
  15. Qin M-Y, Fan Y-C, Liu B-L, Ma X. A survey of style transfer based on generative adversarial network. Proc SPIE 2021; 12069: 120691E.
  16. Wang P, Zhang H, Zhou F, Jiang Z. Unsupervised remote sensing image super-resolution using cycle CNN. IEEE Int Geoscience and Remote Sensing Symposium (IGARSS) 2019: 3117-3120.
  17. Zhao K, Zhou L, Gao S, Wang X, Wang Y, Zhao X, Ye H. Study of low-dose PET image recovery using supervised learning with CycleGAN. Plos one 2020; 15(9): e0238455.
  18. Barth R, Hemming J, Van Henten EJ. Optimising realism of synthetic images using cycle generative adversarial networks for improved part segmentation. Comput Electron Agric 2020; 173: 105378.
  19. He F, Liu T, Tao D. Why resnet works? residuals generalize. IEEE Trans Neural Netw Learn Syst 2020; 31(12): 5349-5362.
  20. Deng J, Dong W, Socher R, Li LJ, Li K, Fei-Fei L. Imagenet: A large-scale hierarchical image database. IEEE Conf on Computer Vision and Pattern Recognition 2009: 248-255.
  21. Index of /~taesung_park/CycleGAN/datasets. Source: <https://people.eecs.berkeley.edu/~taesung_park/CycleGAN/datasets/>.
  22. Roscosmos. Source: <www.roscosmos.ru>.
  23. Google Earth. Source: <www.google.com/earth>.

© 2009, IPSI RAS
Россия, 443001, Самара, ул. Молодогвардейская, 151; электронная почта: journal@computeroptics.ru; тел: +7 (846) 242-41-24 (ответственный секретарь), +7 (846) 332-56-22 (технический редактор), факс: +7 (846) 332-56-20