(44-5) 11 * << * >> * Русский * English * Содержание * Все выпуски

Ретуширование данных дистанционного зондирования с использованием алгоритмов доопределения изображений в задаче генерирования подделок
А.В. Кузнецов 1,2, М.В. Гашников 1,2

1 Самарский национальный исследовательский университет имени академика С.П. Королёва,
443086, Россия, г. Самара, Московское шоссе, д. 34,

2 ИСОИ РАН – филиал ФНИЦ «Кристаллография и фотоника» РАН,
443001, Россия, г. Самара, ул. Молодогвардейская, д. 151

 PDF, 11 MB

DOI: 10.18287/2412-6179-CO-721

Страницы: 763-771.

Аннотация:
Исследуются алгоритмы ретуширования изображений при генерировании поддельных данных дистанционного зондирования Земли. Приводится обзор существующих нейросетевых решений в области генерирования и доопределения изображений дистанционного зондирования. Для ретуширования данных дистанционного зондирования Земли применяются алгоритмы доопределения изображений на основе свёрточных нейронных сетей и генеративно-состязательных нейронных сетей. Особое внимание уделяется генеративной нейросети с обособленным блоком предсказания контуров, включающей две последовательно соединённые генеративно-состязательные подсети. Первая подсеть доопределяет контуры изображения внутри ретушируемой области. Вторая подсеть использует доопределённые контуры для генерирования результирующей ретуширующей области. В качестве базы для сравнения используется прецедентный алгоритм доопределения изображений. Проводятся вычислительные эксперименты по исследованию эффективности указанных алгоритмов при ретушировании реальных данных дистанционного зондирования различных видов. Выполняется сравнительный анализ качества работы рассматриваемых алгоритмов в зависимости от типа, формы и размеров ретушируемых объектов и областей. Приводятся качественные и количественные характеристики эффективности работы исследуемых алгоритмов доопределения изображений при ретушировании данных дистанционного зондирования Земли. Экспериментально обосновывается преимущество генеративно-состязательных нейронных сетей при создании поддельных данных дистанционного зондирования.

Ключевые слова:
генерирование подделок, ретуширование, доопределение изображений, нейронные сети, данные дистанционного зондирования.

Благодарности
Исследование выполнено при финансовой поддержке РФФИ в рамках научных проектов № 20-37-70053 (параграфы 2.2, 3.1), № 19-07-00138 (параграфы 3.2 и Введение), 18-01-00667 (параграф 2.1), а также Министерства науки и высшего образования РФ в рамках Госзадания ФНИЦ «Кристаллография и фотоника» РАН (параграф 1).

Цитирование:
Кузнецов, А.В. Ретуширование данных дистанционного зондирования с использованием алгоритмов доопределения изображений в задаче генерирования подделок / А.В. Кузнецов, М.В. Гашников // Компьютерная оптика. – 2020. – Т. 44, № 5. – С. 763-771. – DOI: 10.18287/2412-6179-CO-721.

Citation:
Kuznetsov AV, Gashnikov MV. Remote sensing data retouching based on the image inpainting algorithms in the forgery generation problem. Computer Optics 2020; 44(5): 763-771. DOI: 10.18287/2412-6179-CO-721.

Литература:
  1. Elharrouss, O. Image inpainting: A review / O. Elharrouss, N. Almaadeed, S. Al-Maadeed, Y. Akbari // Neural Processing Letters. – 2020. – Vol. 51. – P. 2007-2028.
  2. Lu, Q. Review of image inpainting / Q. Lu, G. Zhang // Proceedings of 8th International Conference on Manufacturing Science and Engineering (ICMSE). – 2018. – P. 655-658.
  3. Li, Q. Image inpainting based on sparse representation with histogram dictionary / Q. Li, G. Chen, X. Zhang, K. Saruta, Y. Terata // Journal of Computers. – 2018. – Vol. 13, Issue 10. – P. 1145-1155.
  4. Amrani, N. Diffusion-based inpainting for coding remote-sensing data / N. Amrani, J. Serra-Sagristà, P. Peter, J. Weickert // IEEE Geoscience and Remote Sensing Letters. – 2017. – Vol. 14, Issue 8. – P. 1203-1207.
  5. Barnes, C. PatchMatch: A randomized correspondence algorithm for structural image editing / C. Barnes, E. Shechtman, A. Finkelstein, D.B. Goldman // ACM Transactions on Graphics. – 2009. – Vol. 28, Issue 3. – 24.
  6. Гудфеллоу, Я. Глубокое обучение / Я. Гудфеллоу, И. Бенджио, А. Курвилль. – 2-е изд. – М.: ДМК Пресс, 2018. – 652 с. – ISBN: 978-5-97060-618-6.
  7. Zhang, C. A brief review of image restoration techniques based on generative adversarial models / С. Zhang, F. Du, Y. Zhang. – In: Advanced multimedia and ubiquitous engineering / ed. by J.J. Park, L.T. Yang, Y.-S. Jeong, F. Hao. – Singapore: Springer Nature Singapore Pte Ltd., 2020. – P. 169-175.
  8. Goodfellow, I. Generative adversarial nets / I. Goodfellow, [et al.] // Proceedings of the 27th International Conference on Neural Information Processing Systems. – 2014. – Vol. 2. – P. 2672-2680.
  9. Ren, C.X. Cycle-consistent adversarial networks for realistic pervasive change generation in remote sensing imagery [Electronical Resource] / С.X. Ren, A. Ziemann, A. Durieux, J. Theiler // arXiv preprint. – 2019. – URL: https://arxiv.org/abs/1911.12546 (request date 17.07.2020).
  10. Lou, S. Preliminary investigation on single remote sensing image inpainting through a modified GAN / S. Lou, Q. Fan, F. Chen, C. Wang, J. Li // IEEE Proceedings of 10th IAPR Workshop on Pattern Recognition in Remote Sensing (PRRS). – 2018. – P. 1-6.
  11. Dong, J. Inpainting of remote sensing SST images with deep convolutional generative adversarial network / J. Dong, R. Yin, X. Sun, Q. Li, Y. Yang, X. Qin, // IEEE Geoscience and Remote Sensing Letters. – 2018. – Vol. 16, Issue 2. – P. 173-177.
  12. Singh, P. Cloud-GAN: Cloud removal for Sentinel-2 imagery using a cyclic consistent generative adversarial networks / P. Singh, N. Komodakis // IGARSS IEEE International Geoscience and Remote Sensing Symposium. – 2018. – P. 1772-1775.
  13. Кокошкин, А.В. Ретуширование и восстановление отсутствующих частей изображений с помощью итерационного вычисления их спектров / А.В. Кокошкин, В.А. Коротков, К.В. Коротков, Е.П. Новичихин // Компьютерная оптика. – 2019. – Т. 43, № 6. – С. 1030-1040. – DOI: 10.18287/2412-6179-2019-43-6-1030-1040.
  14. Lin, D. Dense-Add Net: An novel convolutional neural network for remote sensing image inpainting / D. Lin, G. Xu, Y. Wang, X. Sun, K. Fu // IGARSS IEEE International Geoscience and Remote Sensing Symposium. – 2018. – P. 4985-4988.
  15. Zhang, Q. Missing data reconstruction in remote sensing image with a unified spatial–temporal–spectral deep convolutional neural network / Q. Zhang, Q. Yuan, C. Zeng, X. Li, Y. Wei // IEEE Transactions on Geoscience and Remote Sensing. – 2018. – Vol. 56, Issue 8. – P. 4274-4288.
  16. Ashishrai, A. Generation remote sensing images using generative adversarial networks (GAN) [Electronical Resource] / A. Ashishrai. – 2019. – URL: https://github.com/aashishrai3799/Remote-Sensing-Image-Generation (request date 20.03.2020)
  17. Zhao, C. Inpainting to hide structures in satellite images. – URL: https://github.com/ChenchaoZhao/NeuralCamouflage (request date 20.03.2020).
  18. Zhao, C. Fingerprints of the invisible hand [Electronical Resource] / C. Zhao. – 2018. – URL: https://github.com/ChenchaoZhao/FingerprintsOfTheInvisibleHand (request date 08.06.2020).
  19. Ronneberger, O. U-net: Convolutional networks for biomedical image segmentation / O. Ronneberger, P. Fischer, T. Brox // International Conference on Medical Image Computing and Computer-Assisted Intervention. – 2015. – P. 234-241.
  20. Nazeri, K. EdgeConnect: Generative image inpainting with adversarial edge learning [Electronical Resource] / K. Nazeri, E. Ng, T. Joseph, F.Z. Qureshi, M. Ebrahimi // arXiv preprint. – 2019. – URL: https://arxiv.org/abs/1901.00212 (request date 08.06.2020).
  21. Collobert, R. Torch7: A matlab-like environment for machine learning / R. Collobert, K. Kavukcuoglu, C. Farabet // BigLearn NIPS workshop. – 2011.
  22. Isola, P. Image-to-image translation with conditional adversarial networks / P. Isola, J.Y. Zhu, T. Zhou, A.A. Efros // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. – 2017. – P. 1125-1134.
  23. Rong, W. An improved CANNY edge detection algorithm / W. Rong, Z. Li, W. Zhang, L. Sun // IEEE International Conference on Mechatronics and Automation. – 2014. – P. 577-582.
  24. Роскосмос. Информационные ресурсы [Electronical Resource]. – URL: https://www.roscosmos.ru/117/, (дата обращения 20.03.2020 г.).
  25. Google Earth [Electronical Resource]. – 2020. – URL: https://www.google.com/earth/ (request date 20.03.2020).

© 2009, IPSI RAS
Россия, 443001, Самара, ул. Молодогвардейская, 151; электронная почта: ko@smr.ru ; тел: +7 (846) 242-41-24 (ответственный секретарь), +7 (846) 332-56-22 (технический редактор), факс: +7 (846) 332-56-20