(44-4) 18 * << * >> * Русский * English * Содержание * Все выпуски

Семантическая сегментация спутниковых снимков аэропортов с помощью свёрточных нейронных сетей
В.А. Горбачёв 1, И.А. Криворотов 1,2, А.О. Маркелов 1,2, Е.В. Котлярова 2

1 Государственный научно-исследовательский институт авиационных систем (ГНЦ РФ), Москва, Россия,
2 МФТИ, Москва, Россия

 PDF, 2671 kB

DOI: 10.18287/2412-6179-CO-636

Страницы: 636-645.

Аннотация:
Статья посвящена разработке эффективного алгоритма семантической сегментации для разметки элементов аэропортовой инфраструктуры на космических снимках оптического диапазона. В данной работе применены алгоритмы сегментации на основе глубоких свёрточных нейронных сетей. Они зарекомендовали себя в широком ряде задач, в том числе сегментации изображений наземной съёмки, где они показывают стабильно высокие результаты. В ходе работы были вручную размечены обучающие и тестовые изображения. Был произведён поиск оптимальной для данной задачи архитектуры нейронной сети. Исследованы различные комбинации энкодеров и декодеров. Для постобработки и учёта контекстной информации и соседства объектов различных классов с целью устранения выбросов применена модель условных случайных полей. Описаны особенности применённых решений на всех этапах подготовки алгоритма: подготовка данных, обучение нейронной сети и постобработка её результатов.

Ключевые слова:
семантическая сегментация, искусственные нейронные сети, глубокое обучение, обработка изображений.

Благодарности
Работа была поддержана Российский фондом фундаментальных исследований, грант № 17-08-00191.

Цитирование:
Горбачёв, В.А. Семантическая сегментация спутниковых снимков аэропортов с помощью свёрточных нейронных сетей / В.А. Горбачёв, И.А. Криворотов, А.О. Маркелов, Е.В. Котлярова // Компьютерная оптика. – 2020. – Т. 44, № 4. – С. 636-645. – DOI: 10.18287/2412-6179-CO-636.

Citation:
Gorbachev VA, Krivorotov IA, Markelov AO, Kotlyarova EV. Semantic segmentation of satellite images of airports using convolutional neural networks. Computer Optics 2020; 44(4): 636-645. DOI: 10.18287/2412-6179-CO-636.

Литература:
  1. ISPRS 2D semantic labeling contest [Electronical Resource]. – URL: http://www2.isprs.org/commissions/comm3/wg4/semantic-labeling.html (request date 11.06.2019).
  2. Long, J. Fully convolutional networks for semantic segmentation / J. Long, E. Shelhamer, T. Darrell // IEEE Transactions on Pattern Analysis and Machine Intelligence. – 2017. – Vol. 39, Issue 4. – P. 640-651.
  3. Simonyan, K. Very deep convolutional networks for large-scale image recognition [Electronical Resource] / K. Simonyan, A. Zisserman. – 2015. – URL: https://arxiv.org/pdf/1409.1556.pdf (request date 11.06.2019).
  4. Kaiming, H. Deep residual learning for image recognition / H. Kaiming, Z. Xiangyu, R. Shaoqing, S. Jian // IEEE Conference on Computer Vision and Pattern Recognition (CVPR). – 2016. – P. 770-778.
  5. Badrinarayanan, V. SegNet: A deep convolutional encoder-decoder architecture for image segmentation / V. Badrinarayanan, A. Kendall, R. Cipolla // IEEE Transactions on Pattern Analysis and Machine Intelligence. – 2017. – Vol. 39, Issue 12. – P. 2481-2495.
  6. Ronneberger, O. U-Net: Convolutional networks for biomedical image segmentation / O. Ronneberger, P. Fischer, T. Brox // International Conference on Medical Image Computing and Computer-Assisted Intervention. – 2015. – Vol. 1, Issue 3. – P. 234-241.
  7. Chaurasia, A. LinkNet: Exploiting encoder representations for efficient semantic segmentation / A. Chaurasia, E. Culurciello // IEEE Visual Communications and Image Processing (VCIP). – 2017. – P. 1-4.
  8. Chen, L.-Ch. DeepLab: Semantic image segmentation with deep convolutional nets, atrous convolution, and fully connected CRFs / L.-Ch. Chen, G. Papandreou, I. Kokkinos, K. Murphy, A.L. Yuille // IEEE Transactions on Pattern Analysis and Machine Intelligence. – 2018. – Vol. 40, Issue 4. – P. 834-848.
  9. Zhang, H. Co-occurrent features in semantic segmentation / H. Zhang, H. Zhang, C. Wang, J. Xie // IEEE Conference on Computer Vision and Pattern Recognition (CVPR). – 2019. – P. 548-557.
  10. Hengshuang, Z. Pyramid scene parsing network / Z. Hengshuang, S. Jianping, Q. Xiaojuan, W. Xiaogang, J. Jiaya // IEEE Conference on Computer Vision and Pattern Recognition (CVPR). – 2017. – P. 2881-2890.
  11. Lin, G. RefineNet: Multi-path refinement networks for high-resolution semantic segmentation / G. Lin, A. Milan, Ch. Shen, I. Reid // IEEE Conference on Computer Vision and Pattern Recognition (CVPR). – 2019. – P. 5168-5177.
  12. Fu, J. Dual attention network for scene segmentation / J. Fu, J. Liu, H. Tian, Z. Fang, H. Lu // IEEE Conference on Computer Vision and Pattern Recognition (CVPR). – 2019. – P. 3146-3154.
  13. Kaiming, H. Mask R-CNN / H. Kaiming, G. Gkioxari, P. Dollar, R. Girshick // IEEE International Conference on Computer Vision (ICCV). – 2017. – P. 2980-2988.
  14. Goodfellow, I. Generative adversarial nets / I. Goodfellow, J. Pouget-Abadie, M. Mirza, B. Xu, D. Warde-Farley, S. Ozair, A. Courville, Y. Bengio // Proceedings of the 27th International Conference on Neural Information Processing Systems. – 2014. – Vol. 2. – P. 2672-2680.
  15. Szegedy, C. Rethinking the inception architecture for computer vision / C. Szegedy, V. Vanhoucke, S. Ioffe, J. Shlens, Z. Wojna // IEEE Conference on Computer Vision and Pattern Recognition (CVPR): – 2015. – P. 2818-2826.
  16. Sandler, M. MobileNetV2: Inverted residuals and linear bottlenecks / M. Sandler, A.G. Howard, M. Zhu, A. Zhmoginov, L.-C. Chen // IEEE Conference on Computer Vision and Pattern Recognition (CVPR): – 2018. – P. 4510-4520.
  17. Tan, M. EfficientNet: Rethinking model scaling for convolutional neural networks / M. Tan, Q.V. Le // International Conference on Machine Learning (ICML). – 2019. – P. 6105-6114.
  18. Carole, H.S. Generalized Dice overlap as a deep learning loss function for highly unbalanced segmentations / H.S. Carole, L. Wenqi, T. Vercauteren, S. Ourselin, M.J. Cardoso // Deep Learning in Medical Image Analysis and Multimodal Learning for Clinical Decision Support. – 2017. – P. 240-248.
  19. Lin, T. Focal loss for dense object detection / T. Lin, P. Goyal, R. Girshick, H. Kaiming, P. Dollar // IEEE International Conference on Computer Vision (ICCV). – 2017. – P. 2999-3007.
  20. Блохинов, Ю.Б. Разработка алгоритма семантической сегментации аэрофотоснимков реального времени / Ю.Б. Блохинов, В.А. Горбачев, Ю.О. Ракутин, А.Д. Никитин // Компьютерная оптика. – 2018. – Т. 42, № 1. – С. 141-148. – DOI: 10.18287/2412-6179-2018-42-1-141-148.
  21. ImageNet large scale visual recognition competition 2014 [Electronical Resource]. – URL: http://image-net.org/challenges/LSVRC/2014/ (request date 11.06.2019).

© 2009, IPSI RAS
Россия, 443001, Самара, ул. Молодогвардейская, 151; электронная почта: ko@smr.ru ; тел: +7 (846) 242-41-24 (ответственный секретарь), +7 (846) 332-56-22 (технический редактор), факс: +7 (846) 332-56-20