(45-6) 15 * << * >> * Русский * English * Содержание * Все выпуски

Сегментация дефектов дорожного покрытия на основе формирования синтетических выборок с помощью глубоких генеративно-состязательных свёрточных сетей
И.А. Канаева 1, Ю.А. Иванова 1, В.Г. Спицын 1,2

Национальный исследовательский Томский политехнический университет,
634050, Россия, г. Томск, пр. Ленина, д. 30,

Национальный исследовательский Томский государственный университет,
634050, Россия, г. Томск, пр. Ленина, д. 36

 PDF, 2814 kB

DOI: 10.18287/2412-6179-CO-844

Страницы: 907-916.

Аннотация:
В данной работе рассматривается комплекс задач обнаружения различных дефектов дорожного полотна автомобильных дорог и современные методы их решения. Представленное сравнение общедоступных наборов данных позволяет сделать вывод о сложности и малой разработанности задачи сегментации дефектов дорожного покрытия по изображению общего вида автомобильных дорог. Для решения данной проблемы разработаны алгоритмы генерации синтетического набора данных для сегментации дефектов классов трещин и выбоин на основе методов компьютерной графики и генеративно-состязательных сетей. Проведено сравнение точности сегментации дефектов дорожного покрытия полносверточной нейронной сетью U-Net на реальном и комбинированных наборах данных.

Ключевые слова:
сегментация, дефекты дорожного покрытия, синтетическая выборка, генеративно-состязательные сети, сверточные нейронные сети.

Благодарности
Исследование выполнено при финансовой поддержке РФФИ в рамках научного проекта № 18-08-00977 А и в рамках Программы повышения конкурентоспособности ТПУ.

Цитирование:
Канаева, И.А. Сегментация дефектов дорожного покрытия на основе формирования синтетических выборок с помощью глубоких генеративно-состязательных свёрточных сетей / И.А. Канаева, Ю.А. Иванова, В.Г. Спицын // Компьютерная оптика. – 2021. – Т. 45, № 6. – С. 907-916. – DOI: 10.18287/2412-6179-CO-844.

Citation:
Kanaeva IA, Ivanova YuA, Spitsyn VG. Deep convolutional generative adversarial network-based synthesis of datasets for road pavement distress segmentation. Computer Optics 2021; 45(6): 907-916. DOI: 10.18287/2412-6179-CO-844.

Литература:

  1. Azimi, M. Data-driven structural health monitoring and damage detection through deep learning: State-of-the-art review / M. Azimi, A. Eslamlou, G. Pekcan // Sensors. – 2020. – Vol. 20, Issue 10. – 2778. – DOI: 10.3390/s20102778.
  2. Eisenbach, M. How to get pavement distress detection ready for deep learning? A systematic approach / M. Eisenbach, R. Stricker, D. Seichter, K. Amende, K. Debes, M. Sesselmann, D. Ebersbach, U. Stoeckert, H. Gross // 2017 International Joint Conference on Neural Networks (IJCNN). – 2017. – P. 2039-2047. – DOI: 10.1109/IJCNN.2017.7966101.
  3. Stricker, R. Improving visual road condition assessment by extensive experiments on the extended GAPs dataset / R. Stricker, M. Eisenbach, M. Sesselmann, K. Debes, H. Gross // 2019 International Joint Conference on Neural Networks (IJCNN). – 2019. – P. 1-8. – DOI: 10.1109/IJCNN.2019.8852257.
  4. Maeda, H. Road damage detection and classification using deep neural networks with smartphone images / H. Maeda, Y. Sekimoto, T. Seto, T. Kashiyama, H. Omata // Computer-Aided Civil and Infrastructure Engineering. –2018. – Vol. 33, Issue 12. – P. 1127-1141. – DOI: 10.1111/mice.12387.
  5. Zhang, L. Road crack detection using deep convolutional neural network / L. Zhang, F. Yang, Y.D. Zhang, Y.J. Zhu // 2016 IEEE International Conference on Image Processing (ICIP). – 2016. – P. 3708-3712. – DOI: 10.1109/ICIP.2016.7533052.
  6. Ye, W. Convolutional neural network for pothole detection in asphalt pavement / W. Ye, W. Jiang, Z. Tong, D. Yuan, J. Xiao // Road Materials and Pavement Design. – 2021. – Vol. 22, Issue 1. – P. 42-58. – DOI: 10.1080/14680629.2019.1615533.
  7. Cha, Y.-J. Deep learning-based crack damage detection using convolutional neural networks / Y.-J. Cha, W. Choi, O. Büyüköztürk // Computer-Aided Civil and Infrastructure Engineering. – 2017. – Vol. 32, Issue 5. – P. 361-378. – DOI: 10.1111/mice.12263.
  8. Gopalakrishnan, K. Deep Convolutional Neural Networks with transfer learning for computer vision-based data-driven pavement distress detection / K. Gopalakrishnan, S. Khaitan, A. Choudhary, A. Agrawal // Construction and Building Materials. – 2017. – Vol. 157. – P. 322-330. – DOI: 10.1016/j.conbuildmat.2017.09.110.
  9. Varadharajan, S. Vision for road inspection / S. Varadharajan, S. Jose, K. Sharma, L. Wander, C. Mertz // IEEE Winter Conference on Applications of Computer Vision. – 2014. – P. 115-122. – DOI: 10.1109/WACV.2014.6836111.
  10. Anand, S. Crack-pot: autonomous road crack and pothole detection / S. Anand, S. Gupta, V. Darbari, S. Kohli // 2018 Digital Image Computing: Techniques and Applications (DICTA). – 2018. – P. 1-6. – DOI: 10.1109/DICTA.2018.8615819.
  11. Yang, F. Feature pyramid and hierarchical boosting network for pavement crack detection / F. Yang, L. Zhang, S. Yu, D. Prokhorov, X. Mei, H. Ling // IEEE Transactions on Intelligent Transportation Systems. – 2020. – Vol. 21, Issue 4. – P. 1525-1535. – DOI: 10.1109/TITS.2019.2910595.
  12. Соболь, Б.В. Модель глубокой сверточной нейронной сети в задаче сегментации трещин на изображениях асфальта / Б.В. Соболь, А.Н. Соловьев, П.В. Васильев, Л.А. Подколзина // Вестник Донского государственного технического университета. – 2019. – Т. 19, № 1. – C. 63-73. – DOI: 10.23947/1992-5980-2019-19-1-63-73.
  13. Zhang, K. CrackGAN: Pavement crack detection using partially accurate ground truths based on generative adversarial learning / K. Zhang, Y. Zhang, H.-D. Cheng // IEEE Transactions on Intelligent Transportation Systems. – 2021. – Vol. 22, Issue 2. – P. 1306-1319. – DOI: 10.1109/TITS.2020.2990703.
  14. Liu Y. DeepCrack: A deep hierarchical feature learning architecture for crack segmentation / Y. Liu, J. Yao, X. Lu, R. Xie, L. Li // Neurocomputing. – 2019. – Vol. 338. – P. 139-153. – DOI: 10.1016/j.neucom.2019.01.036.
  15. Dung, C.V. Autonomous concrete crack detection using deep fully convolutional neural network / C.V. Dung, L.D. Anh // Automation in Construction. – 2019. – Vol. 99. – P. 52-58. – DOI: 10.1016/j.autcon.2018.11.028.
  16. Gao, Z. Generative adversarial networks for road crack image segmentation / Z. Gao, B. Peng, T. Li, C. Gou // 2019 International Joint Conference on Neural Networks (IJCNN). – 2019. – P. 1-8. – DOI: 10.1109/IJCNN.2019.8851910.
  17. Mei, Q. A cost effective solution for pavement crack inspection using cameras and deep neural networks / Q. Mei, M. Gül // Construction and Building Materials. – 2020. – Vol. 256. – 119397. – DOI: 10.1016/j.conbuildmat.2020.119397.
  18. Majidifard, H. Pavement image datasets: A new benchmark dataset to classify and densify pavement distresses / H. Majidifard, P. Jin, Y. Adu-Gyamfi, W. Buttlar // Transportation Research Record: Journal of the Transportation Research Board. – 2020. – Vol. 2674, Issue 2. – P. 328-339. – DOI: 10.1177/0361198120907283.
  19. Канаева, И.А. Методы коррекции цвета и яркости при создании панорамных изображений / И.А. Канаева, Ю.А. Болотова // Компьютерная оптика. – 2018. – Т. 42, № 5. – С. 885-897. – DOI: 10.18287/2412-6179-2018-42-5-885-897.
  20. Dhiman, A. Pothole detection using computer vision and learning / A. Dhiman, R. Klette // IEEE Transactions on Intelligent Transportation Systems. – 2020. – Vol. 21, Issue 8. – P. 3536-3550. – DOI: 10.1109/TITS.2019.2931297.
  21. Coenen, T.B.J. A review on automated pavement distress detection methods / T.B.J. Coenen, A. Golroo // Cogent Engineering. – 2017. – Vol. 4, Issue 1. – 1374822 (23 p.). – DOI: 10.1080/23311916.2017.1374822.
  22. Sattar, S. Road surface monitoring using smartphone sensors: A review / S. Sattar, S. Li, M. Chapman // Sensors. – 2018. – Vol. 18, Issue 11. – 3845. – DOI: 10.3390/s18113845.
  23. Mohan, A. Crack detection using image processing: A critical review and analysis / A. Mohan, S. Poobal // Alexandria Engineering Journal. – 2018. – Vol. 57, Issue 2. – P. 787-798. – DOI: 10.1016/j.aej.2017.01.020.
  24. Cao, W. Review of pavement defect detection methods / W. Cao, Q. Liu, Z. He // IEEE Access. – 2020. – Vol. 8. – P. 14531-14544. – DOI: 10.1109/ACCESS.2020.2966881.
  25. Zou, Q. CrackTree: Automatic crack detection from pavement images / Q. Zou, Y. Cao, Q. Li, Q. Mao, S. Wang // Pattern Recognition Letters. – 2012. – Vol. 33, Issue 3. – P. 227-238. – DOI: 10.1016/j.patrec.2011.11.004
  26. Shi, Y. Automatic road crack detection using random structured forests / Y. Shi, L. Cui, Z. Qi, F. Meng, Z. Chen // IEEE Transactions on Intelligent Transportation Systems. – 2016. – Vol. 17, Issue 12. – P. 3434-3445. – DOI: 10.1109/TITS.2016.2552248.
  27. Maeda, H. Generative adversarial network for road damage detection / H. Maeda, T. Kashiyama, Y. Sekimoto, T. Seto, H. Omata // Computer-Aided Civil and Infrastructure Engineering. – 2021. – Vol. 36. – P. 47-60. – DOI: 10.1111/mice.12561.
  28. Tang, W. Iteratively optimized patch label inference network for automatic pavement disease detection / W. Tang, Q. Zhao, S. Huang, R. Li, L. Huangfu // arXiv Preprint. – 2021. – URL: https://arxiv.org/abs/2005.13298 (request date 01.06.2021).
  29. Arya, D. Transfer learning-based road damage detection for multiple countries / D. Arya, H. Maeda, S.K. Ghosh, D. Toshniwal, A. Mraz, T. Kashiyama, Y. Sekimoto // arXiv Preprint. – 2020. – URL: https://arxiv.org/abs/2008.13101 (request date 01.06.2021).
  30. Канаева, И.А. Сегментация изображений трещин дорожного покрытия / И.А. Канаева, Ю.А. Иванова // Труды конференции ГрафиКон-2019. – 2019. – Т. 1. – С. 131-135. – DOI: 10.30987/graphicon-2019-1-131-135.
  31. Cordts, M. The cityscapes dataset for semantic urban scene understanding / M. Cordts, M. Omran, S. Ramos, T. Rehfeld, M. Enzweiler, R. Benenson, U. Franke, S. Roth, B. Schiele // 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). – 2016. – P. 3213-3223. – DOI: 10.1109/CVPR.2016.350.
  32. Kluger, F. Region-based cycle-consistent data augmentation for object detection / F. Kluger, C. Reinders, K. Raetz, P. Schelske, B. Wandt, H. Ackermann, B. Rosenhahn // 2018 IEEE International Conference on Big Data (Big Data). – 2018. – P. 5205-5211. – DOI: 10.1109/BigData.2018.8622318.
  33. Neff, T. Generative adversarial network based synthesis for supervised medical image segmentation / T. Neff, C. Payer, D. Štern, M. Urschler // Proceedings of the OAGM&ARW Joint Workshop 2017: Vision, Automation and Robotics. – 2017. – P. 140-145. – DOI: 10.3217/978-3-85125-524-9-30.
  34. Goodfellow, I.J. GAN(Generative Adversarial Nets) / I.J. Goodfellow, J. Pouget-Abadie, M. Mirza, B. Xu, D. Warde-Farley, S. Ozair, A. Courville, Y. Bengio // Journal of Japan Society for Fuzzy Theory and Intelligent Informatics. – 2017. – Vol. 29, Issue 5. – P. 177. – DOI: 10.3156/jsoft.29.5_177_2.
  35. Odena, A. Deconvolution and checkerboard artifacts [Electronical Resource] / A. Odena, V.  Dumoulin, C. Olah // Distill. – 2016. – Vol. 1, Issue 10. – DOI: 10.23915/distill.00003. – URL: https://distill.pub/2016/deconv-checkerboard/ (request date 01.06.2021).
  36. Ахирвар, К. Состязательные сети. Проекты / К. Ахирвар. – ДМК-Пресс, 2018. – 252 с. – ISBN: 978-5-97060-783-1.
  37. van der Maaten, L. Visualizing data using t-SNE / L. van der Maaten, G. Hinton // Journal of Machine Learning Research. – 2008. – Vol. 9, Issue 86. – P. 2579-2605.
  38. Ronneberger, O. U-Net: Convolutional networks for biomedical image segmentation / O. Ronneberger, P. Fischer, T. Brox. – In: Medical image computing and computer-assisted intervention – MICCAI 2015 / ed. by N. Navab, J. Hornegger, W.M. Wells, A.F. Frangi. – Cham: Springer, 2015. – P. 234-241. – DOI: 10.1007/978-3-319-24574-4_28.
  39. Carole, H.S. Generalized Dice overlap as a deep learning loss function for highly unbalanced segmentations / H.S. Carole, L. Wenqi, T. Vercauteren, S. Ourselin, M.J. Cardoso // Deep Learning in Medical Image Analysis and Multimodal Learning for Clinical Decision Support. – 2017. – P. 240-248.
  40. Lin, T. Focal loss for dense object detection / T. Lin, P. Goyal, R. Girshick, H. Kaiming, P. Dollar // IEEE International Conference on Computer Vision (ICCV). – 2017. – P. 2999-3007. – DOI: 10.1109/ICCV.2017.324.

© 2009, IPSI RAS
Россия, 443001, Самара, ул. Молодогвардейская, 151; электронная почта: journal@computeroptics.ru; тел: +7 (846) 242-41-24 (ответственный секретарь), +7 (846) 332-56-22 (технический редактор), факс: +7 (846) 332-56-20