(45-6) 15 * << * >> * Русский * English * Содержание * Все выпуски

Сегментация дефектов дорожного покрытия на основе формирования синтетических выборок с помощью глубоких генеративно-состязательных свёрточных сетей
И.А. Канаева 1, Ю.А. Иванова 1, В.Г. Спицын 1,2

1 Национальный исследовательский Томский политехнический университет,
634050, Россия, г. Томск, пр. Ленина, д. 30,

2 Национальный исследовательский Томский государственный университет,
634050, Россия, г. Томск, пр. Ленина, д. 36

 PDF, 2814 kB

DOI: 10.18287/2412-6179-CO-844

Страницы: 907-916.

Аннотация:
В данной работе рассматривается комплекс задач обнаружения различных дефектов дорожного полотна автомобильных дорог и современные методы их решения. Представленное сравнение общедоступных наборов данных позволяет сделать вывод о сложности и малой разработанности задачи сегментации дефектов дорожного покрытия по изображению общего вида автомобильных дорог. Для решения данной проблемы разработаны алгоритмы генерации синтетического набора данных для сегментации дефектов классов трещин и выбоин на основе методов компьютерной графики и генеративно-состязательных сетей. Проведено сравнение точности сегментации дефектов дорожного покрытия полносверточной нейронной сетью U-Net на реальном и комбинированных наборах данных.

Ключевые слова:
сегментация, дефекты дорожного покрытия, синтетическая выборка, генеративно-состязательные сети, сверточные нейронные сети.

Благодарности
Исследование выполнено при финансовой поддержке РФФИ в рамках научного проекта № 18-08-00977 А и в рамках Программы повышения конкурентоспособности ТПУ.

Цитирование:
Канаева, И.А. Сегментация дефектов дорожного покрытия на основе формирования синтетических выборок с помощью глубоких генеративно-состязательных свёрточных сетей / И.А. Канаева, Ю.А. Иванова, В.Г. Спицын // Компьютерная оптика. – 2021. – Т. 45, № 6. – С. 907-916. – DOI: 10.18287/2412-6179-CO-844.

Citation:
Kanaeva IA, Ivanova YuA, Spitsyn VG. Deep convolutional generative adversarial network-based synthesis of datasets for road pavement distress segmentation. Computer Optics 2021; 45(6): 907-916. DOI: 10.18287/2412-6179-CO-844.

Литература:
  1. Azimi, M. Data-driven structural health monitoring and damage detection through deep learning: State-of-the-art review / M. Azimi, A. Eslamlou, G. Pekcan // Sensors. – 2020. – Vol. 20, Issue 10. – 2778. – DOI: 10.3390/s20102778.
  2. Eisenbach, M. How to get pavement distress detection ready for deep learning? A systematic approach / M. Eisenbach, R. Stricker, D. Seichter, K. Amende, K. Debes, M. Sesselmann, D. Ebersbach, U. Stoeckert, H. Gross // 2017 International Joint Conference on Neural Networks (IJCNN). – 2017. – P. 2039-2047. – DOI: 10.1109/IJCNN.2017.7966101.
  3. Stricker, R. Improving visual road condition assessment by extensive experiments on the extended GAPs dataset / R. Stricker, M. Eisenbach, M. Sesselmann, K. Debes, H. Gross // 2019 International Joint Conference on Neural Networks (IJCNN). – 2019. – P. 1-8. – DOI: 10.1109/IJCNN.2019.8852257.
  4. Maeda, H. Road damage detection and classification using deep neural networks with smartphone images / H. Maeda, Y. Sekimoto, T. Seto, T. Kashiyama, H. Omata // Computer-Aided Civil and Infrastructure Engineering. –2018. – Vol. 33, Issue 12. – P. 1127-1141. – DOI: 10.1111/mice.12387.
  5. Zhang, L. Road crack detection using deep convolutional neural network / L. Zhang, F. Yang, Y.D. Zhang, Y.J. Zhu // 2016 IEEE International Conference on Image Processing (ICIP). – 2016. – P. 3708-3712. – DOI: 10.1109/ICIP.2016.7533052.
  6. Ye, W. Convolutional neural network for pothole detection in asphalt pavement / W. Ye, W. Jiang, Z. Tong, D. Yuan, J. Xiao // Road Materials and Pavement Design. – 2021. – Vol. 22, Issue 1. – P. 42-58. – DOI: 10.1080/14680629.2019.1615533.
  7. Cha, Y.-J. Deep learning-based crack damage detection using convolutional neural networks / Y.-J. Cha, W. Choi, O. Büyüköztürk // Computer-Aided Civil and Infrastructure Engineering. – 2017. – Vol. 32, Issue 5. – P. 361-378. – DOI: 10.1111/mice.12263.
  8. Gopalakrishnan, K. Deep Convolutional Neural Networks with transfer learning for computer vision-based data-driven pavement distress detection / K. Gopalakrishnan, S. Khaitan, A. Choudhary, A. Agrawal // Construction and Building Materials. – 2017. – Vol. 157. – P. 322-330. – DOI: 10.1016/j.conbuildmat.2017.09.110.
  9. Varadharajan, S. Vision for road inspection / S. Varadharajan, S. Jose, K. Sharma, L. Wander, C. Mertz // IEEE Winter Conference on Applications of Computer Vision. – 2014. – P. 115-122. – DOI: 10.1109/WACV.2014.6836111.
  10. Anand, S. Crack-pot: autonomous road crack and pothole detection / S. Anand, S. Gupta, V. Darbari, S. Kohli // 2018 Digital Image Computing: Techniques and Applications (DICTA). – 2018. – P. 1-6. – DOI: 10.1109/DICTA.2018.8615819.
  11. Yang, F. Feature pyramid and hierarchical boosting network for pavement crack detection / F. Yang, L. Zhang, S. Yu, D. Prokhorov, X. Mei, H. Ling // IEEE Transactions on Intelligent Transportation Systems. – 2020. – Vol. 21, Issue 4. – P. 1525-1535. – DOI: 10.1109/TITS.2019.2910595.
  12. Соболь, Б.В. Модель глубокой сверточной нейронной сети в задаче сегментации трещин на изображениях асфальта / Б.В. Соболь, А.Н. Соловьев, П.В. Васильев, Л.А. Подколзина // Вестник Донского государственного технического университета. – 2019. – Т. 19, № 1. – C. 63-73. – DOI: 10.23947/1992-5980-2019-19-1-63-73.
  13. Zhang, K. CrackGAN: Pavement crack detection using partially accurate ground truths based on generative adversarial learning / K. Zhang, Y. Zhang, H.-D. Cheng // IEEE Transactions on Intelligent Transportation Systems. – 2021. – Vol. 22, Issue 2. – P. 1306-1319. – DOI: 10.1109/TITS.2020.2990703.
  14. Liu Y. DeepCrack: A deep hierarchical feature learning architecture for crack segmentation / Y. Liu, J. Yao, X. Lu, R. Xie, L. Li // Neurocomputing. – 2019. – Vol. 338. – P. 139-153. – DOI: 10.1016/j.neucom.2019.01.036.
  15. Dung, C.V. Autonomous concrete crack detection using deep fully convolutional neural network / C.V. Dung, L.D. Anh // Automation in Construction. – 2019. – Vol. 99. – P. 52-58. – DOI: 10.1016/j.autcon.2018.11.028.
  16. Gao, Z. Generative adversarial networks for road crack image segmentation / Z. Gao, B. Peng, T. Li, C. Gou // 2019 International Joint Conference on Neural Networks (IJCNN). – 2019. – P. 1-8. – DOI: 10.1109/IJCNN.2019.8851910.
  17. Mei, Q. A cost effective solution for pavement crack inspection using cameras and deep neural networks / Q. Mei, M. Gül // Construction and Building Materials. – 2020. – Vol. 256. – 119397. – DOI: 10.1016/j.conbuildmat.2020.119397.
  18. Majidifard, H. Pavement image datasets: A new benchmark dataset to classify and densify pavement distresses / H. Majidifard, P. Jin, Y. Adu-Gyamfi, W. Buttlar // Transportation Research Record: Journal of the Transportation Research Board. – 2020. – Vol. 2674, Issue 2. – P. 328-339. – DOI: 10.1177/0361198120907283.
  19. Канаева, И.А. Методы коррекции цвета и яркости при создании панорамных изображений / И.А. Канаева, Ю.А. Болотова // Компьютерная оптика. – 2018. – Т. 42, № 5. – С. 885-897. – DOI: 10.18287/2412-6179-2018-42-5-885-897.
  20. Dhiman, A. Pothole detection using computer vision and learning / A. Dhiman, R. Klette // IEEE Transactions on Intelligent Transportation Systems. – 2020. – Vol. 21, Issue 8. – P. 3536-3550. – DOI: 10.1109/TITS.2019.2931297.
  21. Coenen, T.B.J. A review on automated pavement distress detection methods / T.B.J. Coenen, A. Golroo // Cogent Engineering. – 2017. – Vol. 4, Issue 1. – 1374822 (23 p.). – DOI: 10.1080/23311916.2017.1374822.
  22. Sattar, S. Road surface monitoring using smartphone sensors: A review / S. Sattar, S. Li, M. Chapman // Sensors. – 2018. – Vol. 18, Issue 11. – 3845. – DOI: 10.3390/s18113845.
  23. Mohan, A. Crack detection using image processing: A critical review and analysis / A. Mohan, S. Poobal // Alexandria Engineering Journal. – 2018. – Vol. 57, Issue 2. – P. 787-798. – DOI: 10.1016/j.aej.2017.01.020.
  24. Cao, W. Review of pavement defect detection methods / W. Cao, Q. Liu, Z. He // IEEE Access. – 2020. – Vol. 8. – P. 14531-14544. – DOI: 10.1109/ACCESS.2020.2966881.
  25. Zou, Q. CrackTree: Automatic crack detection from pavement images / Q. Zou, Y. Cao, Q. Li, Q. Mao, S. Wang // Pattern Recognition Letters. – 2012. – Vol. 33, Issue 3. – P. 227-238. – DOI: 10.1016/j.patrec.2011.11.004
  26. Shi, Y. Automatic road crack detection using random structured forests / Y. Shi, L. Cui, Z. Qi, F. Meng, Z. Chen // IEEE Transactions on Intelligent Transportation Systems. – 2016. – Vol. 17, Issue 12. – P. 3434-3445. – DOI: 10.1109/TITS.2016.2552248.
  27. Maeda, H. Generative adversarial network for road damage detection / H. Maeda, T. Kashiyama, Y. Sekimoto, T. Seto, H. Omata // Computer-Aided Civil and Infrastructure Engineering. – 2021. – Vol. 36. – P. 47-60. – DOI: 10.1111/mice.12561.
  28. Tang, W. Iteratively optimized patch label inference network for automatic pavement disease detection / W. Tang, Q. Zhao, S. Huang, R. Li, L. Huangfu // arXiv Preprint. – 2021. – URL: https://arxiv.org/abs/2005.13298 (request date 01.06.2021).
  29. Arya, D. Transfer learning-based road damage detection for multiple countries / D. Arya, H. Maeda, S.K. Ghosh, D. Toshniwal, A. Mraz, T. Kashiyama, Y. Sekimoto // arXiv Preprint. – 2020. – URL: https://arxiv.org/abs/2008.13101 (request date 01.06.2021).
  30. Канаева, И.А. Сегментация изображений трещин дорожного покрытия / И.А. Канаева, Ю.А. Иванова // Труды конференции ГрафиКон-2019. – 2019. – Т. 1. – С. 131-135. – DOI: 10.30987/graphicon-2019-1-131-135.
  31. Cordts, M. The cityscapes dataset for semantic urban scene understanding / M. Cordts, M. Omran, S. Ramos, T. Rehfeld, M. Enzweiler, R. Benenson, U. Franke, S. Roth, B. Schiele // 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). – 2016. – P. 3213-3223. – DOI: 10.1109/CVPR.2016.350.
  32. Kluger, F. Region-based cycle-consistent data augmentation for object detection / F. Kluger, C. Reinders, K. Raetz, P. Schelske, B. Wandt, H. Ackermann, B. Rosenhahn // 2018 IEEE International Conference on Big Data (Big Data). – 2018. – P. 5205-5211. – DOI: 10.1109/BigData.2018.8622318.
  33. Neff, T. Generative adversarial network based synthesis for supervised medical image segmentation / T. Neff, C. Payer, D. Štern, M. Urschler // Proceedings of the OAGM&ARW Joint Workshop 2017: Vision, Automation and Robotics. – 2017. – P. 140-145. – DOI: 10.3217/978-3-85125-524-9-30.
  34. Goodfellow, I.J. GAN（Generative Adversarial Nets） / I.J. Goodfellow, J. Pouget-Abadie, M. Mirza, B. Xu, D. Warde-Farley, S. Ozair, A. Courville, Y. Bengio // Journal of Japan Society for Fuzzy Theory and Intelligent Informatics. – 2017. – Vol. 29, Issue 5. – P. 177. – DOI: 10.3156/jsoft.29.5_177_2.
  35. Odena, A. Deconvolution and checkerboard artifacts [Electronical Resource] / A. Odena, V.  Dumoulin, C. Olah // Distill. – 2016. – Vol. 1, Issue 10. – DOI: 10.23915/distill.00003. – URL: https://distill.pub/2016/deconv-checkerboard/ (request date 01.06.2021).
  36. Ахирвар, К. Состязательные сети. Проекты / К. Ахирвар. – ДМК-Пресс, 2018. – 252 с. – ISBN: 978-5-97060-783-1.
  37. van der Maaten, L. Visualizing data using t-SNE / L. van der Maaten, G. Hinton // Journal of Machine Learning Research. – 2008. – Vol. 9, Issue 86. – P. 2579-2605.
  38. Ronneberger, O. U-Net: Convolutional networks for biomedical image segmentation / O. Ronneberger, P. Fischer, T. Brox. – In: Medical image computing and computer-assisted intervention – MICCAI 2015 / ed. by N. Navab, J. Hornegger, W.M. Wells, A.F. Frangi. – Cham: Springer, 2015. – P. 234-241. – DOI: 10.1007/978-3-319-24574-4_28.
  39. Carole, H.S. Generalized Dice overlap as a deep learning loss function for highly unbalanced segmentations / H.S. Carole, L. Wenqi, T. Vercauteren, S. Ourselin, M.J. Cardoso // Deep Learning in Medical Image Analysis and Multimodal Learning for Clinical Decision Support. – 2017. – P. 240-248.
  40. Lin, T. Focal loss for dense object detection / T. Lin, P. Goyal, R. Girshick, H. Kaiming, P. Dollar // IEEE International Conference on Computer Vision (ICCV). – 2017. – P. 2999-3007. – DOI: 10.1109/ICCV.2017.324.

© 2009, IPSI RAS
Россия, 443001, Самара, ул. Молодогвардейская, 151; электронная почта: journal@computeroptics.ru; тел: +7 (846) 242-41-24 (ответственный секретарь), +7 (846) 332-56-22 (технический редактор), факс: +7 (846) 332-56-20