(45-3) 10 * << * >> * Русский * English * Содержание * Все выпуски

Автоматическая калибровка системы видеокамер и лидаров для автономных мобильных комплексов
Ю.Б. Блохинов 1, Е.Э. Андриенко 1, К.К. Казахмедов 1, Б.В. Вишняков 1

1 Государственный научно-исследовательский институт авиационных систем,
Государственный научный центр Российской Федерации (ГНЦ ФГУП «Гос НИИАС»),
125319, Россия, г. Москва, ул. Викторенко, д. 7

 PDF, 5477 kB

DOI: 10.18287/2412-6179-CO-812

Страницы: 382-393.

Аннотация:
Автономная навигация беспилотных автомобилей является в настоящее время одной из наиболее интересных научных и технических задач, и это тем более справедливо, если движение осуществляется на пересеченной местности. Как правило, подобные комплексы оснащаются различными сенсорами, работающими одновременно, а для сбора и анализа данных различной природы разрабатывается сложное программное обеспечение. Для совместного использования данных от множества камер и лидаров необходимо обеспечить их взаимную привязку в единой системе координат. Эта задача решается в процессе калибровки системы. Общая идея заключается в том, чтобы поместить в поле зрения сенсоров объект специального вида, характерные точки которого могут детектироваться автоматически с разных точек съемки всеми сенсорами. Тогда вариативная съемка объекта позволяет создать необходимое число связующих точек для взаимной привязки сенсоров. В данной работе представлена технология автоматической калибровки системы съемочных камер и лидаров при помощи оригинального калибровочного объекта. Приведены результаты экспериментов, подтверждающие достаточно высокую точность калибровки.

Ключевые слова:
мобильный комплекс, автономная навигация, сбор и анализ данных, камеры, лидары, автоматическая калибровка системы, калибровочный стенд, маркеры, светоотражающие метки.

Благодарности
Работа выполнена при финансовой поддержке РНФ (проект № 16-11-00082).

Цитирование:
Блохинов, Ю.Б. Автоматическая калибровка системы видеокамер и лидаров для автономных мобильных комплексов / Ю.Б. Блохинов, Е.Э. Андриенко, К.К. Казахмедов, Б.В. Вишняков // Компьютерная оптика. – 2021. – Т. 45, № 3. – С. 382-393. – DOI: 10.18287/2412-6179-CO-812.

Citation:
Blokhinov YB, Andrienko EE, Kazakhmedov KK, Vishnyakov BV. Automatic calibration of multiple cameras and LIDARs for autonomous vehicles. Computer Optics 2021; 45(3): 382-393. DOI: 10.18287/2412-6179-CO-812.

Литература:
  1. Pusztai, Z. Accurate calibration of LiDAR-camera systems using ordinary boxes / Z. Pusztai, L. Hajder // IEEE International Conference on Computer Vision Workshops. – 2017. – P. 394-402. – DOI: 10.1109/ICCVW.2017.53.
  2. Park, Y. Calibration between color camera and 3D LIDAR instruments with a polygonal planar board / Y. Park, S. Yun, C.S. Won, K. Cho, K. Um, S. Sim // Sensors. – 2014. – Vol. 14, Issue 3. – P. 5333-5353. – DOI: 10.3390/s140305333.
  3. Pereira, M. Self calibration of multiple LIDARs and cameras on autonomous vehicles / M. Pereira, D. Silva, V. Santos, [et al.] // Robotics & Autonomous Systems. – 2016. – Vol. 83. – P. 326-337. – DOI: 10.1016/j.robot.2016.05.010.
  4. Xu, Z. A method of extrinsic calibration between a four-layer laser range finder and a camera / Z. Xu, X. Li // Proceedings of the 33rd Chinese Control Conference. – 2014. – P. 7450-7455. – DOI: 10.1109/ChiCC.2014.6896239.
  5. Абраменко, А.А. Калибровка взаимного расположения стереокамеры и трёхмерного сканирующего лазерного дальномера / А.А. Абраменко // Компьютерная оптика. – 2019. – Т. 43, № 2. – С. 220-230. – DOI: 10.18287/2412-6179-2019-43-2-220-230.
  6. Guindel, C. Automatic extrinsic calibration for lidar-stereo vehicle sensor setups / C. Guindel, J. Beltrán, D. Martín, F. García // IEEE International Conference on Intelligent Transportation Systems. – 2017. – P. 674-679.
  7. Chai, Z. A novel method for LiDAR camera calibration by plane fitting / Z. Chai; Y. Sun; Z. Xiong // Proceedings of the 2018 IEEE/ASME International Conference on Advanced Intelligent Mechatronics. – 2018. – P. 286-291.
  8. Dhall, A. LiDAR-camera calibration using 3D-3D point correspondences [Электронный ресурс] / K. Chelani, V. Radhakrishnan. – 2017. – URL: https://arxiv.org/pdf/1705.09785.pdf (дата обращения 04.09.2020).
  9. Garrido-Jurado, S. Automatic generation and detection of highly reliable fiducial markers under occlusion / S. Garrido-Jurado, R. Muñoz-Salinas, F. Madrid-Cuevas, M. Marín-Jiménez // Pattern Recognition. – 2014. – Vol. 47, Issue 6. – P. 2280-2292. – DOI: 10.1016/j.patcog.2014.01.005.
  10. Romero-Ramirez, F. Speeded up detection of squared fiducial markers / F. Romero-Ramirez, R. Muñoz-Salinas, R. Medina-Carnicer // Image and Vision Computing. – 2018. – Vol. 76. – P. 38-47.
  11. Vishnyakov, B. Semantic scene understanding for the autonomous platform / B. Vishnyakov, Y. Blokhinov, I. Sgibnev, V. Sheverdin, A. Sorokin, A. Nikanorov, P. Masalov, K. Kazakhmedov, S. Brianskiy, Е. Andrienko, Y. Vizilter // The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences. – 2020. – Vol. XLIII, Pt. B2. – P. 637-644.
  12. Sgibnev, I. Deep semantic segmentation for the off-road autonomous driving / I. Sgibnev, A. Sorokin, B. Vishnyakov, Y. Vizilter // The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences. – 2020. – Vol. XLIII, Pt. B2. – P. 617-622.
  13. Библиотека обработки изображений OpenCV [Электронный ресурс]. – URL: http://opencv.org/ (дата обращения 04.09.2020).
  14. Canny, J.A. Computational approach to edge detection / J.A. Canny // IEEE Transactions on Pattern Analysis and Machine Intelligence. – 1986. – Vol. 8, Issue 6. – P. 679-698.
  15. Fischler, M.A. Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography / M.A. Fischler, R.C. Bolles // Communications of the ACM. – 1981. – Vol. 24. – P. 381-395.
  16. Библиотека работы с облаком точек [Электронный ресурс]. – URL:http://pointclouds.org/documentation/ (дата обращения 04.09.2020).
  17. Kneip, L. A novel parametrization of the perspective-three-point problem for a direct computation of absolute camera position and orientation / L. Kneip, D. Scaramuzza, R. Siegwart // Proceeding CVPR'11 Proceedings of the 2011 IEEE Conference on Computer Vision and Pattern Recognition. – 2011. – P. 2969-2976.
  18. Открытая библиотека OpenMVG [Электронный ресурс]. – URL: https://github.com/openMVG/ (дата обращения 04.09.2020).
  19. Umeyama, S. Least-squares estimation of transformation parameters between two point patterns / S. Umeyama // IEEE Transactions on Pattern Analysis and Machine Intelligence. – 1991. – Vol. 13, Issue 4. – P. 376-380.
  20. Открытая библиотека Eigen [Электронный ресурс]. – URL: http://eigen.tuxfamily.org/index.php?title=Main_Page/ (дата обращения 04.09.2020).
  21. Triggs, B. Bundle adjustment – A modern synthesis / B. Triggs, P. McLauchlan, R. Hartley, A. Fitzgibbon // ICCV'99: Proceedings of the International Workshop on Vision Algorithms. – 1999. – P. 298-372.

© 2009, IPSI RAS
Россия, 443001, Самара, ул. Молодогвардейская, 151; электронная почта: journal@computeroptics.ru; тел: +7 (846) 242-41-24 (ответственный секретарь), +7 (846) 332-56-22 (технический редактор), факс: +7 (846) 332-56-20