(45-4) 14 * << * >> * Русский * English * Содержание * Все выпуски

Стратегии формирования панорамного видеоизображения без учёта информации о сюжетных соответствиях в мультиспектральных системах с распределённой апертурой
И.А. Кудинов 1, М.Б. Никифоров 1, И.С. Холопов 1

1 Федеральное государственное бюджетное образовательное учреждение высшего образования
«Рязанский государственный радиотехнический университет имени В.Ф. Уткина»,
390005, Россия, г. Рязань, ул. Гагарина, д. 59/1

 PDF, 1800 kB

DOI: 10.18287/2412-6179-CO-846

Страницы: 589-599.

Аннотация:
Приведены аналитические выражения для расчета количества элементарных вычислительных операций, требуемых для формирования по двум альтернативным стратегиям нескольких персональных областей интереса пользователей панорамной обзорной системы технического зрения с распределённой апертурой: стратегия 1 – формирование полного панорамного кадра с последующим выделением персональных областей интереса, стратегия 2 – непосредственное формирование области интереса для каждого пользователя. Параметрами аналитических выражений являются количество камер распределённой системы, количество пользователей, разрешение кадров панорамы и пользователя. Полученные формулы для заданных параметров позволяют определить оптимальную по критерию минимума количества элементарных операций стратегию для формирования нескольких персональных областей интереса. Формирование области интереса основано только на априорной информации о внутренних и внешних параметрах камер, полученной в результате их фотограмметрической калибровки по универсальному тест-объекту, и не учитывает информации о сюжетных соответствиях на пересечениях их полей зрения.

Ключевые слова:
панорамное изображение, калибровка камеры, кватернионы.

Цитирование:
Кудинов, И.А. Стратегии формирования панорамного видеоизображения без учёта информации о сюжетных соответствиях в мультиспектральных системах с распределённой апертурой / И.А. Кудинов, М.Б. Никифоров, И.С. Холопов // Компьютерная оптика. – 2021. – Т. 45, № 4. – С. 589-599. – DOI: 10.18287/2412-6179-CO-846.

Citation:
Kudinov IA, Nikiforov MB, Kholopov IS. Strategies for generating panoramic video images without information about scene correspondences for multispectral distributed aperture systems. Computer Optics 2021; 45(4): 589-599. DOI: 10.18287/2412-6179-CO-846.

Литература:
  1. Лазаренко, В.П. Метод создания сферических панорам из изображений, полученных всенаправленными оптико-электронными системами / В.П Лазаренко, Т.С. Джамийков, В.В. Коротаев, С.Н. Ярышев // Научно-технический вестник информационных технологий, механики и оптики. – 2016. – Т. 16, № 1. – C. 46-53.
  2. Прудников, Н.В. Панорамные оптико-электронные устройства кругового и секторного обзора / Н.В. Прудников, В.Б. Шлишевский // Вестник СГУГиТ. – 2016. – Т. 33, Вып. 1. – С. 148-161.
  3. Павлов, О.В. Определение пространственного положения шлема в нашлемной информационно-управляющей системе / О.В. Павлов // Известия Тульского государственного университета. Технические науки. – 2018. – № 9. – С. 126-136.
  4. Helmet-mounted displays: sensation, perception, and cognition issues / ed. E.T. Rash, M.B. Russo, T.R. Letowski, E.T. Schmeisser. – 1st ed. – Fort Rucker: U.S. Army Aeromedical Research Laboratory, 2009. – 590 p.
  5. Еремеев, С.В. Алгоритм совмещения пространственных объектов разномасштабных карт на основе топологического анализа данных / С.В. Еремеев, Д.Е. Андрианов, В.С. Титов // Компьютерная оптика. – 2019. – Т. 43, № 6. – С. 1021-1029. – DOI: 10.18287/2412-6179-2019-43-6-1021-1029.
  6. Визильтер, Ю.В. Сравнение изображений по форме с использованием диффузной морфологии и диффузной корреляции / Ю.В. Визильтер, В.С. Горбацевич, А.Ю. Рубис, О.В. Выголов // Компьютерная оптика. – 2015. – Т. 39, № 2. – С. 265-274. – DOI: 10.18287/0134-2452-2015-39-2-265-274.
  7. Araújo, S.A. Grayscale template-matching invariant to rotation, scale, translation, brightness and contrast / S.A. Araújo, H.Y. Kim // IEEE Pacific-Rim Symposium on Image and Video Technology. – 2007. – Vol. 4872. – P. 100-113.
  8. Бессмельцев, В.П. Быстрый алгоритм совмещения изображений для контроля качества лазерной микрообработки / В.П. Бессмельцев, Е.Д. Булушев // Компьютерная оптика. – 2014. – Т. 38, № 2. – С. 343-350. – DOI: 10.18287/0134-2452-2014-38-2-343-350.
  9. Гошин, Е.В. Метод оценки параметров движения камеры по малому числу соответствующих точек с использованием кватернионов / Е.В. Гошин, А.П. Котов // Компьютерная оптика. – 2020. – Т. 44, № 3. – С. 446-453. – DOI: 10.18287/2412-6179-CO-683.
  10. Brown, M. Automatic panoramic image stitching using invariant features / M. Brown, D. Lowe // International Journal of Computer Vision. – 2007. – Vol. 74, Issue 1. – P. 59-73.
  11. Гошин, Е.В. Двухэтапное формирование пространственного преобразования для совмещения изображений // Е.В. Гошин, А.П. Котов, В.А. Фурсов // Компьютерная оптика. – 2014. – Т. 38, № 4. – С. 886-891. – DOI: 10.18287/0134-2452-2014-38-4-886-891.
  12. Ефимов, А.И. Алгоритм поэтапного уточнения проективного преобразования для совмещения изображений / А.И. Ефимов, А.И. Новиков // Компьютерная оптика. – 2016. – Т. 40, № 2. – С. 258-265. – DOI: 10.18287/2412-6179-2016-40-2-258-265.
  13. Donon, Y. Blur-robust image registration and stitching / Y. Donon, R. Paringer, A. Kupriyanov, Y. Goshin // Journal of Physics: Conference Series. – 2019 – Vol. 1368, Issue 5. – 052043. – DOI: 10.1088/1742-6596/1368/5/052043.
  14. Кудинов, И.А. Алгоритм формирования видеопанорамы и его программная реализация c применением технологии CUDA / И.А. Кудинов, О.В. Павлов, И.С. Холопов, М.Ю. Храмов. – В кн.: Информационные технологии и нанотехнологии ИТНТ-2017: сборник трудов III международной конференции и молодежной школы. – Самара: Новая техника, 2017. – С. 1580-1586.
  15. Кудинов, И.А. Формирование видеопанорамы по информации от разноспектральных камер / И.А. Кудинов, О.В. Павлов, И.С. Холопов, М.Ю. Храмов. – В кн.: Информационные технологии и нанотехнологии ИТНТ-2018: сборник трудов IV международной конференции и молодежной школы. – Самара: Новая техника, 2018. – С. 568-575.
  16. Kudinov, I.A. Camera and auxiliary sensor calibration for a multispectral panoramic vision system with a distributed aperture / I.A. Kudinov, M.B. Nikiforov, I.S. Kholopov // Journal of Physics: Conference Series. – 2019 – Vol. 1368, Issue 3. – 032009. – DOI: 10.1088/1742-6596/1368/3/032009.
  17. Совмещение изображений в корреляционно-экстремальных навигационных системах / под ред. Л.Н. Костяшкина, М.Б. Никифорова. – М.: Радиотехника, 2015. – 208 с.
  18. Обработка изображений в авиационных системах технического зрения / под ред. Л.Н. Костяшкина и М.Б. Никифорова. – М.: Физматлит. 2016. – 234 c.
  19. Brown, M. Multi-spectral SIFT for scene category recognition / M. Brown, S. Susstrunk // Proceedings of the 2011 IEEE Conference on Computer Vision and Pattern Recognition (CVPR’11). – 2011. – P. 177-184. – DOI: 10.1109/CVPR.2011.5995637.
  20. Efimov, A.I. Image superimposition technique in computer vision systems using contour analysis methods / A.I. Efimov, A.I. Novikov, V.A. Sablina // Proceedings of 5th Mediterranean Conference on Embedded Computing. – 2016. – P. 132-137. – DOI: 10.1109/MECO.2016.7525721.
  21. Efimov, A.I. Digital multispectral images superimposition based on preliminary calibration or contour analysis: advantages and disadvantages / A.I. Efimov, I.A. Kudinov, O.V. Melnik, M.B. Nikiforov, I.S. Kholopov // Proceedings of ELEKTRO 2020 Conference. – 2020. – P. 1-6. – DOI: 10.1109/ELEKTRO49696.2020.9130339.
  22. Szeliski, R. Image alignment and stitching: a tutorial / R. Szeliski // Foundations and trends in Computer Graphics and Vision. – 2006. – Vol. 2, Issue 1. – P. 1-104.
  23. Ikeda, S. High-resolution panoramic movie generation from video streams acquired by an omnidirectional multi-camera system / S. Ikeda, T. Sato, N. Yokoya // Proceedings of IEEE International Conference on Multisensor Fusion and Integration for Intelligent Systems (MFI’2003). – 2003. – P. 155-160. – DOI: 10.1109/MFI-2003.2003.1232649.
  24. Rehder, J. Camera/IMU calibration revisited / J. Rehder, R. Siegwart // IEEE Sensors Journal. – 2017. – Vol. 17, Issue 11. – P. 3257-3268.
  25. Xiao, Y. Online IMU self-calibration for visual-inertial systems / Y. Xiao, X. Ruan, J. Chai, X. Zhang, X. Zhu // Sensors. – 2019. – Vol. 19, Issue 1624. – P. 1-26.
  26. Hartley, R. Multiple view geometry in computer vision / R. Hartley, A. Zisserman. – 2nd ed. – Cambridge: Cambridge University Press, 2003. – 656 р. – DOI: 10.1017/CBO9780511811685.
  27. Li, J. A solution method for image distortion correction model based on bilinear interpolation / J. Li, J. Su, X. Zeng // Computer Optics. – 2019. – Vol. 43(1). – P. 99-104. – DOI: 10.18287/2412-6179-2019-43-1-99-104.
  28. Челноков, Ю.Н. Кватернионные и бикватернионные модели и методы механики твердого тела и их приложения. Геометрия и кинематика движения / Ю.Н. Челноков. – М.: Физматлит, 2006. – 512 с.
  29. Kuipers, J.B. Quaternions and rotation sequences: A primer with applications to orbits, aerospace and virtual reality / J.B. Kuipers. – 5th ed. – Princeton, Oxford: Princeton University, 2002. – 400 p.
  30. Patent CN 204287725. Device employing checkerboard for calibrating visible light camera and thermal infrared imager camera / D. Ming, W. Zhang, H. Zhong, H. Qi, S. Di, C. Yongfei, J. Xudong, C. Guojun, L. Fengyang, H. Ting, W. Hui, published of April 22, 2015.
  31. Patent CN 204301863. Novel parameter combined calibration board for visible light camera and infrared thermal imager camera / J.X. Zhang, W. Zhong, H. Qi, S. Di, C. Yongfei, D. Ming, C. Guojun, L. Fengyang, W. Jian, H. Ting, W. Hui, published of April 29, 2015.
  32. Vidas, S. A mask-based approach for the geometric calibration of thermal-infrared cameras / S. Vidas, R. Lakemond, S. Denman, C. Fookes, S. Sridharan, T. Wark // IEEE Transactions on Instrumentation and Measurement. – 2012. – Vol. 61, Issue 6. – P. 1625-1635. – DOI: 10.1109/TIM.2012.2182851.
  33. U.S. Patent 9,621,823 H 04 N 5/33, H 04 N 17/002, 34.8/164. Thermal camera calibration / D. Ramegowda, M.I. Mohideen, L.R. Boregowda, B. Sai, V.G. Venkoparao, filed of September 16, 2010, published of April 11, 2017.
  34. Choinowski, A. Automatic calibration and co-registration for a stereo camera system and a thermal imaging sensor using a chessboard / A. Choinowski, D. Dahlke, I. Ernst, S. Pless // Proceedings of the Int. Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences. – 2019. – Vol. XLII-2/W13. –P. 1631-1635. – DOI: 10.5194/isprs-archives-XLII-2-W13-1631-2019.
  35. Alekseev, A.P. Visual-inertial odometry algorithms on the base of thermal camera / A.P. Alekseev, E.V. Goshin, N.S. Davydov, N.A. Ivliev, A.V. Nikonorov // CEUR Workshop Proceedings. – 2019. – Vol. 2416. – P. 183-188. – DOI: 10.18287/1613-0073-2019-2416-183-188.
  36. St-Laurent, L. Passive calibration board for alignment of VIS-NIR, SWIR and LWIR images / L. St-Laurent, M. Mikhnevich, A. Bubel, D. Prevost // Quantitative InfraRed Thermography Journal. – 2017. – Vol. 14, Issue 2. – P. 193-205. – DOI: 10.1080/17686733.2017.1319529.
  37. Пат. 2672466 Российская Федерация G 06 T 7/80. Тестовый шаблон для калибровки видеодатчиков многоспектральной системы технического зрения / Кудинов И.А., Павлов О.В., Холопов И.С., № 2017145444, заявл. 22.12.2017, опубл. 14.11.2018, Бюл. № 32.
  38. Chen, Y. Plane chessboard-based calibration method for a LWIR ultra-wide-angle camera / Y. Chen, F.-y. Huang, F.-m. Shi, B.-q. Liu // Applied Optics. – 2019. – Vol. 58, Issue 4. – P. 744-751. – DOI: 10.1364/AO.58.000744.
  39. Zoetgnande, Y.W.K. Robust low-resolution thermal stereo camera calibration / Y.W.K. Zoetgnande, A.‑J. Fougeres, G. Cormier, J.L. Dillenseger: Proceedings of SPIE. – 2018. – Vol. 11041. – 110411D. – DOI: 10.1117/12.2523440.
  40. Patent CN 204695399. Camera calibration template / H. Wu, J. Zhang, Y. Zhao, X. Yu, B. He, published of October 07, 2015.
  41. BrightniteTM [Электронный ресурс]. – URL: https://elbitsystems.com/media/Brightnite_2016.pdf (дата обращения 20.09.2020).
  42. Макет видеопанорамы из 5 камер и тепловизора [Электронный ресурс]. – URL: https://www.youtube.com/watch?v=HHdj0JcKpI8 (дата обращения 22.04.2021).

© 2009, IPSI RAS
Россия, 443001, Самара, ул. Молодогвардейская, 151; электронная почта: journal@computeroptics.ru; тел: +7 (846) 242-41-24 (ответственный секретарь), +7 (846) 332-56-22 (технический редактор), факс: +7 (846) 332-56-20