(45-1) 15 * << * >> * Русский * English * Содержание * Все выпуски

Нейросетевая реконструкция видеопотока в дифракционных оптических системах массового производства
В.В. Евдокимова 1,2, М.В. Петров 1,2, М.А. Клюева 1,2, Е.Ю. Зыбин 3, В.В. Косьянчук 3, И.Б. Мищенко 3, В.М. Новиков 3, Н.И. Сельвесюк 3, Е.И. Ершов 4, Н.А. Ивлиев 1,2, Р.В. Скиданов 1,2, Н.Л. Казанский 1,2, А.В. Никоноров 1,2

1 Самарский национальный исследовательский университет имени академика С.П. Королёва,
443086, Россия, г. Самара, Московское шоссе, д. 34,

2 Институт систем обработки изображений РАН – филиал ФНИЦ «Кристаллография и фотоника» РАН,
443001, Россия, г. Самара, Молодогвардейская, д. 151,

3 ФГУП Государственный научно-исследовательский институт авиационных систем,
125319, Россия, г. Москва, ул. Викторенко, д. 7,

4 Институт проблем передачи информации имени А.А. Харкевича РАН,
127051, Россия, г. Москва, Большой Каретный переулок, д. 19, стр. 1

 PDF, 4967 kB

DOI: 10.18287/2412-6179-CO-834

Страницы: 130-141.

Аннотация:
Возможность существенно снизить массу и стоимость систем технического зрения привела к появлению большого числа работ, посвященных разработке новых оптических схем на основе дифракционной оптики и новых подходов к реконструкции получаемых изображений. Получаемые системы демонстрируют достаточное для прикладных систем технического зрения качество изображений. Однако при создании таких прикладных систем возможны источники дополнительных потерь качества получаемого видеопотока. В настоящей работе исследовано влияние на итоговое качество реконструируемого видеопотока таких факторов, как ограничения технологии массового производства дифракционной оптики, артефактов сжатия видеопотока с потерями, а также особенностей нейросетевого подхода к реконструкции. Предложена сквозная нейросетевая технология реконструкции изображений, позволяющая компенсировать дополнительные факторы потери качества и получить итоговый видеопоток с качеством, достаточным для решения прикладных задач технического зрения.

Ключевые слова:
дифракционная оптика, дифракционные линзы, нейросетевая реконструкция, обработка изображений.

Благодарности
Теоретическая часть работы и разработка нейросетевых моделей выполнена при поддержке гранта РНФ 20-69-47110, экспериментальная часть выполнена при поддержке грантов РФФИ № 18-07-01390-А, а также в рамках государственного задания ИСОИ РАН – филиала Федерального научно-исследовательского центра «Кристаллография и фотоника» РАН (соглашение № 007-ГЗ/Ч3363/26).

Цитирование:
Евдокимова, В.В. Нейросетевая реконструкция видеопотока в дифракционных оптических системах массового производства / В.В. Евдокимова, М.В. Петров, М.А. Клюева, Е.Ю. Зыбин, В.В. Косьянчук, И.Б. Мищенко, В.М. Новиков, Н.И. Сельвесюк, Е.И. Ершов, Н.А. Ивлиев, Р.В. Скиданов, Н.Л. Казанский, А.В. Никоноров // Компьютерная оптика. – 2021. – Т. 45, № 1. – С. 130-141. – DOI: 10.18287/2412-6179-CO-834.

Citation:
Evdokimova VV, Petrov MV, Klyueva MA, Zybin EY, Kosianchuk VV, Mishchenko IB, Novikov VM, Selvesiuk NI, Ershov EI, Ivliev NA, Skidanov RV, Kazanskiy NL, Nikonorov AV. Deep learning-based video stream reconstruction in mass production diffractive optical systems. Computer Optics 2021; 45(1): 130-141. DOI: 10.18287/2412-6179-CO-834.

Литература:
  1. Nikonorov, A. Deep learning-based imaging using single-lens and multi-aperture diffractive optical systems / A. Nikonorov, V. Evdokimova, M. Petrov, P. Yakimov, S. Bibikov, Y. Yuzifovich, R. Skidanov, N. Kazanskiy // 2019 IEEE/CVF International Conference on Computer Vision Workshop (ICCVW). – 2019. – P. 3969-3977. – DOI: 10.1109/ICCVW.2019.00491.
  2. Nikonorov, A. Deep learning-based image reconstruction for multi-aperture diffractive lens / A. Nikonorov, V. Evdokimova, M.  Petrov, S. Bibikov, A. Alekseev, R. Skidanov, N. Kazanskiy // Journal of Physics: Conference Series. – 2019. – Vol. 1368. – 052031. – DOI: 10.1088/1742-6596/1368/5/052031.
  3. Nikonorov, A. Fresnel lens imaging with post-capture image processing / A. Nikonorov, R. Skidanov, V. Fursov, M. Petrov, S. Bibikov, Y. Yuzifovich // Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition Workshops (CVPRW). – 2015. – P. 33-41. – DOI: 10.1109/CVPRW.2015.7301373.
  4. Nikonorov, A. Toward ultralightweight remote sensing with harmonic lenses and convolutional neural networks / A. Nikonorov, M. Petrov, S. Bibikov, P. Yakimov, V. Kutikova, Y. Yuzifovich, A. Morozov, R. Skidanov, N. Kazanskiy // IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing. – 2018. – Vol. 11, Issue 9. – P. 3338-3348. – DOI: 10.1109/JSTARS.2018.2856538.
  5. Genevet, P. Recent advances in planar optics: from plasmonic to dielectric metasurfaces / P. Genevet, F. Capasso, F. Aieta, M. Khorasaninejad, R. Devlin // Optica. – 2017. – Vol. 4, Issue 1. – P. 139-152.
  6. Peng, Y. Computational imaging using lightweight diffractive-refractive optics / Y. Peng, Q. Fu, H. Amata, Sh. Su, F. Heide, W. Heidrich // Optics Express. – 2015. – Vol. 23, Issue 24. – P. 31393-31407.
  7. Sun, T. Revisiting cross-channel information transfer for chromatic aberration correction / T. Sun, Y. Peng, W. Heidrich // IEEE International Conference on Computer Vision (ICCV). – 2017. – P. 3268-3276. – DOI: 10.1109/ICCV.2017.352.
  8. Rao, K.R. Video coding standards. AVS China, H.264/MPEG-4 PART 10, HEVC, VP6, DIRAC and VC-1. / K.R. Rao, D.N. Kim, J.J. Hwang. – Dordrecht, Heidelberg, New York, London: Springer, 2013. – 499p.
  9. Naeem, R. Quality of experience evaluation of H.265/MPEG-HEVC and VP9 comparison efficiency / R. Naeem, P. Zeeshan, A. Abbes // 2014 26th International Conference on Microelectronics (ICM). – 2015. – DOI: 10.1109/ICM.2014.7071846.
  10. Bienik, J. Impact of constant rate factor on objective video quality assessment / J. Bienik, M. Uhrina, P. Kortis // Advances in Electrical and Electronic Engineering. – 2017. – Vol. 15, Issue 4. – P. 673-682. – DOI: 10.15598/aeee.v15i4.2387.
  11. Nikonorov, A. Towards multi-aperture imaging using diffractive lens / A. Nikonorov, R. Skidanov, V. Kutikova, M. Petrov, A. Alekseev, S. Bibikov, N. Kazanskiy // Proceeding of SPIE. – 2019. – Vol. 11146. – 111460Y. – DOI: 10.1117/12.2526923.
  12. Tan, J. Face detection and verification using lensless cameras / J. Tan, L. Niu, J.K. Adams, V.Boominathan, J.T. Robinson, R.G. Baraniuk, A. Veeraraghavan // IEEE Transactions on Computational Imaging. – 2018. – Vol. 5, Issue 2. – P. 180-194.
  13. Sweeney, D.W. Harmonic diffractive lenses / D.W. Sweeney, G.E. Sommargen // Applied Optics. – 1995. – Vol. 34, Issue 14. – P. 2469-2475. – DOI: 10.1364/AO.34.002469.
  14. Isola, P. Image-to-image translation with conditional adver-sarialnetwoks / P. Isola, J.-Y. Zhu, T. Zhou, A. Efros. – arXiv Preprint v3. – 2018. – URL: https://arxiv.org/abs/1611.07004 (request date 2.11.2020).
  15. Kim, J. Accurate image super-resolution using very deep convolutional networks / J. Kim, J. Lee, K. Lee // IEEE Conference on Computer Vision and Pattern Recognition. – 2016. – arXiv Preprint v2. – URL: https://arxiv.org/abs/1511.04587 (request date 2.11.2020).
  16. Tai, Y. Image super-resolution via deep recursive residual network / Y. Tai, J. Yang, X. Liu // IEEE Conference on Computer Vision and Pattern Recognition. – 2017. – P. 2790-2798. – DOI: 10.1109/CVPR.2017.298.
  17. Nikonorov, A. Comparative evaluation of deblurring techniques for fresnel lens computational imaging / A. Nikonorov, M. Petrov, S. Bibikov, Y. Yuzifovich, P. Yakimov, N. Kazanskiy, R. Skidanov, V. Fursov // 2016 23rd International Conference on Pattern Recognition (ICPR). – 2016. – P. 775-780. – DOI: 10.1109/ICPR.2016.7899729.
  18. Ronneberger, O. U-Net: Convolutional networks for biomedical image segmentation / O. Ronneberger, P. Fischer, T. Brox. – In: Medical image computing and computer-assisted intervention – MICCAI 2015 / ed. by N. Navab, J. Hornegger, W.M. Wells, A.F. Frangi. – New York, Dordrecht, London: Springer, 2015. – P. 234-241. – DOI: 10.1007/978-3-319-24574-4_28.
  19. Zhao, H. Loss functions for image restoration with neural networks / H. Zhao, O. Gallo, I. Frosio, J. Kautz // IEEE Transactions on Computational Imaging. – 2016. – Vol. 3. – P. 47-57. – DOI: 10.1109/TCI.2016.2644865.
  20. Wang, Z. Image quality assessment: from error visibility to structural similarity / Z. Wang, A.C. Bovik, H.R. Sheikh, E.P. Simoncelli // IEEE Transactions on Image Processing. – 2004. – Vol. 13, Issue 4. – P. 600-612. – DOI: 10.1109/TIP.2003.819861.
  21. Wang, Z. Multiscale structural similarity for image quality assessment / Z. Wang, E.P. Simoncelli, A.C. Bovik // Conference Record of the Thirty-Seventh Asilomar Conference on Signals, Systems and Computers. – 2003. – Vol. 2. – P. 1398-1402. – DOI: 10.1109/ACSSC.2003.1292216.
  22. Huber, P.J. Robust estimation of a location parameter / P.J. Huber // The Annals of Mathematical Statistics. – 1964. –Vol. 35, Issue 1. – P. 73-101.
  23. Kingma, D.P. Adam: A method for stochastic optimization / D.P. Kingma, J. Ba // Proceedings of the 3rd International Conference on Learning Representations (ICLR 2015). – 2017. – arXiv Preprint v9. – URL: https://arxiv.org/abs/1412.6980 (request date 2.11.2020).
  24. Dun, X. Learned rotationally symmetric diffractive achromat for full-spectrum computational imaging / X. Dun, H. Ikoma, G. Wetzstein, Z. Wang, X. Cheng, Y. Peng // Optica. – 2020. – Vol. 7, Issue 8. – P. 913-922. – DOI: 10.1364/OPTICA.394413.
  25. Li, R. DeepUNet: A deep fully convolutional network for pixel-level sea-land segmentation / R. Li, W. Liu, L. Yang, S. Sun, W. Hu, F. Zhang, W. Li // Computer Science: Computer Vision and Pattern Recognition (cs.CV). – 2017. – arXiv Preprint. – URL: https://arxiv.org/abs/1709.00201 (request date 2.11.2020).
  26. Peng, Y. Learned large field-of-view imaging with thin-plate optics / Y. Peng, Q. Sun, X. Dun, G. Wetzstein, F. Heide // ACM Transactions on Graphics. – 2019. – Vol. 38, Issue 6. – 219. – DOI: 10.1145/3355089.3356526.

© 2009, IPSI RAS
Россия, 443001, Самара, ул. Молодогвардейская, 151; электронная почта: journal@computeroptics.ru ; тел: +7 (846) 242-41-24 (ответственный секретарь), +7 (846) 332-56-22 (технический редактор), факс: +7 (846) 332-56-20