(41-6) 13 * << * >> * Русский * English * Содержание * Все выпуски

Реконструкция изображений в дифракционно-оптических системах на основе сверточных нейронных сетей и обратной свертки
Никоноров А.В., Петров М.В., Бибиков С.А., Кутикова В.В., Морозов А.А., Казанский Н.Л.

 

Институт систем обработки изображений РАН – филиал ФНИЦ «Кристаллография и фотоника» РАН, Самара, Россия,
Самарский национальный исследовательский университет имени академика С.П. Королева, Самара, Россия

 PDF, 3 229 kB

DOI: 10.18287/2412-6179-2017-41-6-875-887

Страницы: 875-887.

Аннотация:
В последнее время появились прорывные работы, посвященные изображающим оптическим системам на основе однокомпонентных дифракционных структур, таких как зонные пластинки и линзы Френеля. Такие системы на порядки превосходят классические рефракционные аналоги по весу и стоимости, существенно уступая в качестве получаемых изображений вследствие сильных оптических искажений, присущих дифракционной оптике. В настоящей работе показано, что применение гармонических линз совместно с последующей вычислительной реконструкцией изображений позволяет существенно повысить качество получаемых изображений. Предлагаемый процесс реконструкции состоит из предварительного этапа цветовой коррекции зарегистрированного изображения и устранения хроматического размытия на основе обратной свертки и сверточных нейронных сетей. Подобное совершенствование технологии изготовления дифракционных объективов и алгоритмов реконструкции способствует появлению нового класса сверхлегких изображающих систем широкого спектра применения, от дистанционного зондирования для нано- и пикоспутников до систем видеонаблюдения и устройств для экстремальной журналистики.

Ключевые слова:
гармоническая линза, дистанционное зондирование, обратная свертка, глубинное обучение, оценка функции рассеяния точки, цветовая коррекция.

Цитирование:
Никоноров, А.В. Реконструкция изображений в дифракционно-оптических системах на основе сверточных нейронных сетей и обратной свертки / А.В. Никоноров, М.В. Петров, С.А. Бибиков, В.В. Кутикова, А.А. Морозов, Н.Л. Казанский // Компьютерная оптика. – 2017. – Т. 41, № 6. – С. 875-887. – DOI: 10.18287/2412-6179-2017-41-6-875-887.

Литература:

  1. Nikonorov, A. Fresnel lens imaging with post-capture image processing / A. Nikonorov, R. Skidanov, V. Fursov, M. Petrov, S. Bibikov, Y. Yuzifovich // Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition Workshops (CVPRW). – 2015. – P. 33-41. – DOI: 10.1109/CVPRW.2015.7301373.
  2. Hasinoff, S.W. Light-efficient photography / S.W. Hasinoff, K.N. Kutulakos // Proceedings of the European Conference on Computer Vision. – 2008. – P. 45-59. – DOI: 10.1007/978-3-540-88693-8_4.
  3. Wang, P. Chromatic-aberration-corrected diffractive lensesforultra-broadband focusing / P. Wang, N. Mohammad, R. Menon // Scientific Reports. – 2016. – Vol. 6. - 21545. - DOI: 10.1038/srep21545.
  4. Казанский, Н.Л. Формирование изображений дифракционной многоуровневой линзой / Н.Л. Казанский, С.Н. Хонина, Р.В. Скиданов, А.А. Морозов, С.И Харитонов, С.Г. Волотовский // Компьютерная оптика. – 2014. – Т. 38, № 3. – С. 425-434.
  5. Peng, Y. Computational imaging using lightweight diffractive-refractive optics / Y. Peng, Q. Fu, H. Amata, S. Su, F. Heide, W. Heidrich // Optics Express. – 2015. – Vol. 23, Issue 24. – P. 31393-31407. – DOI: 10.1364/OE.23.031393.
  6. Peng, Y. The diffractive achromat full spectrum computational imaging with diffractive optics / Y. Peng, Q. Fu, F. Heide, W. Heidrich // Proceedings of the SIGGRAPH ASIA 2016. – 2016. – P. 4. – DOI: 10.1145/2992138.2992145.
  7. Nikonorov, A. Comparative evaluation of deblurring techniques for Fresnel lens computational imaging / A. Nikonorov, M. Petrov, S. Bibikov, Y. Yuzifovich, P. Yakimov, N. Kazanskiy, R. Skidanov, V. Fursov // Proceedings of the 23rd International Conference on Pattern Recognition (ICPR). – 2016. – DOI: 10.1109/ICPR.2016.7899729.
  8. Heide, F. Encoded diffractive optics for full-spectrum computational imaging / F. Heide, Q. Fu, Y. Peng, W. Heidrich // Scientific Reports. – 2016. – Vol. 6. - 33543. - DOI: 10.1038/srep33543.
  9. Heide, F. FlexISP: A flexible camera image processing framework / F. Heide, M. Steinberger, Y.-T. Tsai, M. Rouf, D. Pajak, D. Reddy, O. Gallo, J. Liu, W. Heidrich, K. Egiazarian, J. Kautz, K. Pulli // ACM Transactions on Graphics. – 2014. – Vol. 33(6). – 231. – DOI: 10.1145/2661229.2661260.
  10. Chambolle, A. A first-order primal-dual algorithm for convex problems with applications to imaging / A. Chambolle, T. Pock // Journal of Mathematical Imaging and Vision. – 2011. – Vol. 40, Issue 1. – P. 120-145. – DOI: 10.1007/s10851-010-0251-1.
  11. Genevet, P. Recent advances in planar optics: from plasmonic to dielectric metasurfaces / P. Genevet, F. Capasso, F. Aieta, M. Khorasaninejad, R. Devlin // Optica. – 2017. –Vol. 4(1). – P. 139-152. – DOI: 10.1364/OPTICA.4.000139.
  12. Schuler, C.J. Learning to deblur / C.J. Schuler, M. Hirsch, S. Harmeling, B. Schölkopf // IEEE Transactions on Pattern Analysis and Machine Intelligence. – 2016. – Vol. 38, Issue 7. – P. 1439-1451. – DOI: 10.1109/TPAMI.2015.2481418.
  13. Dong, C. Image superresolution using deep convolutional networks / C. Dong, C.C. Loy, K. He, X. Tang // IEEE Transactions on Pattern Analysis and Machine Intelligence. – 2015. – Vol. 38, Issue 2. – P. 295-307. - DOI: 10.1109/TPAMI.2015.2439281.
  14. Kim, J. Accurate image super-resolution using very deep convolutional networks / J. Kim, J.K. Lee, K.M. Lee // 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). – 2016. – P. 1646-1654. – DOI: 10.1109/CVPR.2016.182.
  15. Lai, W.-S. Deep laplacian pyramid networks for fast and accurate super-resolution [Electronical Resource] / W.-S. Lai, J.-B. Huang, N. Ahuja, M.-H. Yang. – 2017. – URL: https://arxiv.org/pdf/1704.03915.pdf (request date 06.10.2017).
  16. Yuan, Y. Hyperspectral Image Superresolution by Transfer Learning / Y. Yuan, X. Zheng, X. Lu // IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing. – 2017. – Vol. 10, Issue 5. – P. 1963-1974. – DOI: 10.1109/JSTARS.2017.2655112.
  17. Sweeney, D.W. Harmonic diffractive lenses / D.W. Swee­ney, G.E. Sommargren // Applied Optics. – 1995. – Vol. 34, Issue 14. – P. 2469-2475. – DOI: 10.1364/AO.34.002469.
  18. Computer design of diffractive optics / Ed. by V.A. Soifer. – Cambridge: Woodhead Publishing, 2012. – 896 p. – ISBN: 978-1-845696351, DOI: 10.1533/9780857093745.
  19. Poleshchuk, A.G. Diffractive optical elements: fabrication and application / A.G. Poleshchuk, V.P. Korolkov, R.K. Nasyrov // Proceedings of SPIE. – 2014. – Vol. 9283 – 928302. – DOI: 10.1117/12.2073301.
  20. Nikonorov, A. Correcting color and hyperspectral images with identification of distortion model / A. Nikonorov, S. Bibikov, V. Myasnikov, Y. Yuzifovich, V. Fursov // Pattern Recognition Letters. – 2016. – Vol. 83, Part 2. – P. 178-187. - DOI: 10.1016/j.patrec.2016.06.027.
  21. Харитонов, С.И. Геометрооптический расчет фокального пятна гармонической дифракционной линзы / С.И. Харитонов, С.Г. Волотовский, С.Н. Хонина // Компьютерная оптика. – 2016. – Т. 40, № 3. – С. 331-337. – DOI: 10.18287/2412-6179-2016-40-3-331-337.
  22. Chakrabarti, A. Fast deconvolution with color constraints on gradients / A. Chakrabarti, T. Zickler // Harvard Computer Science Group Technical Report TR-06-12. – 2012.
  23. Krishnan, D. Fast image deconvolution using Hyper-Laplacian priors / D. Krishnan, R. Fergus // Proceedings of the Proceedings of the 22nd International Conference on Neural Information Processing Systems. – 2009. – P. 1033-1041.
  24. He, K. Guided image filtering / K. He, J. Sun, X. Tang // IEEE Transactions on Pattern Analysis and Machine Intelligence. – 2013. – Vol. 35, Issue 6. – P. 1397-1409. – DOI: 10.1109/TPAMI.2012.213.
  25. Van De Weijer, J. Edge-based color constancy / J. Van De Weijer, T. Gevers, A. Gijsenij // IEEE Transactions on Image Processing. – 2007. – Vol. 16, Issue 9. – P. 2207-2214. – DOI: 10.1109/TIP.2007.901808.
  26. Deqing, S. Secrets of optical flow estimation and their principles / S. Deqing, S. Roth, M.J. Black // Proceedings of the 2010 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). – 2010. – P. 2432-2439. – DOI: 10.1109/CVPR.2010.5539939.
  27. He, K. Delving deep into rectifiers: Surpassing human-level performance on imagenet classification / K. He, X. Zhang, S. Ren, J. Sun // Proceedings of the 2015 IEEE International Conference on Computer Vision (ICCV). – 2015. – P. 1026-1034. – DOI: 10.1109/ICCV.2015.123.
  28. Kingma, D.P. Adam: A method for stochastic optimization [Electronical Resource] / D.P. Kingma, J.L. Ba. – 2017. – URL: https://arxiv.org/pdf/1412.6980.pdf (дата обращения 06.10.2017).
  29. Han, S. Learning both weights and connections for efficient neural network / S. Han, J. Pool, J. Tran, W. Dally // Proceedings of the Advances in Neural Information Processing Systems. – 2015. – P. 1135-1143.
© 2009, IPSI RAS
Россия, 443001, Самара, ул. Молодогвардейская, 151; электронная почта: journal@computeroptics.ru ; тел: +7 (846) 242-41-24 (ответственный секретарь), +7 (846) 332-56-22 (технический редактор), факс: +7 (846) 332-56-20