(45-5) 08 * << * >> * Русский * English * Содержание * Все выпуски

Метод оптимального линейного сверхразрешающего восстановления изображений
А.И. Максимов 1, В.В. Сергеев 1,2

1 Самарский национальный исследовательский университет имени академика С.П. Королёва,
443086, Россия, г. Самара, Московское шоссе, д. 34,
2 ИСОИ РАН – филиал ФНИЦ «Кристаллография и фотоника» РАН,
443001, Россия, г. Самара, ул. Молодогвардейская, д. 151

 PDF, 1731 kB

DOI: 10.18287/2412-6179-CO-909

Страницы: 692-701.

Аннотация:
В статье предлагается метод сверхразрешения (измельчения сетки пикселов) цифровых изображений, основанный на применении линейной фильтрации к дискретному сигналу, дополненному нулями между отсчетами (пикселами). Для синтеза восстанавливающей системы вводится в рассмотрение непрерывно-дискретная модель наблюдения, характерная для реальных систем формирования изображений, в соответствии с которой изначально непрерывный сигнал сначала претерпевает линейные (динамические) искажения, а затем подвергается дискретизации и воздействию аддитивного шума. Для такой модели наблюдения строится процедура оптимального по критерию среднеквадратического отклонения процедура восстановления. Использование непрерывно-дискретной модели позволяет более адекватно описать искажения изображений, а также оценить остаточную погрешность такого восстановления, что полезно для решения ряда других задач (например, комплексирования изображений). В теоретической части статьи приводится общая схема линейного сверхразрешения сигнала, выводятся выражения для импульсной и частотной характеристики оптимальной восстанавливающей системы, а также для ошибки такого восстановления. Для краткости изложения материала всё описание ведется для одномерного сигнала, но полученные результаты предполагают естественное обобщение на случай двумерных изображений. Расчетный параграф статьи посвящен анализу ошибки сверхразрешающего восстановления в зависимости от параметров модели наблюдения. Продемонстрировано существенное превосходство предлагаемого метода по точности в сравнении с линейной интерполяцией, обычно применяемой при измельчении сетки пикселов изображения.

Ключевые слова:
цифровые изображения, сверхразрешение, непрерывно-дискретная модель наблюдения, линейная система, оптимальное восстановление, импульсная характеристика, частотная характеристика, ошибка оптимального восстановления.

Благодарности
Исследование выполнено при финансовой поддержке РФФИ в рамках научного проекта № 19-31-90113 в частях «Введение», «Общая схема линейного сверхразрешения сигнала», «Непрерывно-дискретная линейная модель наблюдения сигнала», «Оптимальное восстановление дискретных значений непрерывного сигнала», «Оптимальное восстановление дискретных значений непрерывного сигнала – анализ в спектральной области», «Ошибка оптимального восстановления», «Оптимальное восстановление полного непрерывного сигнала», проекта № 19-07-00474 в части «Исследование предлагаемого метода».

Цитирование:
Максимов, А.И. Метод оптимального линейного сверхразрешающего восстановления изображений / А.И. Максимов, В.В. ергеев // Компьютерная оптика. – 2021. – Т. 45, № 5. – С. 692-701. – DOI: 10.18287/2412-6179-CO-909.

Citation:
Maksimov AI, Sergeyev VV. A method for optimal linear super-resolution image restoration. Computer Optics 2021; 45(5): 692-701. DOI: 10.18287/2412-6179-CO-909.

Литература:
  1. Isaac, J.S. Super resolution techniques for medical image processing / J.S. Isaac, R. Kulkarni // 2015 International Conference on Technologies for Sustainable Development (ICTSD). – 2015. – 7095900. – DOI: 10.1109/ICTSD.2015.7095900.
  2. Sano, Y. Super-resolution method and its application to medical image processing / Y. Sano, T. Mori, T. Goto, S. Hirano, K. Funahashi // 2017 IEEE 6th Global Conference on Consumer Electronics (GCCE). – 2017. – P. 1-2. – DOI: 10.1109/GCCE.2017.8229301.
  3. Chainais, P. Quantitative control of the error bounds of a fast super-resolution technique for microscopy and astronomy / P. Chainais, P. Pfennig, A. Leray // 2014 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). – 2014. – P. 2853-2857. – DOI: 10.1109/ICASSP.2014.6854121.
  4. Shen, H. Super-resolution reconstruction algorithm to MODIS remote sensing images / H. Shen, M.K. Ng, P. Li, L. Zhang // Computer Journal. – 2009. – Vol. 52, Issue 1. – P. 90-100. – DOI: 10.1093/comjnl/bxm028.
  5. Shi, F. Fast super-resolution reconstruction for video-based pattern recognition / F. Shi, J. Yuan, X. Zhu // 2008 Fourth International Conference on Natural Computation. – 2008. – Vol. 4. – P. 135-139. – DOI: 10.1109/ICNC.2008.553.
  6. Zamani, N.A. Multiple-frames super-resolution for closed circuit television forensics / N.A. Zamani, M.Z.A. Darus, S.N.H. Abdullah, M.J. Nordin // 2011 International Conference on Pattern Analysis and Intelligence Robotics. – 2011. – Vol. 1. – P. 36-40. – DOI: 10.1109/ICPAIR.2011.5976908.
  7. Kim, S.P. Reconstruction of 2-D bandlimited discrete signals from nonuniform samples / S.P. Kim, N.K. Bose // IEE Proceedings F (Radar and Signal Processing). – 1990. – Vol. 137, Issue 3. – P. 197-204. – DOI: 10.1049/ip-f-2.1990.0030.
  8. Bose, N.K. Super-resolution with second generation wavelets / N.K. Bose, S. Lertrattanapanich, M.B. Chappali // Signal Processing: Image Communication. – 2004. – Vol. 19. – P. 387-391. – DOI: 10.1016/j.image.2004.02.001.
  9. Stark, H. High resolution image recovery from image-plane arrays, using convex projections / H. Stark, P. Oskoui  // Journal of the Optical Society of America A. – 1989. – Vol. 6. – P. 1715-1726. – DOI: 10.1364/JOSAA.6.001715.
  10. Elad, M. Restoration of a single superresolution image from several blurred, noisy, and undersampled measured images / M. Elad, A. Feuer // IEEE Transactions on Image Processing. – 1997. – Vol. 6, Issue 12. – P. 1646-1658. – DOI: 10.1109/83.650118.
  11. Segall, C.A. Bayesian high-resolution reconstruction of low-resolution compressed video / C.A. Segall, R. Molina, A.K. Katsaggelos, J. Mateos // Proceedings 2001 International Conference on Image Processing. – 2001. – Vol. 2. – P. 25-28. – DOI: 10.1109/ICIP.2001.958415.
  12. Tsai, R.Y. Multiple frame image restoration and registration / R.Y. Tsai, T.S. Huang. – In: Advances in computer vision and image processing. – Greenwich, CT: JAI Press Inc., 1984. – P. 317-339.
  13. Bevilacqua, M. Low-complexity single-image super-resolution based on non-negative neighbor embedding / M. Bevilacqua, A. Roumy, C. Guillemot, M.L. Alberi-Morel // Proceedings British Machine Vision Conference. – 2012. – 135 (10 p.). – DOI: 10.5244/C.26.135.
  14. Timofte, R. A+: Adjusted anchored neighborhood regression for fast super-resolution / R. Timofte, V. De Smet, L. Van Gool. – In: Computer vision – ACCV 2014 / ed. by D. Cremers, I. Reid, H. Saito, M.-H. Yang. – New York: Springer, 2015. – P. 111-126. – DOI: 10.1007/978-3-319-16817-3_8.
  15. Timofte, R. Anchored neighborhood regression for fast example-based super-resolution / R. Timofte, V. De Smet, L. Van Gool // 2013 IEEE International Conference on Computer Vision. – 2013. – P. 1920-1927. – DOI: 10.1109/ICCV.2013.241.
  16. Kim, J. Deeply-recursive convolutional network for image super-resolution / J. Kim, J.K. Lee, K.M. Lee // 2016 IEEE Conference on Computer Vision and Pattern Recognition. – 2016. – P. 1637-1645.
  17. Dong, C. Learning a deep convolutional network for image super-resolution,/ C. Dong, C.C. Loy, K. He, X. Tang. – In: Computer Vision – ECCV 2014 ed. by D. Fleet, T. Pajdla, B. Schiele, T. Tuytelaars. – Cham: Springer, 2014. – P. 184-199. – DOI: 10.1007/978-3-319-10593-2_13.
  18. Tai, Y. Image super-resolution via deep recursive residual network / Y. Tai, J. Yang, X. Liu // 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). – 2017. – P. 3147-3155. – DOI: 10.1109/CVPR.2017.298.
  19. Han, W. Image super-resolution via dual-state recurrent networks / W. Han, S. Chang, D. Liu, M. Yu, M. Witbrock, T.S. Huang // 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. – 2018. – P. 1654-1663. – DOI: 10.1109/CVPR.2018.00178.
  20. Wan, J. Progressive residual networks for image super-resolution / J. Wan, H. Yin, A.-X. Chong, Z.-H. Liu  // Applied Intelligence. – 2020. – Vol. 50. – P. 1620-1632. – DOI: 10.1007/s10489-019-01548-8.
  21. Ren, H. Image super resolution based on fusing multiple convolution neural networks / H. Ren, M. El-Khamy, J. Lee // 2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops (CVPRW). – 2017. – P. 1050-1057. – DOI: 10.1109/CVPRW.2017.142.
  22. Ulyanov, D. Deep image prior / D. Ulyanov, A. Vedaldi, V. Lempitsky // IEEE Conference on Computer Vision and Pattern Recognition (CVPR). – 2018. – P. 9446-9454. – DOI: 10.1109/CVPR.2018.00984.
  23. Bulat, A. To learn image super-resolution, use a GAN to learn how to do image degradation first / A. Bulat, J. Yang, G. Tzimiropoulos. – In: Computer Vision – ECCV 2018 / ed. by V. Ferrari, M. Hebert, C. Sminchisescu, Y. Weiss. – Cham: Springer, 2018. – P. 187-202. – DOI: 10.1007/978-3-030-01231-1_12.
  24. Kim, J. Deep learning of human visual sensitivity in image quality assessment framework / J. Kim, S. Lee // 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). – 2017. – P. 1969-1977. – DOI: 10.1109/CVPR.2017.213.
  25. Huang, H. Wavelet-SRNet: A wavelet-based CNN for multi-scale face super resolution / H. Huang, R. He, Z. Sun, T. Tan // 2017 IEEE International Conference on Computer Vision (ICCV). – 2017. – P. 1698-1706. – DOI: 10.1109/ICCV.2017.187.
  26. Kawulok, M. Deep learning for multiple-image super-resolution / M. Kawulok, P. Beneck, K. Hrynczenko, D. Kostrzewa, J. Nalepa // IEEE Geoscience and Remote Sensing Letters. – 2019. – Vol. 17, Issue 6. – P. 1062-1066. – DOI: 10.1109/LGRS.2019.2940483.
  27. Greaves, A. Multi-frame video super-resolution using convolutional neural networks [Electronical Resource] / A. Greaves, H. Winter. – URL: http://cs231n.stanford.edu/reports/2016/pdfs/212Report.pdf, (request date 2020-07-11).
  28. Morin, R. Motion estimation-based image enhancement in ultrasound imaging / R. Morin, A. Basarab, S. Bidon, D. Kouamé // Ultrasonics. – 2015. – Vol. 60. – P. 19-26. – DOI: 10.1016/j.ultras.2015.02.003.
  29. Rossi, M. Graph-based light field super-resolution / M. Rossi, P. Frossard // 2017 IEEE 19th International Workshop on Multimedia Signal Processing (MMSP). – 2017. – P. 1-6. – DOI: 10.1109/MMSP.2017.8122224.
  30. Zhou, S. Multiframe super resolution reconstruction method based on light field angular images / S. Zhou, Y. Yuan, L. Su, X. Ding, J. Wang // Optics Communications. – 2017. – Vol. 404. – P. 189-195. – DOI: 10.1016/j.optcom.2017.03.019.
  31. Quevedo, E. Approach to super-resolution through the concept of multicamera imaging / E. Quevedo, G. Marrero, F. Tobajas. – In: Recent advances in image and video coding / ed. by S. Radhakrishnan. – Chap. 5. – InTech Open, 2016. – P. 101-123. – DOI: 10.5772/65442.
  32. Белов, А.М. Спектральное и пространственное сверхразрешение при комплексировании данных ДЗЗ различных источников / А.М. Белов, А.Ю. Денисова // Компьютерная оптика. – 2018. – Т. 42, № 5. – С. 855-863. – DOI: 10.18287/2412-6179-2018-42-5-855-863.
  33. Иванков, А.Ю. Алгоритм построения сверхразрешения изображений в условиях ложных наблюдений / А.Ю. Иванков, А.А. Сирота // Вестник Воронежского Государственного университета. Серия: Системный анализ и информационные технологии. – 2014. – № 3. – C. 91-99.
  34. Ращупкин, А.В. Методы обработки данных дистанционного зондирования для повышения качества выходных изображений / А.В. Ращупкин // Вестник Самарского университета. Аэрокосмическая техника, технологии и машиностроение. – 2010. – Т. 2, № 22. – С. 124-134.
  35. Maksimov, A. Optimal fusing of video sequence images / A. Maksimov, V. Sergeyev // 2020 International Conference on Information Technology and Nanotechnology (ITNT). – 2020. – P. 1-4. – DOI: 10.1109/ITNT49337.2020.9253202.
  36. Методы компьютерной обработки изображений / М.В. Гашников, Н.И. Глумов, Н.Ю. Ильясова, В.В. Мясников, С.Б. Попов, В.В. Сергеев, В.А. Сойфер, А.Г. Храмов, А.В. Чернов, В.М. Чернов, М.А. Чичева, В.А. Фурсов, под ред. В.А. Сойфера. – М.: Физматлит, 2003. – 784 с. – ISBN: 5-9221-0270-2.
  37. Sergeyev, V.V. Comparison of optimum reconstruction filters for discrete and continuous-discrete linear observation models / V.V. Sergeyev, A.I. Maksimov // Journal of Physics: Conference Series. – 2018. – Vol. 1096. – 012031. – DOI: 10.1088/1742-6596/1096/1/012031.

© 2009, IPSI RAS
Россия, 443001, Самара, ул. Молодогвардейская, 151; электронная почта: journal@computeroptics.ru; тел: +7 (846) 242-41-24 (ответственный секретарь), +7 (846) 332-56-22 (технический редактор), факс: +7 (846) 332-56-20