(49-5) 14 * << * >> * Русский * English * Содержание * Все выпуски

Изучение эффективности восстановления изображений в методе однопиксельной визуализации с помощью генеративных состязательных сетей
Д.В. Бабухин 1, А.А. Реутов 1, Д.В. Сыч 1

1 Физический институт им. П.Н. Лебедева Российской академии наук,
119991, Россия, г. Москва, Ленинский пр-т, д. 53

  PDF, 2338 kB

DOI: 10.18287/2412-6179-CO-1526

Страницы: 818-825.

Аннотация:
Однопиксельная визуализация является перспективным методом получения изображений, представляющим альтернативу традиционным методам визуализации с помощью многопиксельных матриц. Однако алгоритмическое восстановление изображения из измерений однопиксельной камеры является нетривиальной вычислительной задачей, для решения которой недавно стали применяться методы машинного обучения. В данной работе исследовалась возможность восстановления изображения в методе однопиксельной визуализации с помощью генеративных состязательных нейронных сетей. Для этого с использованием компьютерного моделирования однопиксельной камеры оценивалась эффективность восстановления изображений при помощи двух архитектур генеративных сетей – глубокой сверточной генеративной состязательной сети и генеративной состязательной сети наименьших квадратов. Было установлено, что генеративная состязательная сеть наименьших квадратов демонстрирует лучшее качество восстановления изображения по сравнению с глубокой сверточной генеративной состязательной сетью, однако при учете оптических искажений глубокая сверточная состязательная сеть стабильнее обучается до более высокого качества по сравнению с генеративной состязательной сетью наименьших квадратов. Полученные в работе результаты могут послужить основой для создания программного обеспечения, требуемого при практическом применении однопиксельной камеры.

Ключевые слова:
однопиксельная визуализация, восстановление изображений, генеративные состязательные сети, коррекция аппаратных искажений.

Благодарности
Исследование выполнено за счет гранта Российского научного фонда № 23-22-00381, https://rscf.ru/project/23-22-00381/.

Цитирование:
Бабухин, Д.В. Изучение эффективности восстановления изображений в методе однопиксельной визуализации с помощью генеративных состязательных сетей / Д.В. Бабухин, А.А. Реутов, Д.В. Сыч // Компьютерная оптика. – 2025. – Т. 49, № 5. – С. 818-825. – DOI: 10.18287/2412-6179-CO-1526.

Citation:
Babukhin DV, Reutov AA, Sych DV. Study of image reconstruction efficiency in single-pixel imaging method using generative adversarial networks. Computer Optics 2025; 49(5): 818-825. DOI: 10.18287/2412-6179-CO-1526.

References:
  1. Duarte MF, Davenport MA, Takhar D, Laska JN, Sun T, Kelly KF, Baraniuk RG. Single-pixel imaging via compressive sampling. IEEE Signal Process Mag 2008; 25(2): 83-91. DOI: 10.1109/MSP.2007.914730.
  2. Aksenov MD, Sych DV. Optimal data acquisition methods for single-pixel imaging. J Russ Laser Res 2018; 39: 492-498. DOI: 10.1007/s10946-018-9744-y.
  3. Sych D, Aksenov M. Computational imaging with a single-pixel detector and a consumer video projector. AIP Conf Proc 2018; 1936(1): 020016. DOI: 10.1063/1.5025454.
  4. Shcherbatenko M, Elezov M, Manova N, Sedykh K, Korneev A, Korneeva Yu, Dryazgov M, Simonov N, Feimov A, Goltsman G, Sych D. Single-pixel camera with a large-area microstrip superconducting single photon detector on a multimode fiber. Appl Phys Lett 2021; 118(18), 181103. DOI: 10.1063/5.0046049.
  5. Bian L, Suo J, Situ G, Li Z, Fan J, Chen F, Dai Q. Multispectral imaging using a single bucket detector. Sci Rep 2016; 6: 24752. DOI: 10.1038/srep24752.
  6. Zhang Z, Liu S, Peng J, Yao M, Zheng G, Zhong J. Simultaneous spatial, spectral, and 3D compressive imaging via efficient Fourier single-pixel measurements. Optica 2018; 5(3): 315-319. DOI: 10.1364/OPTICA.5.000315.
  7. Zhang Y, Edgar MP, Sun B, Radwell N, Gibson GM, Padgett MJ. 3D single-pixel video. J Opt 2016; 18(3): 035203. DOI: 10.1088/2040-8978/18/3/035203.
  8. Greenberg J, Krishnamurthy K, Brady D. Compressive single-pixel snapshot x-ray diffraction imaging. Opt Lett 2013; 39(1): 111-114. DOI: 10.1364/OL.39.000111.
  9. Olbinado MP, Paganin DM, Cheng Y, Rack A. X-ray phase-contrast ghost imaging using a single-pixel camera. Optica 2021; 8(12): 1538-1544. DOI: 10.1364/OPTICA.437481.
  10. Lyu M, Wang W, Wang H, Wang H, Li G, Chen N, Situ G. Deep-learning-based ghost imaging. Sci Rep 2017; 7: 17865. DOI: 10.1038/s41598-017-18171-7.
  11. He Y, Wang G, Dong G, Zhu S, Chen H, Zhang A, Xu Z. Ghost imaging based on deep learning. Sci Rep 2018; 8: 6469. DOI: 10.1038/s41598-018-24731-2.
  12. Shimobaba T, Endo Y, Nishitsuji T, Takahashi T, Nagahama Y, Hasegawa S, Sano M, Hirayama R, Kakue T, Shiraki A, Ito T. Computational ghost imaging using deep learning. Opt Commun 2018; 413: 147-151. DOI: 10.1016/j.optcom.2017.12.041.
  13. Zhang Z, Li X, Zheng S, Yao M, Zheng G, Zhong J. Image-free classification of fast-moving objects using “learned” structured illumination and single-pixel detection. Opt Express 2020; 28(9): 13269-13278. DOI: 10.1364/OE.392370.
  14. Higham CF, Murray-Smith R, Padgett MJ, Edgar MP. Deep learning for real-time single-pixel video. Sci Rep 2018; 8: 2369. DOI: 10.1038/s41598-018-20521-y.
  15. Radwell N, Johnson SD, Edgar MP, Higham CF, Murray-Smith R, Padgett MJ. Deep learning optimized single-pixel LiDAR. Appl Phys Lett 2019; 115(23): 231101. DOI: 10.1063/1.5128621.
  16. Zhao M, Li F, Huo F, Tian Z. Generative adversarial network-based single-pixel imaging. Soc for Inf Disp 2022; 30(8): 648-656. DOI: 10.1002/jsid.1128.
  17. Sun S, Yan Q, Zheng Y, Wei Z, Lin J, Cai Y. Single pixel imaging based on generative adversarial network optimized with multiple prior information. IEEE Photonics J 2022; 14(4): 8538110. DOI: 10.1109/JPHOT.2022.3184947.
  18. Lu Y, Tan B, Ding S, Li Y. SPI-CGAN: Single-pixel imaging based on conditional generative adversarial network. J Phys: Conf Ser 2022; 2216: 012092. DOI: 10.1088/1742-6596/2216/1/012092.
  19. Radford A, Metz L, Chintala S. Unsupervised representation learning with deep convolutional generative adversarial networks. arXiv Preprint. 2015. Source: <https://arxiv.org/abs/1511.06434>. DOI: 10.48550/arXiv.1511.06434.
  20. Mao X, et al. Least squares generative adversarial networks. 2017 IEEE Int Conf on Computer Vision (ICCV)2017: 2813-2821. DOI: 10.1109/ICCV.2017.304.
  21. Ledig C, et al. Photo-realistic single image super-resolution using a generative adversarial network. 2017 IEEE Conf on Computer Vision and Pattern Recognition (CVPR) 2017: 105-114. DOI: 10.1109/CVPR.2017.19.
  22. Sych D. Optimization of compressed sampling in single-pixel imaging. Bull Lebedev Phys Inst. 23024; 51: 202-205. DOI: 10.3103/S1068335624600463.
  23. Reutov AA, Babukhin DV, Sych DV. Object classification using a single-pixel camera and neural networks. Computer Optics 2025; 49(3): 517-524. DOI: 10.18287/2412-6179-CO-1538.

© 2009, IPSI RAS
Россия, 443001, Самара, ул. Молодогвардейская, 151; электронная почта: journal@computeroptics.ru; тел: +7 (846) 242-41-24 (ответственный секретарь), +7 (846) 332-56-22 (технический редактор), факс: +7 (846) 332-56-20