(49-2) 04 * << * >> * Русский * English * Содержание * Все выпуски

Оптическая классификация изображений на различных длинах волн с использованием спектральных дифракционных нейронных сетей
Г.А. Мотз 1,2, Д.В. Сошников 1,2, Л.Л. Досколович 1,2, Е.В. Бызов 1,2, Е.А. Безус 1,2, Д.А. Быков 1,2

1 Институт систем обработки изображений, НИЦ «Курчатовский институт»,
443001, Россия, г. Самара, ул. Молодогвардейская, д. 151;
2 Самарский национальный исследовательский университет имени академика С.П. Королёва,
443086, Россия, г. Самара, Московское шоссе, д. 34

  PDF, 2081 kB

DOI: 10.18287/2412-6179-CO-1536

Страницы: 187-199.

Аннотация:
Предложен метод расчета дифракционной нейронной сети (ДНС) для решения различных задач классификации изображений на различных длинах волн. В рамках метода задача расчета ДНС формулируется как задача минимизации функционала, зависящего от функций высот микрорельефа дифракционных оптических элементов, образующих ДНС, и представляющего ошибку решения заданных задач классификации на расчетных длинах волн. Для производных функционала получены явные выражения, и на этой основе сформулирован градиентный метод расчета дифракционной нейронной сети. С использованием предложенного градиентного метода рассчитаны ДНС для решения трех различных задач классификации изображений на трех длинах волн. Представленные результаты моделирования работы рассчитанных ДНС демонстрируют хорошие рабочие характеристики предложенного метода.

Ключевые слова:
задача классификации изображений, дифракционная нейронная сеть, каскадный дифракционный оптический элемент, дифракционный микрорельеф, скалярная теория дифракции, оптимизация, градиентный метод.

Благодарности
Работа выполнена при поддержке Министерства науки и высшего образования Российской Федерации (государственное задание Самарскому университету, проект FSSS-2024-0016) в части разработки градиентного метода расчета спектральных ДНС и его применения для решения различных задач классификации и при поддержке государственного задания НИЦ «Курчатовский институт» в части создания программных средств для моделирования работы каскадных ДОЭ.

Цитирование:
Мотз, Г.А. Оптическая классификация изображений на различных длинах волн с использованием спектральных дифракционных нейронных сетей/ Г.А. Мотз, Д.В. Сошников, Л.Л. Досколович, Е.В. Бызов, Е.А. Безус, Д.А. Быков // Компьютерная оптика. – 2025. – Т. 49, № 2. – С. 187-199. – DOI: 10.18287/2412-6179-CO-1536.

Citation:
Motz GA, Soshnikov DV, Doskolovich LL, Byzov EV, Bezus EA, Bykov DA. Optical classification of images at different wavelengths using spectral diffractive neural networks. Computer Optics 2025; 49(2): 187-199. DOI: 10.18287/2412-6179-CO-1536.

References:
  1. Silva A, Monticone F, Castaldi G, Galdi V, Alù A, Engheta N. Performing mathematical operations with metamaterials. Science 2014; 343(6167): 161-163. DOI: 10.1126/science.1242818.
  2. Zhou Y, Zheng H, Kravchenko II, Valentine J. Flat optics for image differentiation. Nat Photonics 2020; 14(5): 316-323. DOI: 10.1038/s41566-020-0591-3.
  3. Estakhri NM, Edwards B, Engheta N. Inverse-designed metastructures that solve equations. Science 2019; 363(6433): 1333-1338. DOI: 10.1126/science.aaw2498.
  4. Kitayama KI, Notomi M, Naruse M, Inoue K, Kawakami S, Uchida A. Novel frontier of photonics for data processing –Photonic accelerator. Apl Photonics 2019; 4(9): 090901. DOI: 10.1063/1.5108912.
  5. Shen Y, Harris N, Skirlo S, et al. Deep learning with coherent nanophotonic circuits. Nature Photon 2017; 11: 441-446. DOI: 10.1038/nphoton.2017.93.
  6. Harris NC, Carolan J, Bunandar D, Prabhu M, Hochberg M, Baehr-Jones T, Fanto ML, Smith AM, Tison CC, Alsing PM, Englund D. Linear programmable nanophotonic processors. Optica 2018; 5(12): 1623-1631. DOI: 10.1364/OPTICA.5.001623.
  7. Zhu HH, Zou J, Zhang H, et al. Space-efficient optical computing with an integrated chip diffractive neural network. Nat Commun 2022; 13: 1044. DOI: 10.1038/s41467-022-28702-0.
  8. Zhang H, Gu M, Jiang XD, et al. An optical neural chip for implementing complex-valued neural network. Nat Commun 2021; 12: 457. DOI: 10.1038/s41467-020-20719-7.
  9. Zhang J, Wu B, Cheng J, Dong J, Zhang X. Compact, efficient, and scalable nanobeam core for photonic matrix-vector multiplication. Optica 2024; 11(2): 190-196. DOI: 10.1364/OPTICA.506603.
  10. Lin X, Rivenson Y, Yardimci NT, Veli M, Luo Y, Jarrahi M, Ozcan A. All-optical machine learning using diffractive deep neural networks. Science 2018; 361(6406): 1004-1008. DOI: 10.1126/science.aat8084.
  11. Yan T, Wu J, Zhou T, Xie H, Xu F, Fan J, Fang L, Lin X, Dai Q. Fourier-space diffractive deep neural network. Phys Rev Lett 2019; 123(2): 023901. DOI: 10.1103/PhysRevLett.123.023901.
  12. Zhou T, Fang L, Yan T, Wu J, Li Y, Fan J, Wu H, Lin X, Dai Q. In situ optical backpropagation training of diffractive optical neural networks. Photon Res 2020; 8(6): 940-953. DOI: 10.1364/PRJ.389553.
  13. Zhou T, Lin X, Wu J, et al. Large-scale neuromorphic optoelectronic computing with a reconfigurable diffractive processing unit. Nat Photonics 2021; 15: 367-373. DOI: 10.1038/s41566-021-00796-w.
  14. Chen H, Feng J, Jiang M, Wang Y, Lin J, Tan J, Jin P. Diffractive deep neural networks at visible wavelengths. Engineering 2021; 7(10): 1483-1491. DOI: 10.1016/j.eng.2020.07.032.
  15. Ferdman B, Saguy A, Xiao D, Shechtman Y. Diffractive optical system design by cascaded propagation. Opt Express 2022; 30(15): 27509-27530. DOI: 10.1364/OE.465230.
  16. Zheng S, Xu S, Fan D. Orthogonality of diffractive deep neural network. Opt Lett 2022; 47(7): 1798-1801. DOI: 10.1364/OL.449899.
  17. Zheng M, Shi L, Zi J. Optimize performance of a diffractive neural network by controlling the Fresnel number. Photon Res 2022; 10(11): 2667-2676. DOI: 10.1364/PRJ.474535.
  18. Wang T, Ma SY, Wright LG, et al. An optical neural network using less than 1 photon per multiplication. Nat Commun 2022; 13: 123. DOI: 10.1038/s41467-021-27774-8.
  19. Soshnikov DV, Doskolovich LL, Motz GA, Byzov EV, Bezus EA, Bykov DA, Mingazov AA. Design of cascaded diffractive optical elements for optical beam shaping and image classification using a gradient method. Photonics 2023; 10(7): 766. DOI: 10.3390/photonics10070766.
  20. Kulce O, Mengu D, Rivenson Y, Ozcan A. All-optical synthesis of an arbitrary linear transformation using diffractive surfaces. Light Sci Appl 2021; 10: 196. DOI: 10.1038/s41377-021-00623-5.
  21. Li J, Gan T, Bai B, Luo Y, Jarrahi M, Ozcan A. Massively parallel universal linear transformations using a wavelength-multiplexed diffractive optical network. Advanced Photonics 2023; 5(1): 016003. 10.1117/1.AP.5.1.016003.
  22. Mengu D, Tabassum A, Jarrahi M, et al. Snapshot multispectral imaging using a diffractive optical network. Light Sci Appl 2023; 12: 86. DOI: 10.1038/s41377-023-01135-0.
  23. Luo Y, Mengu D, Yardimci NT, et al. Design of task-specific optical systems using broadband diffractive neural networks. Light Sci Appl 2019; 8: 112. DOI: 10.1038/s41377-019-0223-1.
  24. Zhu Y, Chen Y, Dal Negro L. Design of ultracompact broadband focusing spectrometers based on diffractive optical networks. Opt Lett 2022; 47(24): 6309-6312. DOI: 10.1364/OL.475375.
  25. Shi J, Chen Y, Zhang X. Broad-spectrum diffractive network via ensemble learning. Opt Lett 2022; 47(3): 605-608. DOI: 10.1364/OL.440421.
  26. Feng J, Chen H, Yang D, Hao J, Lin J, Jin P. Multi-wavelength diffractive neural network with the weighting method. Opt Express 2023; 31(20): 33113-33122. DOI: 10.1364/OE.499840.
  27. Fienup JR. Phase retrieval algorithms: a comparison. Appl Opt 1982; 21(15): 2758-2769. DOI: 1364/AO.21.002758.
  28. Soifer VA, Kotlyar VV, Doskolovich LL. Iterative methods for diffractive optical elements computation. London: Taylor & Francis Ltd; 1997. ISBN: 0-7484-0634-4.
  29. Ripoll O, Kettunen V, Herzig HP. Review of iterative Fourier transform algorithms for beam shaping applications. Opt Eng 2004; 43(11): 2549-2556. DOI: 10.1117/1.1804543.
  30. Latychevskaia T. Iterative phase retrieval in coherent diffractive imaging: practical issues. Appl Opt 2018; 57(25): 7187-7197. DOI: 10.1364/AO.57.007187.
  31. Deng X, Chen RT. Design of cascaded diffractive phase elements for three-dimensional multiwavelength optical interconnects. Opt Lett 2000; 25(14): 1046-1048. DOI: 10.1364/ol.25.001046.
  32. Gülses AA, Jenkins BK. Cascaded diffractive optical elements for improved multiplane image reconstruction. Appl Opt 2013; 52(15): 3608-3616. DOI: 10.1364/AO.52.003608.
  33. Wang H, Piestun R. Dynamic 2D implementation of 3D diffractive optics. Optica 2018; 5(10): 1220-1228. DOI: 10.1364/OPTICA.5.001220.
  34. Armitage JD, Lohmann AW. Character recognition by incoherent spatial filtering. Appl Opt 1965; 4(4): 461-467. DOI: 10.1364/AO.4.000461.
  35. Caulfield HJ, Maloney WT. Improved discrimination in optical character recognition. Appl Opt 1969; 8(11): 2354-2356. DOI: 10.1364/AO.8.002354.
  36. Caulfield HJ, Weinberg MH. Computer recognition of 2-D patterns using generalized matched filters. Appl Opt 1982; 21(9): 1699-1704. DOI: 10.1364/AO.21.001699.
  37. Casasent D, ed. Optical data processing: Applications. Berlin, New York: Springer-Verlag; 1978. DOI: 10.1007/BFb0057980.
  38. Kingma DP, Ba J. Adam: A method for stochastic optimization. arXiv Preprint. 2015. Source: <https://arxiv.org/abs/1412.6980>. DOI: 10.48550/arXiv.1412.6980.
  39. Shi J, Wei D, Hu C, Chen M, Liu K, Luo J, Zhang X. Robust light beam diffractive shaping based on a kind of compact all-optical neural network. Opt Express 2021; 29(5): 7084-7099. DOI: 10.1364/OE.419123.
  40. Buske P, Völl A, Eisebitt M, Stollenwerk J, Holly C. Advanced beam shaping for laser materials processing based on diffractive neural networks. Opt Express 2022; 30(13): 22798-22816. DOI: 10.1364/OE.459460.
  41. Lecun Y, Bottou L, Bengio Y, Haffner P. Gradient-based learning applied to document recognition. Proc IEEE 1998; 86(11): 2278-2324. DOI: 10.1109/5.726791.
  42. Xiao H, Rasul K, Vollgraf R. Fashion-mnist: a novel image dataset for benchmarking machine learning algorithms. arXiv Preprint. 2017. Source: <https://arxiv.org/abs/1708.07747>. DOI: 10.48550/arXiv.1708.07747.
  43. Cohen G, Afshar S, Tapson J, Schaik A. EMNIST: Extending MNIST to handwritten letters. 2017 Int Joint Conf on Neural Networks (IJCNN) 2017: 2921-2926. DOI: 10.1109/IJCNN.2017.7966217.
  44. PyTorch – an optimized tensor library for deep learning using GPUs and CPUs. 2024. Source: <https://pytorch.org/>.
  45. Doskolovich LL, Mingazov AA, Byzov EV, Skidanov RV, Ganchevskaya SV, Bykov DA, Bezus EA, Podlipnov VV, Porfirev AP, Kazanskiy NL. Hybrid design of diffractive optical elements for optical beam shaping. Opt Express 2021; 29(20): 31875-31890. DOI: 10.1364/OE.439641.
  46. Doskolovich LL, Skidanov RV, Bezus EA, Ganchevskaya SV, Bykov DA, Kazanskiy NL. Design of diffractive lenses operating at several wavelengths. Opt Express 2020; 28(8): 11705-11720. DOI: 10.1364/OE.389458.
  47. Schmidt JD. Numerical simulation of optical wave propagation with examples in MATLAB. Bellingham: SPIE; 2010. ISBN: 978-0-8194-8326-3.
  48. Cubillos M, Jimenez E. Numerical simulation of optical propagation using sinc approximation. J Opt Soc Am A 2022; 39(8): 1403-1413. DOI: 10.1364/JOSAA.461355.

© 2009, IPSI RAS
Россия, 443001, Самара, ул. Молодогвардейская, 151; электронная почта: journal@computeroptics.ru; тел: +7 (846) 242-41-24 (ответственный секретарь), +7 (846) 332-56-22 (технический редактор), факс: +7 (846) 332-56-20