(45-6) 13 * << * >> * Русский * English * Содержание * Все выпуски

 PDF, 8572 kB

DOI: 10.18287/2412-6179-CO-1038

Страницы: 887-896.

Аннотация:
В настоящей работе предложен новый подход к классификации гиперспектральных изображений высокого разрешения в прикладной задаче определения типов сельскохозяйственной растительности. В качестве классификатора используется спектрально-пространственная сверточная нейронная сеть с компенсацией вариаций освещения. Для автоматизированного формирования обучающей выборки предложен алгоритм на основе адаптивного вегетационного индекса. Показана эффективность предложенного подхода в задаче классификации типов растительности по результатам съемок сельскохозяйственных угодий, выполненных сканирующей гиперспектральной камерой.

Ключевые слова:
гиперспектральные изображения, вегетационный индекс, сверточные нейронные сети, классификация растительности, спектрально-пространственная классификация гиперспектральных изображений, вегетационные индексы

Благодарности
Теоретическая часть работы и разработка нейросетевых моделей выполнена при поддержке гранта РНФ 20-69-47110, экспериментальная часть выполнена в рамках государственного задания ИСОИ РАН – филиала Федерального научно-исследовательского центра «Кристаллография и фотоника» РАН (соглашение № 007-ГЗ/Ч3363/26) и РФФИ 19-29-01235.
     Авторы выражают благодарность Е.П. Цирулеву, Н.В. Боровковой и А.А. Соловьеву за помощь при проведении полевых работ.

Цитирование:
Фирсов, Н.А. Нейросетевая классификация гиперспектральных изображений растительности с формированием обучающей выборки на основе адаптивного вегетационного индекса / Н.А. Фирсов, В.В. Подлипнов, Н.А. Ивлиев, П.П. Николаев, С.В. Машков, П.А. Ишкин, Р.В. Скиданов, А.В. Никоноров // Компьютерная оптика. – 2021. – Т. 45, № 6. – С. 887-896. – DOI: 10.18287/2412-6179-CO-1038.

Citation:
Firsov NA, Podlipnov VV, Ivliev NA, Nikolaev PP, Mashkov SV, Ishkin PA, Skidanov RV, Nikonorov AV. Neural network-aided classification of hyperspectral vegetation images with a training sample generated using an adaptive vegetation index. Computer Optics 2021; 45(6): 887-896. DOI: 10.18287/2412-6179-CO-1038.

1. Sharma, V. Hyperspectral CNN for image classification & band selection, with application to face recognition / V. Sharma, A. Diba, T. Tuytelaars, L. Van Gool [Electronical Resource]. – 2016. – URL: https://core.ac.uk/download/pdf/80805922.pdf (request date 29.07.2021).
2. Zhang, J. Leaf area index estimation model for UAV image hyperspectral data based on wavelength variable selection and machine learning methods / J. Zhang, T. Cheng, W. Guo, X. Xu, H. Qiao, Y. Xie, X. Ma // Plant Methods. – 2021. – Vol. 17, Issue 1. – P. 49-54.
   
3. Siedliska, A. Identification of plant leaf phosphorus content at different growth stages based on hyperspectral reflectance / A. Siedliska, P. Baranowski, J. Pastuszka-Woźniak, M. Zubik, J. Krzyszczak // BMC Plant Biology. – 2021. – Vol. 21, Issue 1. – P. 28-32.
4. Sahadevan, A.S. Extraction of spatial-spectral homogeneous patches and fractional abundances for field-scale agriculture monitoring using airborne hyperspectral images / A.S. Sahadevan // Computers and Electronics in Agriculture. – 2021. – Vol. 188. – 106325.
5. Zhang, Y. Estimating the maize biomass by crop height and narrowband vegetation indices derived from UAV-based hyperspectral images / Y. Zhang, C. Xia, X. Zhang, X. Cheng, G. Feng, Y. Wang, Q. Gao // Ecological Indicators. – 2021. – Vol. 129. – 107985.
6. La Rosa, L.E.C. Multi-task fully convolutional network for tree species mapping in dense forests using small training hyperspectral data / L.E.C. La Rosa, C. Sothe, R.Q. Feitosa, C.M. de Almeida, M.B. Schimalski, D.A.B. Oliveira // ISPRS Journal of Photogrammetry and Remote Sensing. – 2021. – Vol. 179. – P. 35-49.
7. Wang, L. Estimation of paddy rice nitrogen content and accumulation both at leaf and plant levels from UAV hyperspectral imagery / L. Wang, S. Chen, D. Li, C. Wang, H. Jiang, Q. Zheng, Z. Peng // Remote Sensing. – 2021. – Vol. 13, Issue 15. – 2956.
8. Vangi, E. The new hyperspectral satellite PRISMA: Imagery for forest types discrimination / E. Vangi, G. D’amico, S. Francini, F. Giannetti, B. Lasserre, M. Marchetti, G. Chirici // Sensors (Switzerland). – 2021. – Vol. 21, Issue 4. – 1182.
9. Pereira, J.F.Q. Detection and identification of Cannabis sativa L. using near infrared hyperspectral imaging and machine learning methods / J.F.Q. Pereira, M.F. Pimentel, J.M. Amigo, R.S. Honorato // Spectrochimica Acta – Part A: Molecular and Biomolecular Spectroscopy. – 2020. – Vol. 237. – 118385.
10. Ferreira, A. Eyes in the skies: A data-driven fusion approach to identifying drug crops from remote sensing images / A. Ferreira, S.C. Felipussi, R. Pires, S. Avila, G. Santos, J. Lambert, J. Huang, A. Rocha // IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing. – 2019. – Vol. 12, Issue 12. – P. 4773-4786.
11. Barton, I.F. Extending geometallurgy to the mine scale with hyperspectral imaging: a pilot study using drone- and ground-based scanning / I.F. Barton, M.J. Gabriel, J. Lyons-Baral, M.D. Barton, L. Duplessis, C. Roberts // Mining, Metallurgy and Exploration. – 2021. – Vol. 38, Issue 2. – P. 799-818.
12. Degerick, J. Mapping functional urban green types using high resolution remote sensing data / J. Degerickx, M.Hermy, B. Somers // Sustainability. – 2020. – Vol. 12, Issue 5. – 2144.
13. Huang, H. Underwater hyperspectral imaging for in situ underwater microplastic detection / H. Huang, Z. Sun, S. Liu, Y. Di, J. Xu, C. Liu, R. Xu, H. Song, S. Zhan, J. Wu // Science of the Total Environment. – 2021. – Vol. 776. – 145960.
14. Claudio, H.C. Monitoring drought effects on vegetation water content and fluxes in chaparral with the 970 nm water band index / H.C. Claudio, Y. Cheng, D.A. Fuentes, J.A. Gamon, H. Luo, W. Oechel, D.A. Sims // Remote Sensing of Environment. – 2006. – Vol. 103, Issue 3. – P. 304-311.
15. Mahajan, G.R. Using hyperspectral remote sensing techniques to monitor nitrogen, phosphorus, sulphur and potassium in wheat (Triticum aestivum L.) / G.R. Mahajan, R.N. Sahoo, R.N. Pandey, V.K. Gupta, D. Kumar // Precision agriculture. – 2014. – Vol. 15, Issue 5. – P. 499-522.
16. Liu, B. A semi-supervised convolutional neural network for hyperspectral image classification / B. Liu, X. Yu, P. Zhang, X. Tan, A. Yu, Z. Xue // Remote Sensing Letters. – 2017. – Vol. 8. – P. 839-848.
17. Bioucas-Dias, J.M. Hyperspectral remote sensing data analysis and future challenges / J.M. Bioucas-Dias, A. Plaza, G. Camps-Valls, P. Scheunders, N. Nasrabadi, J. Chanussot // IEEE Geoscience and Remote Sensing Magazine. – 2013. – Vol. 1. – P. 6-36.
18. He, M. Multi-scale 3D deep convolutional neural network for hyperspectral image classification / M. He, B. Li, H. Chen // IEEE International Conference on Image Processing (ICIP). – 2017. – P. 3904-3908.
19. Jung, A. Hyperspectral technology in vegetation analysis / A. Jung, P. Kardevan, L. Tökei // Progress in Agricultural Engineering Sciences. – 2006. – Vol. 2, Issue 1. – P. 95-117.
20. Kwan, C. An accurate vegetation and non-vegetation differentiation approach based on land cover classification / C. Kwan, D. Gribben, B. Ayhan, J. Li, S. Bernabe, A. Plaza // Remote Sensors. – 2020. – Vol. 12, Issue 23. – P. 3880-3888.
21. Hu, W. Deep convolutional neural networks for hyperspectral image classification / W. Hu, Y. Huang, L. Wei, F. Zhang, H. Li // Journal of Sensors. – 2015. – Vol. 2015. – P. 30-42.
22. Nikonorov, A. Spectrum shape elements model to correct color and hyperspectral images / A. Nikonorov, S. Bibikov, P. Yakimov, V. Fursov // 2014 8th IAPR Workshop on Pattern Recognition in Remote Sensing. – 2014. – P. 1-4. – DOI: 10.1109/PRRS.2014.6914282.
23. Nikonorov, A. Deep learning-based enhancement of hyperspectral images using simulated ground truth / A. Nikonorov, M. Petrov, S. Bibikov, V. Kutikova, P. Yakimov, A. Morozov // 10th IAPR Workshop on Pattern Recognition in Remote Sensing (PRRS). – 2018. – P. 1-9. – DOI: 10.1109/PRRS.2018.8486408.
24. Nikonorov, A. Correcting color and hyperspectral images with identification of distortion model / A. Nikonorov, S. Bibikov, V. Myasnikov, Y. Yuzifovich, V. Fursov // Pattern Recognition Letters. – 2016. – Vol. 83, Issue P2. – P. 178-187. – DOI: 10.1016/j.patrec.2016.06.027.
25. Adao, T. Hyperspectral imaging: A review on UAV-based sensors, data processing and applications for agriculture and forestry / T. Adão, J. Hruška, L. Pádua, J. Bessa, E. Peres, R. Morais, J.J. Sousa // Remote Sensing. – 2017. – Vol. 9, Issue 11. – 1110.
26. Li, Y. Spectral–spatial classification of hyperspectral imagery with 3D convolutional neural network / Y. Li, H. Zhang, Q. Shen // Remote Sensors. – 2017. – Vol. 9(1). – P. 67-72.
27. Chen, Y. Deep feature extraction and classification of hyperspectral images based on convolutional neural networks / Y. Chen, H. Jiang, C. Li, X. Jia, P. Ghamisi // IEEE Transactions on Geoscience and Remote Sensing. – 2016. – Vol. 54, Issue 10. – P. 6232-6251.
28. Xiu, Q. Attention-based pyramid network for segmentation and classification of high-resolution and hyperspectral remote sensing images / Q. Xu, X. Yuan, C. Ouyang, Y. Zeng // Remote Sensors. – 2020. – Vol. 12, Issue 21. – P. 3501-3507.
29. Dobigen, N. Linear and nonlinear unmixing in hyperspectral imaging / N. Dobigeon, Y. Altmann, N. Brun, S. Moussaoui // Data Handling in Science and Technology. – 2016. – Vol. 30. – P. 185-224.
30. Kale, K.V. Hyperspectral endmember extraction techniques / K.V. Kale, M.M. Solankar, D.B. Nalawade. – In: Processing and analysis of hyperspectral data / ed. by J. Chen, Y. Song, H. Li. – IntechOpen, 2019.
31. Berk, A. MODTRAN6: a major upgrade of the MODTRAN radiative transfer code / A. Berk, P. Conforti, R. Kennett, T. Perkins, F. Hawes, J. van den Bosch // 6th Workshop on Hyperspectral Image and Signal Processing: Evolution in Remote Sensing. – 2014. – P. 1-4.
32. Подлипнов, В.В. Экспериментальное определение влажности почвы по гиперспектральным изображениям / В.В. Подлипнов, В.Н. Щедрин, А.Н. Бабичев, С.М. Васильев, В.А. Бланк // Компьютерная оптика. – 2018. – Т. 42, № 5. – С. 877-884. – DOI: 10.18287/2412-6179-2017-42-5-877-884.
33. Карпеев, С.В. Юстировка и исследование макетного образца гиперспектрометра по схеме Оффнера / C.В. Карпеев, С.Н. Хонина, А.Р. Мурдагулов, М.В. Петров // Вестник Самарского университета. Аэрокосмическая техника, технологии и машиностроение. – 2016. – Т. 15, № 1. – С. 197-206. – DOI: 10.18287/2412-7329-2016-15-1-197-206.
34. Manea, D. Hyperspectral imaging in different light conditions / D. Manea, M.A. Calin // The Imaging Science Journal. – 2015. – Vol. 63. – P. 214-219.
35. van de Weijer, J. Color constancy based on the Grey-edge hypothesis / J. van de Weijer, T. Gevers // IEEE International Conference on Image Processing. – 2005 – Vol. II. – P. 722-725.
36. Cai, J. Facial expression recognition method based on sparse batch normalization CNN / J. Cai, Q. Chang, X.-L. Tang, C. Xue, C. Wei // 37th Chinese Control Conference (CCC). – 2018. – P. 9608-9613.
37. Ioffe, S. Batch normalization: Accelerating deep network training by reducing internal covariate shift [Electronical Resource] / S. Ioffe, C. Szegedy // arXiv Preview. – 2015. – URL: https://arxiv.org/abs/1502.03167 (request date 31.08.2021).
38. Luo, Y. HSI-CNN: A novel convolution neural network for hyperspectral image / Y. Luo, J. Zou, C. Yao, T. Li, G. Bai // International Conference on Audio, Language and Image Processing (ICALIP). – 2019. – P. 464-469.
39. Ben Hamida, A. 3-D deep learning approach for remote sensing image classification / A. Ben Hamida, A. Benoit, P. Lambert, C. Ben Amar // IEEE Transactions on Geoscience and Remote Sensing. – 2018. – Vol. 56, Issue 8. – P. 4420-4434.
    

---

© 2009, IPSI RAS
Россия, 443001, Самара, ул. Молодогвардейская, 151; электронная почта: journal@computeroptics.ru; тел: +7 (846) 242-41-24 (ответственный секретарь), +7 (846) 332-56-22 (технический редактор), факс: +7 (846) 332-56-20