(43-5) 21 * << * >> * Русский * English * Содержание * Все выпуски

Структурно-функциональный анализ и синтез глубоких конволюционных нейронных сетей

Ю.В. Визильтер1, В.С. Горбацевич1, С.Ю. Желтов1

1 ФГУП «Государственный научно-исследовательский институт авиационных систем» (ФГУП «ГосНИИАС»), Москва, Россия

 PDF, 1380 kB

DOI: 10.18287/2412-6179-2019-43-5-886-900

Страницы: 886-900.

Аннотация:
Предложен общий поход к структурно-функциональному анализу и синтезу глубоких конволюционных нейронных сетей, который позволяет регулярным образом определить: из каких типовых структурно-функциональных элементов могут строиться конволюционные нейронные сети; каковы необходимые математические свойства структурно-функциональных элементов; какие комбинации структурно-функциональных элементов являются допустимыми; каковы возможные пути построения и обучения глубоких сетей для анализа и распознавания нерегулярных, неоднородных или сложно структурированных данных (таких как нерегулярные массивы, данные различного размера и различной природы, деревья, скелеты, графовые структуры, 2D-, 3D- и ND-облака точек, триангулированные поверхности, аналитические описания данных и т.п.). Определён необходимый набор структурно-функциональных элементов. Предложены методики решения задач структурно-функционального анализа и синтеза конволюционных нейронных сетей на основе структурно-функциональных элементов и правил их комбинации.

Ключевые слова:
глубокие нейронные сети, машинное обучение, структуры данных.

Цитирование:
Визильтер, Ю.В. Структурно-функциональный анализ и синтез глубоких конволюционных нейронных сетей / Ю.В. Визильтер, В.С. Горбацевич, С.Ю. Желтов // Компьютерная оптика. – 2019. – Т. 43, № 5. – С. 886-900. – DOI: 10.18287/2412-6179-2019-43-5-886-900.

Благодарности:
Исследование выполнено за счёт гранта Российского научного фонда (проект № 16-11-00082).

Литература:
  1. Krizhevsky, A. ImageNet classification with deep convolutional neural networks / A. Krizhevsky, I. Sutskever, G. Hinton // Proceedings of the 25th International Conference on Neural Information Processing Systems. – 2012. – Vol. 1. – P. 1106-1114.
  2. Szegedy, C. Going deeper with convolutions / C. Szegedy, W. Liu, Y. Jia, P. Sermanet, S. Reed, D. Anguelov, D. Erhan, V. Vanhoucke, A. Rabinovich // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. – 2015. – P. 1-9.
  3. Wu, X. Learning robust deep face representation [Electronical Resource] / X. Wu. – 2015. – URL: https://arxiv.org/pdf/1507.04844.pdf (request date 02.12.2018).
  4. Lin, M. Network in network [Electronical Resource] / M. Lin, Q. Chen, S. Yan. – 2013. – URL: https://arxiv.org/pdf/1312.4400.pdf (request date 17.04.2018).
  5. Forrest, N. SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and <0.5MB model size [Electronical Resource] / N. Forrest, Н. Song, W.M. Matthew, A. Khalid, J.D. William, K. Kurt. – 2016. – URL: https://arxiv.org/abs/1602.07360 (request date 14.06.2018).
  6. Szegedy, C. Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning [Electronical Resource] / C. Szegedy, S. Ioffe, V. Vanhoucke. – 2016. – URL: https://arxiv.org/abs/1602.07261 (request date 01.11.2018).
  7. Larsson, G. Fractalnet:ultra-deep neural networks without residuals [Electronical Resource] / G. Larsson, M. Maire, G. Shakhnarovich. – 2017. – URL: https://arxiv.org/abs/1605.07648 (request date 02.11.2018).
  8. Duvenaud, D. Convolutional networks on graphs for learning molecular fingerprints [Electronical Resource] / D. Duvenaud, D. Maclaurin, J. Aguilera-Iparraguirre, R. Gomez-Bombarelli, T. Hirzel, A. Aspuru-Guzik, R.P. Adams. – 2015. – URL: https://arxiv.org/pdf/1509.09292.pdf (request date 20.10.2018).
  9. De Cao, N. MolGAN: An implicit generative model for small molecular graphs [Electronical Resource] / N. De Cao, T. Kipf. – 2018. – URL: https://arxiv.org/pdf/1805.11973.pdf (request date 10.10.2018).
  10. Gomes, J. Atomic convolutional networks for predicting protein-ligand binding affinity [Electronical Resource] / J. Gomes, B. Ramsundar, E.N. Feinberg, V.S. Pande. – 2017. – URL: https://arxiv.org/pdf/1703.10603.pdf (request date 14.09.2018).
  11. Yao, L. Graph convolutional networks for text classification [Electronical Resource] / L. Yao, C. Mao, Y. Luo. – 2018. – URL: https://arxiv.org/pdf/1809.05679.pdf (request date 02.12.2018).
  12. Xiong, W. DeepPath: A reinforcement learning method for knowledge graph reasoning [Electronical Resource] / W. Xiong, T. Hoang, W.Y. Wang – 2018. – URL: https://arxiv.org/pdf/1707.06690.pdf (request date 06.11.2018).
  13. Maturana, D. VoxNet: A 3D convolutional neural network for real-time object recognition / D. Maturana, S. Scherer // IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). – 2015. – P. 922-928. – DOI:10.1109/IROS.2015.7353481.
  14. Tran, D. Learning spatiotemporal features with 3D convolutional networks / D. Tran, L. Bourdev, R. Fergus // IEEE International Conference on Computer Vision (ICCV). – 2015. – P. 4489-4497. – DOI: 10.1109/ICCV.2015.510.
  15. Riegler, G. OctNet: Learning deep 3D representations at high resolutions / G. Riegler, A.O. Ulusoys, A. Geiger // CVPR. – 2017. – P. 6620-6629.
  16. Riegler, G. OctNetFusion: Learning depth fusion from data / G. Riegler, A.O. Ulusoy, H. Bischof, A. Geiger // 2017 International Conference on 3D Vision (3DV). – 2017. – P. 57-66.
  17. Klokov, R. Escape from cells: Deep KdNetworks for the recognition of 3D point cloud models / R. Klokov, V. Lempitsky // ICCV. – 2017 – P. 863-872.
  18. Qi, C.R. PointNet: Deep learning on point sets for 3D classification and segmentation / C.R. Qi, H. Su, K. Mo, L.J. Guibas // CVPR. – 2017. – P. 652-660.
  19. Qi, C.R. PointNet++: Deep hierarchical feature learning on point sets in a metric space / L. Yi, H. Su, L. Guibas // Proceedings of the 31st International Conference on Neural Information Processing Systems. – 2017. – P. 5105-5114.
  20. Bruna, J. Spectral networks and locally connected networks on graphs / J. Bruna, W. Zaremba, A. Szlam, Y. LeCun // ICLR. – 2014.
  21. Henaff, M. Deep convolutional networks on graph-structured data [Electronical Resource] / M. Henaff, J. Bruna, Y. LeCun. – 2015. – URL: https://arxiv.org/pdf/1506.05163.pdf (request date 15.12.2018).
  22. Defferrard, M. Convolutional neural networks on graphs with fast localized spectral filtering [Electronical Resource]. M. Defferrard, X. Bresson, P. Vandergheynst. – 2016. – URL: https://arxiv.org/pdf/1606.09375.pdf (request date 21.09.2018).
  23. Sinha, A. Deep learning 3D shape surfaces using geometry images / A. Sinha, J. Bai, K. Ramani // ECCV. – 2016. – P. 223-240.
  24. Maron, H. Convolutional neural networks on surfaces via seamless toric covers / H. Maron, M. Galun, N. Aigerman, M. Trope, N. Dym, E. Yumer, V.G. Kim, Y. Lipman // ACM Transactions on Graphics. – 2017. – Vol. 36, Issue 4. – 71.
  25. Ezuz, D. GWCNN: A metric alignment layer for deep shape analysis / D. Ezuz, J. Solomon, V.G. Kim, M. Ben-Chen // Computer Graphics Forum. – 2017. – Vol. 36, Issue 5. – P. 49-57.
  26. Masci, J. Geodesic convolutional neural networks on Riemannian manifolds / J. Masci, D. Boscaini, M. Bronstein, P. Vandergheynst // ICCV. – 2015. – P. 832-840.
  27. Boscaini, D. Learning shape correspondence with anisotropic convolutional neural networks / D. Boscaini, J. Masci, E. Rodoià, M.M. Bronstein // Proceedings of the 30th International Conference on Neural Information Processing Systems. – 2016. – P. 3197-3205.
  28. Vizilter, Yu. Real-time face identification via CNN and boosted hashing forest / Yu. Vizilter, N. Kostromov, A. Vorotnikov, V. Gorbatsevich // The 29th IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2016). – 2016. – P. 78-86.
  29. Serra, J. Image analysis and mathematical morphology. – London: Academic Press, Inc., 1982. – 610 p.
  30. Визильтер, Ю.В. Морфлеты: новый класс древовидных морфологических описаний формы изображений / В.С. Горбацевич, С.Ю. Желтов, А.Ю. Рубис, А.В. Воротников // Компьютерная оптика. – 2015. – Т. 39, № 1. – С. 101-108. – DOI: 10.18287/0134-2452-2015-39-1-101-108.
  31. Su, H. Multi-view convolutional neural networks for 3D shape recognition / H. Su, S. Maji, E. Kalogerakis, E.G. Learned-Miller // IEEE International Conference on Computer Vision (ICCV). – 2015. – P. 945-953.
  32. Huang, H. Learning local shape descriptors with view-based convolutional neural networks / H. Huang, E. Kalegorakis, S. Chaudhuri, D. Ceylan, V. Kim, E. Yumer // ACM Transactions on Graphics. – 2018. – Vol. 37, Issue 1. – 6.
  33. Wu, Z. 3D shapenets: A deep representation for volumetric shapes / S. Song, A. Khosla, F. Yu, L. Zhang, X. Tang, J. Xiao // IEEE Conference on Computer Vision and Pattern Recognition (CVPR). – 2015. – P. 1912-1920.
  34. Maturana, D. 3D convolutional neural networks for landing zone detection from LiDAR / D. Maturana, S. Scherer // ICRA. – 2015. – P. 3471-3478.
  35. Qi, C.R. Volumetric and multi-view CNNs for object classification on 3D data / C.R. Qi, H. Su, M. Niener, A. Dai, M. Yan, L.J. Guibas // IEEE Conference on Computer Vision and Pattern Recognition (CVPR). – 2016. – P. 5648-5656.
  36. Sedaghat, N. Orientation-boosted voxel nets for 3D object recognition / N. Sedaghat, M. Zolfaghari, E. Amiri, T. Brox // Proceedings of the British Machine Vision Conference (BMVC). – 2017. – 97.
  37. Graham, B. Submanifold sparse convolutional networks [Electronical Resource] / B. Graham, L. van der Maaten. – 2017. – URL: https://arxiv.org/abs/1706.01307 (request date 10.12.2018).

 

© 2009, IPSI RAS
Россия, 443001, Самара, ул. Молодогвардейская, 151; электронная почта: ko@smr.ru ; тел: +7 (846) 242-41-24 (ответственный секретарь), +7 (846) 332-56-22 (технический редактор), факс: +7 (846) 332-56-20