(42-1) 18 * << * >> * Русский * English * Содержание * Все выпуски

Тригонометрическая система функций в проекционных оценках плотности вероятности нейросетевых признаков изображений
Савченко А.В.

 

Национальный исследовательский университет «Высшая школа экономики», Нижний Новгород, Россия

 PDF, 278 kB

DOI: 10.18287/2412-6179-2018-42-1-149-158

Страницы: 149-158.

Аннотация:
Исследована задача распознавания изображений, которые описываются векторами признаков высокой размерности, выделенными с помощью глубокой свёрточной нейронной сети и анализа главных компонент. Рассмотрена проблема высокой вычислительной сложностистатистического подхода с непараметрическими оценками плотности вероятности векторов признаков, реализованного в вероятностной нейронной сети. Предложен новый метод статистической классификации на основе проекционных оценок плотности распределения с тригонометрической системой ортогональных функций. Показано, что такой подход позволяет преодолеть недостатки вероятностной нейронной сети, связанные с необходимостью обработки всех признаков всех эталонных изображений. В рамках экспериментального исследования для наборов изображений Caltech-101 и CASIA WebFaces показано, что предлагаемый подход позволяет на 1-5% снизить вероятность ошибки распознавания и в 1,5-6 раз повысить вычислительную эффективность по сравнению с исходной вероятностной нейронной сетью для малых выборок эталонных изображений.

Ключевые слова:
статистическое распознавание образов, обработка изображений, глубокие свёрточные нейронные сети, вероятностная нейронная сеть, проекционные оценки, распознавание лиц.

Цитирование:
Савченко, А.В. Тригонометрическая система функций в проекционных оценках плотности вероятности нейросетевых признаков изображений / А.В. Савченко // Компьютерная оптика. – 2018. – Т. 42, № 1. – С. 149-158. – DOI: 10.18287/2412-6179-2018-42-1-149-158.

Литература:

  1. Prince, S. J. Computer vision: models, learning, and inference / S. J. Prince. Cambridge University Press, 2012. – 598 p.
  2. Goodfellow, I.Deep Learning (Adaptive Computation and Machine Learning series) / I. Goodfellow, Y. Bengio, A. Courville. MIT Press, 2016. – 800 p.
  3. Szegedy, C. Going deeper with convolutions / C.Szegedy, W. Liu, Y. Jia, P. Sermanet, S. Reed, D. Anguelov, D. Erhan, V. Vanhoucke, A. Rabinovich // Proceedings of the IEEE International Conference on Computer Vision and Pattern Recognition (CVPR). –2015. – P. 1-9.
  4. Simonyan, K. Very deep convolutional networks for large-scale image recognition / K. Simonyan, A. Zisserman // arXiv preprint arXiv:1409.1556, 2014.
  5. Savchenko, A.V. Probabilistic neural network with homogeneity testing in recognition of discrete patterns set / A.V.Savchenko // Neural Networks.– 2013.– Vol. 46.– P. 227-241. – ISSN0893-6080.
  6. Krizhevsky, A. ImageNet classification with deep convolutional neural networks / A. Krizhevsky, I. Sutskever, G. E. Hinton // Advances in neural information processing systems (NIPS).– 2012.– P. 1097-1105.
  7. Rassadin, A.G. Group-level Emotion Recognition using Transfer Learning from Face Identification / A.G. Rassadin, A.S. Gruzdev, A.V. Savchenko // Proceedings of ACM International Conference on Multimodal Interactions (ICMI), 2017, pp. 544-548
  8. Sharif Razavian, A. CNN features off-the-shelf: an astounding baseline for recognition / A. Sharif Razavian, H. Azizpour, J. Sullivan, S. Carlsson // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops, 2014, pp. 806–813.
  9. Savchenko, A.V. Maximum-Likelihood Approximate Nearest Neighbor Method in Real-time Image Recognition / A.V. Savchenko // Pattern Recognition. – 2017. – Vol. 61. – P. 459-469. – ISSN 0031-3203.
  10. Savchenko, A.V. Deep neural networks and maximum likelihood search for approximate nearest neighbor in video-based image recognition /A.V.Savchenko // Optical Memory and Neural Networks (Information Optics).– 2017.–Vol. 26, № 2.–P. 129–136. – ISSN1934-7898.
  11. Raudys, S. J. Small sample size effects in statistical pattern recognition: Recommendations for practitioners / S.J. Radys, A.K. Jain // IEEE Transactions on Pattern Analysis and Machine Intelligence. – 1991. – Vol. 13. – No. 3. – P. 252-264.
  12. Савченко, А.В. Метод максимально правдоподобных рассогласований в задаче распознавания изображений на основе глубоких нейронных сетей/А.В.Савченко // Компьютерная оптика.– 2017. – Т.41, №3.– С.422-430. – ISSN 0134-2452.
  13. Pan, S. J. A survey on transfer learning /S. J. Pan, Q. Yang // IEEE Transactions on knowledge and data engineering.–2010.– Vol. 22, № 10.–P. 1345–1359. – ISSN1041-4347.
  14. Russakovsky, O. ImageNet large scale visual recognition challenge / O. Russakovsky, J. Deng, H. Su, J. Krause, S. Satheesh, S. Ma, Z. Huang, A. Karpathy, A. Khosla, M. Bernstein, A. C. Berg, F.-F. Li // International Journal of Computer Vision. – 2015. – Vol. 115(3). – P. 211-252. – ISSN 0920-5691.
  15. Theodoridis, S. Pattern Recognition / S. Theodoridis, C. Koutroumbas.– Elsevier Inc (4th Edition), 2009. – 840 p.
  16. Webb, A.R. Statistical Pattern Recognition /A. R. Webb.– West Sussex, England; New Jersey: Wiley, 2002 (2 ed.).
  17. Савченко, А.В. Распознавание изображений на основе вероятностной нейронной сети с проверкой однородности /А.В.Савченко // Компьютерная оптика.– 2013. – Т.37, №2.– С.254-262. – ISSN 0134-2452.
  18. Specht, D.F. Probabilistic neural networks / D.F. Specht // Neural Networks.– 1990.– №3.– P. 109–118. – ISSN0893-6080.
  19. Kusy, M. Probabilistic neural network structure reduction for medical data classification / M. Kusy, J. Kluska //Proceedings of International Conference on Artificial intelligence and soft computing, 2013, pp. 118–129.
  20. Savchenko, A.V. Pattern Classification with the Probabilistic Neural Networks based on Orthogonal Series Kernel / A.V. Savchenko // Proceedings of International Symposium on Neural Networks (ISNN 2016), LNCS.– 2016.– Vol. 9719.– P. 505-512.
  21. Cencov, N.N. Statistical Decision Rules and Optimal Inference / N. N. Cencov.– Providence, R.I.: American Mathematical Society, 2000 (Reprint ed.).
  22. Devroye, L. Nonparametric Density Estimation: The L1 View /L.Devroye, L.Gyorfi.– Wiley, 1985.– 368 p.
  23. Efromovich, S. Nonparametric Curve Estimation: Methods, Theory, and Applications / S. Efromovich.– New York: Springer, 1999.
  24. Greblicki, W. Classification using the Fourier series estimate of multivariate density functions / W.Greblicki, M.Pawlak // IEEE Transactions on Systems, Man, and Cybernetics.– 1981.– Vol. 11, №10, P. 726-730. – ISSN1083-4427.
  25. Rutkowski, L. Sequential pattern recognition procedures derived from multiple Fourier series / L.Rutkowski // Pattern Recognition Letters.– 1988.– №8.– P. 213–216. – ISSN0167-8655.
  26. Fei-Fei, L. One-shot learning of object categories /L. Fei-Fei, R. Fergus, P. Perona // IEEE Transactions on Pattern Analysis and Machine Intelligence.–2006.–Vol. 28, № 4.– P. 594–611. – ISSN0162-8828.
  27. Yi, D. Learning face representation from scratch /D.Yi,Z. Lei,S. Liao,S. Z. Li // arXiv preprint arXiv:1411.7923. – 2014.
  28. Wasikowski, M. Combating the small sample class imbalance problem using feature selection / M. Wasikowski, X. Chen // IEEE Transactions on Knowledge and Data Engineering.– 2010.–Vol. 22, № 10.–P. 1388–1400. – ISSN1041-4347.
  29. Жердёв, Д.А. Распознавание объектов по диаграммам рассеяния электромагнитного излучения на основе метода опорных подпространств / Д. А. Жердёв, Н. Л. Казанский, В. А. Фурсов //Компьютерная оптика. – 2014. – Т. 38. – №. 3. – С. 503-510.– ISSN 0134-2452.
  30. Савченко, В.В. Принцип минимума информационного рассогласования в задаче спектрального анализа случайных временных рядов в условиях малых выборок наблюдений / В.В. Савченко // Известия высших учебных заведений. Радиофизика.– 2015.– Т. 58, №5.– С. 415–422.
  31. Орлов, А.И. Развитие математических методов исследования (2006-2015 гг.) / А.И. Орлов // Заводская лаборатория. Диагностика материалов. – 2017. – Т. 83. – №. 1-I. – С. 78-86. – ISSN1028-6861.
  32. Лапко, А.В. Непараметрические модели распознавания образов в условиях малых выборок / А.В. Лапко, С.В. Ченцов, В.А. Лапко // Автометрия.– 1999.– № 6.– С. 105–113
  33. Franti, P. Fast and Memory Efficient Implementation of the Exact PNN / P. Franti, T. Kaukoranta, D.-F. Shen, K.-S. Chang // IEEE Transactions on Image Processing.–2000.–№9.–P. 773–777. ISSN 1057-7149.
  34. Савченко, А.В. Об одном способе повышения вычислительной эффективности вероятностной нейронной сети в задаче распознавания образов на основе проекционных оценок / А.В.Савченко // Информационные системы и технологии. – 2015.–№4.– С. 28-38. – ISSN2072-8964.
  35. Rutkowski, L. Adaptive probabilistic neural networks for pattern classification in time-varying environment / L.Rutkowski //IEEE Transactions on Neural Networks. – 2004. – Т. 15. – №. 4. – P. 811-827.
  36. Duda, P. On the Cesaro Orthogonal Series-Type Kernel Probabilistic Neural Networks Handling Non-stationary Noise / P. Duda, J.M. Zurada // Proceedings of InternationalConference on Parallel Processing and Applied Mathematics (LNCS).– 2012.– Vol. 7203.– P. 435-442
  37. Schwartz, S. C. Estimation of probability density by an orthogonal series / S. C. Schwartz // The Annals of Mathematical Statistics.–1967.–P. 1261–1265.
  38. Efromovich, S. Orthogonal series density estimation / S. Efromovich // Wiley Interdisciplinary Reviews: Computational Statistics.–2010.– Vol. 2, № 4.– P. 467–476.
  39. Hall, P. On trigonometric series estimates of densities /P. Hall // Annals of Statistics.– 1981.– Vol. 9, №3.– P. 683-685.
  40. Новосёлов, А.А. Параметризация моделей управляемых систем / А.А. Новосёлов // Вестник Сибирского государственного аэрокосмического университета.– 2010.– №5.– С. 52-56. – ISSN1816-9724.
  41. Hart, J. D. On the choice of a truncation point in Fourier series density estimation / J. D. Hart // Journal of Statistical Computation and Simulation.–1985.–Vol. 21, № 2.– P. 95–116. – ISSN0094-9655.
  42. Система распознавания изображений [Электронный ресурс]. – URL: https://github.com/HSE-asavchenko/HSE_FaceRec/tree/master/src/recognition_testing(дата обращения 01.12.2017).
  43. Jia, Y. Caffe: Convolutional architecture for fast feature embedding / Y. Jia, E. Shelhamer, J. Donahue, S. Karayev, J. Long, R. Girshick, T. Darrell // Proceedings of the 22 ACM International Conference on Multimedia. – 2014. – P. 675-678.
  44. Wu, X. A Lightened CNN for Deep Face Representation / X. Wu, R. He, Z. Sun // Proceedings of the IEEE International Conference on Computer Vision and Pattern Recognition (CVPR). – 2015.
© 2009, IPSI RAS
Россия, 443001, Самара, ул. Молодогвардейская, 151; электронная почта: journal@computeroptics.ru ; тел: +7 (846) 242-41-24 (ответственный секретарь), +7 (846) 332-56-22 (технический редактор), факс: +7 (846) 332-56-20