Локализация человека в кадре видеопотока с использованием алгоритма на основе растущего нейронного газа и нечёткого вывода
Амосов О.С., Иванов Ю.С., Жиганов С.В.


ФГБОУ ВО «Комсомольский-на-Амуре государственный технический университет», Комсомольск-на-Амуре, Россия

Аннотация:
Решается задача локализации человека в кадре видеопотока с помощью алгоритма расширяющегося нейронного газа и признакового описания на основе гистограмм ориентированных градиентов. В основе алгоритма используется оригинальная нейро-нечеткая модель растущего нейронного газа для обучения с подкреплением (GNG-FIS). Также предложена модификация алгоритма GNG-FIS с использованием двухпроходного обучения с нечеткой перемаркировкой классов и построением тепловой карты.
В результате экспериментов показатель правильных локализаций разработанного классификатора составил от 90,5 % до 93,2 %, в зависимости от условий сцены, что позволяет применять алгоритм в реальных системах ситуационной видеоаналитики.

Ключевые слова:
локализация человека, растущий нейронный газ, кластеризация, нечеткий вывод.

Цитирование:
Амосов, О.С. Локализация человека в кадре видеопотока с использованием алгоритма на основе растущего нейронного газа и нечеткого вывода / О.С. Амосов, Ю.С. Иванов, С.В. Жиганов // Компьютерная оптика. – 2017. – Т. 41, № 1. – С. 46-58. – DOI: 10.18287/2412-6179-2017-41-1-46-58.

Литература:

  1. Амосов, О.С. Модифицированный алгоритм локализации номерных знаков транспортных средств на основе метода Виолы-Джонса / О.С. Амосов, Ю.С. Иванов // Информатика и системы управления. – 2014. – Т. 39, № 1. – С. 127-140.
  2. Мельников, И.И. Детектор движения на основе импульсных нейронных сетей / И.И. Мельников, К.А. Демиденков, И.А. Емельянов, И.А. Евсеенко // Информационные технологии. – 2013. – № 7. – С. 57-60.
  3. Viola, P. Robust real-time face detection / P. Viola, M.J. Jones // International Journal of Computer Vision. – 2004. – Vol. 57(2). – P. 137-154. – DOI: 10.1023/B:VI¬SI.0000013087.49260.fb.
  4. Минаев, Е.Ю. Детектирование и распознавание объектов в системах автомобильной безопасности на основе фрактального анализа / Е.Ю. Минаев, А.В. Никоноров // Компьютерная оптика. – 2012. – Т. 36, № 1. – С. 124-130.
  5. Viola, P. Detecting Pedestrians Using Patterns of Motion and Appearance / P. Viola, M.J. Jones, D. Snow // International Journal of Computer Vision. – 2005. – Vol. 63(2). – P. 153-161. – DOI: 10.1007/s11263-005-6644-8.
  6. Enzweiler, M. Monocular Pedestrian Detection: Survey and Experiments / M. Enzweiler, G.M. Dariu // IEEE Transactions on Pattern Analysis and Machine Intelligence. – 2009. Vol. 31(12). – P. 2179-2195. – DOI: 10.1109/TPA¬MI.2008.260.
  7. Dalal, N. Histograms of oriented gradients for human detection / N. Dalal, B. Triggs // IEEE Computer Society Conference on Computer Vision and Pattern Recognition. – 2005. – P. 886-893. – DOI: 10.1109/CVPR.2005.177.
  8. Cristianini, N. An introduction to support Vector Machines and other kernel-based learning methods / N. Cristianini, J. Shawe-Taylor. – Cambridge: Cambridge University Press, 2000. – P. 204. – ISBN: 978-0521780193.
  9. Лекции по методу опорных векторов [Электронный ресурс] / К.В. Воронцов. – URL: http://www.ccas.ru/vo-ron/download/SVM.pdf (дата обращения 10.06.2016).
  10. Казаков, А. Быстрый алгоритм обнаружения пешеходов по видеоданным / А. Казаков, А. Бовырин // Proceedings of the 22nd International Conference on Computer Graphics and Vision. – 2012. – С. 144-148.
  11. Cho, H. Real-time pedestrian detection with deformable part models / H. Cho, P.E. Rybski, A. Bar-Hillel, W. Zhang // Intelligent Vehicles Symposium (IV), 2012 IEEE, Alcala de Henares. – 2012. – P. 1035-1042. – DOI: 10.1109/IVS.2012.6232264.
  12. Hua, Ch. Pedestrian detection by using spatio temporal histogram of oriented gradients / Ch. Hua, Y. Makihara, Y. Yagi // IEICE Transactions on Information and Systems. – 2013. – Vol. E96-D(6). – P. 1376-1386. – DOI: 10.1587/transinf.E96.D.1376.
  13. Vapnik, V.N. An overview of statistical learning theory / V.N. Vapnik // IEEE Transactions on Neural Networks. – 1999. – Vol. 10(5). – P. 988-999. – DOI: 10.1109/72.788640.
  14. Воронцов, К.В. Математические методы обучения по прецедентам (теория обучения машин) [Электронный ресурс] / К.В. Воронцов. – 2011. – URL: http://www.ma¬chinelearning.ru/wiki/images/6/6d/Voron-ML-1.pdf (дата обращения 21.10.16).
  15. Ciresan, D. Multi-column deep neural networks for image classification / D. Ciresan, U. Meier, J. Schmidhuber // Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. – 2012. – P. 3642-3649. – DOI: 10.1109/CVPR.2012.6248110.
  16. Ciresan, D. Flexible, high performance convolutional neural networks for image classification / D. Ciresan, U. Meier, J. Masci, L.M. Gambardella, J. Schmidhuber // Proceedings of the Twenty-Second International Joint Conference on Artificial Intelligence. – 2011. – Vol. 2. – P. 1237-1242. – DOI: 10.5591/978-1-57735-516-8/IJCAI11-210.
  17. Karungaru, S.G. Face recognition in colour images using neural networks and genetic algorithms / S.G. Karungaru, M. Fukumi, N. Akamatsu // International Journal of Computational Intelligence and Applications. – 2005. – Vol. 5(1). – P. 55-67. – DOI: 10.1142/S1469026805001477.
  18. Солдатова, О.П. Применение свёрточной нейронной сети для распознавания рукописных цифр / О.П. Солдатова, А.А. Гаршин // Компьютерная оптика. – 2010. – Т. 34, № 2. – С. 252-259.
  19. Verma, A. Pedestrian detection via mixture of CNN experts and thresholded aggregated channel features / A. Verma, R. Hebbalaguppe, L. Vig, S. Kumar, E. Hassan // Proceedings of the 2015 IEEE International Conference on Computer Vision Workshop (ICCVW '15), Santiago. – 2015. – P. 555-563. – DOI: 10.1109/ICCVW.2015.78.
  20. Ouyang, W. Joint Deep Learning for Pedestrian Detection / W. Ouyang, X. Wang // Proceedings of the 2013 IEEE International Conference on Computer Vision. – 2013. – P. 2056-2063. – DOI: 10.1109/ICCV.2013.257.
  21. Хайкин, С. Нейронные сети: Полный курс: Пер. с англ. / С. Хайкин.; пер. с англ.  – М.: Вильямс, 2008. – 1103 с. – ISBN: 5-8459-0890-6.
  22. Кохонен, Т. Самоорганизующиеся карты / Т. Кохонен; пер. с англ. – М.: БИНОМ. Лаборатория знаний, 2008. – 655 с. – ISBN: 5-94774-352-3.
  23. Уоссермен, Ф. Нейрокомпьютерная техника: Теория и практика / Ф. Уоссермен; пер. с англ. – М.: Мир. 1992. – 240 с.
  24. Martinetz, T.M. "Neural-gas" network for vector quantization and its application to time series prediction / T.M. Martinetz, S.G. Berkovich, K.J. Schulten // IEEE Transactions on Neural Networks. – 1993. – Vol. 4(4). – P. 558-569. –DOI: 10.1109/72.238311.
  25. Fawcett, T. An introduction to ROC analysis / T. Fawcett // Pattern Recognition Letters – Special Issue: ROC Analysis in Pattern Recognition. – 2006. – Vol. 27(8). – P. 861-874. – DOI: 10.1016/j.patrec.2005.10.010.
  26. Goto, Y. CS-HOG: Color similarity-based HOG / Yuhi Goto, Y. Yamauchi, H. Fujiyoshi // Proceedings of 19th Korea-Japan Joint Workshop on Frontiers of Computer Vision. – 2013. – P. 266-271. – DOI: 10.1109/FCV.2013.6485502.
  27. Agoston, M.K. Computer graphics and geometric modeling: Implementation and algorithms // M.K. Agoston. – London: Springer, 2005. – P. 300-306. – ISBN: 978-1-85233-818-3. –  DOI: 10.1007/b138805.
  28. Pizer, S.M. Adaptive histogram equalization and its variations / S.M. Pizer, E.P. Amburn, J.D. Austin, R. Cromartie, A. Geselowitz, T. Greer, B.T.H. Romeny, J.B. Zimmerman // Computer Vision, Graphics, and Image Processing. – 1987. – Vol. 39(3). – P. 355-368. – DOI: 10.1016/S0734-189X(87)80186-X.
  29. Библиотека компьютерного зрения OpenCV [Электронный ресурс]. – URL: http://docs.opencv.org/ (дата обращения: 10.07.2016).
  30. Beyer, O. Online semi-supervised growing neural gas / O. Beyer, Ph. Cimiano // International Journal of Neural Systems. – 2012. – P. 425-435. – DOI: 10.1142/S0129065712500232.
  31. Qin, A.K. Robust growing neural gas algorithm with application in cluster analysis / A.K. Qin, P.K. Suganthan // Neural Networks. – 2004. – Vol. 17(8). – P. 1135-1148. – DOI: 10.1016/j.neunet.2004.06.013.
  32. Beyer, O. Online labelling strategies for growing neural gas / O. Beyer, P. Cimiano // Proceedings of 12th International Conference on Intelligent Data Engineering and Automated Learning. – 2011. – P. 76-83. – DOI: 10.1007/978-3-642-23878-9_10.
  33. Муравьёв, А.С. Модифицированный алгоритм растущего нейронного газа применительно к задаче классификации / А.С. Муравьёв, А.А. Белоусов // Вестник науки Сибири. – 2014. – Т. 14, № 4. – С. 105-111.
  34. Айвазян, С.А. Прикладная статистика: Классификация и снижение размерности / С.А. Айвазян, В.М. Бухштабер, И.С. Енюков, Л.Д. Мешалкин. – М.: Финансы и статистика, 1989. – 607 с. – ISBN: 5-279-00054-X.
  35. INRIA Person Dataset [Электронный ресурс]. – URL: http://pascal.inrialpes.fr/data/human/ (дата обращения 10.07.2016).
  36. Caltech Pedestrian Detection Benchmark [Электронный ресурс]. – URL: http://www.vision.caltech.edu/Image_Da-tasets/CaltechPedestrians/ (дата обращения 10.07.2016).
  37. Amosov, O.S. High-speed neurofuzzy algorithms for filtering the mobile object trajectory parameters / O.S. Amosov, E.A. Malashevskaya, S.G. Baena // 23rd Saint Petersburg International Conference on Integrated Navigation Systems, ICINS 2016. – 2016. – P. 389-392.
  38. Park, Y.M. A self-organizing fuzzy logic controller for dynamic systems using a fuzzy auto-regressive moving average model / Y.M. Park, U.C. Moon, K.Y. Lee // IEEE Transactions on Fuzzy Systems. – 1995. – Vol. 3(1). – P. 75-82. – DOI: 10.1109/91.366563.
  39. Jang, J.-S.R. ANFIS: adaptive-network-based fuzzy inference system / J.-S.R. Jang // IEEE Transactions on Systems, Man and Cybernetics. – 1993. – Vol. 23(3) – P. 665-685. – DOI: 10.1109/21.256541.
  40. Dollar P. Pedestrian detection: An evaluation of the state of the art / P. Dollar, C. Wojek, B. Schiele, P. Perona // IEEE Transactions on Pattern Analysis and Machine Intelligence. – 2012. – Vol. 34(4). – P. 743-761. – DOI: 10.1109/TPA¬MI.2011.155.
© 2009, IPSI RAS
Россия, 443001, Самара, ул. Молодогвардейская, 151; электронная почта: ko@smr.ru ; тел: +7 (846) 242-41-24 (ответственный секретарь), +7 (846) 332-56-22 (технический редактор), факс: +7 (846) 332-56-20