(41-5) 17 * << * >> * Русский * English * Содержание * Все выпуски

Нейросетевая модель распознавания человека по лицу в видеопоследовательности с оценкой полезности кадров
Никитин М.Ю., Конушин В.С., Конушин А.С.

 

МГУ им. М.В. Ломоносова, Москва, Россия,
ООО «Технологии видеоанализа», Москва, Россия,
НИУ Высшая школа экономики, Москва, Россия

 PDF, 1 033 kB

DOI: 10.18287/2412-6179-2017-41-5-732-742

Страницы: 732-742.

Аннотация:
Данная работа посвящена задаче распознавания людей по лицу в видеопоследовательности. В работе предложена нейросетевая модель, которая для входного набора изображений лица человека строит компактное признаковое представление фиксированной размерности. Предложенная модель состоит из двух частей: модуль распознавания по изображению лица и модуль оценки качества изображения лица. Признаковые представления кадров из входного набора, полученные в результате работы модуля распознавания, агрегируются с учетом их полезности, которая оценивается модулем оценки качества. Визуальный анализ выявил, что предложенная нейронная сеть учится использовать больше полезной информации с изображений высокого качества и меньше – с размытых или перекрытых изображений. Экспериментальная оценка на базах YouTube Faces и IJB-A показала, что предложенный метод объединения признаков на основе оценок полезности изображений позволяет повысить качество распознавания по сравнению с базовыми методами агрегации.

Ключевые слова:
распознавание лиц, анализ видео, нейронные сети, глубокое обучение, алгоритмы компьютерного зрения.

Цитирование:
Никитин, М.Ю. Нейросетевая модель распознавания человека по лицу в видеопоследовательности с оценкой полезности кадров / М.Ю. Никитин, В.С. Конушин, А.С. Конушин // Компьютерная оптика. – 2017. – Т. 41, № 5. – С. 732-742. – DOI: 10.18287/2412-6179-2017-41-5-732-742.

Литература:

  1. Калиновский, И.А. Обзор и тестирование детекторов фронтальных лиц / И.А. Калиновский, В.Г. Спицын // Компьютерная оптика. – 2016. – Т. 40, № 1. – С. 99-111. – DOI: 10.18287/2412-6179-2016-40-1- 99-111.
  2. Wong, Y. Patch-based probabilistic image quality assessment for face selection and improved video-based face recognition / Y. Wong, S. Chen, S. Mau, C. Sanderson, B.C. Lovell // 2011 IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops. – 2011. – P. 74-81. – DOI: 10.1109/CVPRW.2011.5981881.
  3. Nikitin, M. Face quality assessment for face verification in video / M. Nikitin, V. Konushin, A. Konushin // GraphiCon. – 2014. – P. 111-114.
  4. Chen, Y.-C. Dictionary-based face recognition from video / Y.-C. Chen, V.M. Patel, P.J. Phillips, R. Chellappa // European Conference on Computer Vision. – 2012. – P. 766-779. – DOI: 10.1007/978-3-642-33783-3_55.
  5. Lu, J. Simultaneous feature and dictionary learning for image set based face recognition / J. Lu, G. Wang, W. Deng, P. Moulin // European Conference on Computer Vision. – 2014. – P. 265-280. – DOI: 10.1007/978-3-319-10590-1_18.
  6. Zhang, M. Simultaneous feature and sample reduction for image-set classification / M. Zhang, R. He, D. Cao, Z. Sun, T. Tan // Proceedings of the Thirtieth AAAI Conference on Artificial Intelligence. – 2016. – P. 1401-1407.
  7. Cevikalp, H. Face recognition based on image sets / H. Cevikalp, B. Triggs // Proceedings of the 2010 IEEE Conference on Computer Vision and Pattern Recognition. – 2010. – P. 2567-2573. – DOI: 10.1109/CVPR.2010.5539965.
  8. Kim, T.K. Discriminative learning and recognition of image set classes using canonical correlations / T.K. Kim, J. Kittler, R. Cipolla // IEEE Transactions on Pattern Analysis and Machine Intelligence. – 2007. – Vol. 29, Issue 6. – P. 1005-1018. – DOI: 10.1109/TPAMI.2007.1037.
  9. Cui, Z. Image sets alignment for Video-Based Face Recognition / Z. Cui, S. Shan, H. Zhang, S. Lao, X. Chen // Proceedings of the 2012 IEEE Conference on Computer Vision and Pattern Recognition. – 2012. – P. 2626-2633. – DOI: 10.1109/CVPR.2012.6247982.
  10. Huang, Z. Face recognition on large-scale video in the wild with hybrid Euclidean-and-Riemannian metric learning / Z. Huang, R. Wang, S. Shan, X. Chen // Pattern Recognition. – 2015. – Vol. 48, Issue 10. – P. 3113-3124. – DOI: 10.1016/j.patcog.2015.03.011.
  11. Huang, Z. Log-Euclidean metric learning on symmetric positive definite manifold with application to image set classification / Z. Huang, R. Wang, S. Shan, X. Li, X. Chen // Proceedings of the 32nd International Conference on Machine Learning. – 2015. – Vol. 37. – P. 720-729.
  12. Wang, W. Discriminant analysis on Riemannian manifold of Gaussian distributions for face recognition with image sets / W. Wang, R. Wang, Z. Huang, S. Shan, X. Chen // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. – 2015. – P. 2048-2057. – DOI: 10.1109/CVPR.2015.7298816.
  13. Kukharenko, A.I. Simultaneous classification of several features of a person’s appearance using a deep convolutional neural network / A.I. Kukharenko, A.S. Konushin // Pattern Recognition and Image Analysis. – 2015. – Vol. 25, Issue 3. – P. 461-465. – DOI: 10.1134/S1054661815030128.
  14. Визильтер, Ю.В. Идентификация лиц в реальном времени с использованием свёрточный нейронной сети и хэширующего леса / Ю.В. Визильтер, В.С. Горбацевич, А.В. Воротников, Н.А. Костромов // Компьютерная оптика. – 2017.– Т. 41, № 2. – С. 254-265. – DOI: 10.18287/2412-6179-2017-41-2-254-265.
  15. Taigman, Y. DeepFace: Closing the gap to human-level performance in face verification / Y. Taigman, M. Yang, M. Ranzato, L. Wolf // Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition. – 2014. – P. 1701-1708. – DOI: 10.1109/CVPR.2014.220.
  16. Schroff, F. Facenet: A unified embedding for face recognition and clustering / F. Schroff, D. Kalenichenko, J. Philbin // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. – 2015. – P. 815-823.
  17. Parkhi, O.M. Deep face recognition / O.M. Parkhi, A. Vedaldi, A. Zisserman // Proceedings of the British Machine Vision Conference. – 2015. – Vol. 1, Issue 3. – P. 6.
  18. Wen, Y. A discriminative feature learning approach for deep face recognition / Y. Wen, K. Zhang, Z. Li, Y. Qiao // European Conference on Computer Vision. – 2016. – P. 499-515. – DOI: 10.1007/978-3-319-46478-7_31.
  19. Sun, Y. Deeply learned face representations are sparse, selective, and robust / Y. Sun, X. Wang, X. Tang // Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. – 2015. – P. 2892-2900. – DOI: 10.1109/CVPR.2015.7298907.
  20. Ding, C. Trunk-branch ensemble convolutional neural networks for video-based face recognition / C. Ding, D. Taio // arXiv preprint arXiv:1607.05427. – 2016. – DOI: 10.1109/TPAMI.2017.2700390.
  21. Li, Y. Recurrent regression for face recognition / Y. Li, W. Zheng, Z. Cui // arXiv preprint arXiv:1607.06999. – 2016.
  22. Bromley, J. Signature verification using a “Siamese” time delay neural network / J. Bromley, I. Guyon, Y. LeCun, E. Säckinger, R. Shah. – In book: Advances in Neural Information Processing Systems 6 (NIPS 1993) / ed. by J.D. Cowan, G. Tesauro, J. Alspector. – Morgan Kaufmann Pub, 1994. – P. 737-744. – ISBN: 978-1-558603226.
  23. Klare, B.F. Pushing the frontiers of unconstrained face detection and recognition: IARPA Janus Benchmark A / B.F. Klare, B. Klein, E. Taborsky, A. Blanton, J. Cheney, K. Allen, P. Grother, A. Mah, M. Burge, A.K. Jain // Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. – 2015. – P. 1931-1939. – DOI: 10.1109/CVPR.2015.7298803.
  24. Wolf, L. Face recognition in unconstrained videos with matched background similarity / L. Wolf, T. Hassner, I. Maoz // Proceedings of the 2011 IEEE Conference on Computer Vision and Pattern Recognition. – 2011. – P. 529-534. – DOI: 10.1109/CVPR.2011.5995566.
  25. Технологии видеоанализа. FaceSDK [Электронный ресурс]. – URL: http://tevian.ru/product/facesdk/ (дата обращения 22.05.2017).
  26. Jia, Y. Caffe: Convolutional architecture for fast feature embedding / Y. Jia, E. Shelhamer, J. Donahue, S. Karay­ev, J. Long, R. Girshick, S. Guadarrama, T. Darrell // Proceedings of the 22nd ACM international conference on Multimedia. – 2014. – P. 675-678. – DOI: 10.1145/2647868.2654889.
  27. Caffe [Electronical Resource]. – URL: http://caffe.berke­leyvision.org/tutorial/layers.html (request date 12.07.2017).
  28. Grother, P. Face recognition vendor test (FRVT): Performance of face identification algorithms. NIST Interagency Report 8009 / P. Grother, M. Ngan. – NIST, 2014. – 138 p.
© 2009, IPSI RAS
Россия, 443001, Самара, ул. Молодогвардейская, 151; электронная почта: journal@computeroptics.ru ; тел: +7 (846) 242-41-24 (ответственный секретарь), +7 (846) 332-56-22 (технический редактор), факс: +7 (846) 332-56-20