(44-1) 14 * << * >> * Русский * English * Содержание * Все выпуски

Алгоритм сопровождения людей на видеопоследовательностях с использованием свёрточных нейронных сетей для видеонаблюдения внутри помещений

Р.П. Богуш 1, И.Ю. Захарова 1

1 Полоцкий государственный университет,
211440, Республика Беларусь, г. Новополоцк, ул. Блохина, 29

 PDF, 709 kB

DOI: 10.18287/2412-6179-CO-565

Страницы: 109-116.

Аннотация:
Рассматривается алгоритм сопровождения людей в помещениях, который состоит из следующих основных этапов: обнаружение людей, формирование их признаков, установление соответствия между ними на кадрах, постобработка, индексация сопровождаемых объектов и определение их видимости на кадре. Для детектирования используется свёрточная нейронная сеть YOLO v3. Признаки людей формируются на основе гистограммы канала цветового тона пространства HSV и модифицированной СНС ResNet34. Предлагаемая структура свёрточной нейронной сети состоит из 29 свёрточных и одного полносвязного слоёв и формирует вектор из 128 значений признаков для входного изображения. Выполнено обучение данной модели свёрточной нейронной сети. Определены и представлены основные характеристики разработанного алгоритма, которые подтвердили его эффективность для видеонаблюдения внутри помещений. Эксперименты проведены по методике МОТ на тестовых видеопоследовательностях, снятых в помещениях неподвижной видеокамерой. При решении задач обнаружения и сопровождения предложенный алгоритм работает в режиме реального времени с использованием технологии CUDA и видеокарты NVIDIA GTX 1060.

Ключевые слова:
сопровождение людей, внутреннее видеонаблюдение, свёрточные нейронные сети.

Цитирование:
Богуш, Р.П. Алгоритм сопровождения людей на видеопоследовательностях с использованием свёрточных нейронных сетей для видеонаблюдения внутри помещений / Р.П. Богуш, И.Ю. Захарова // Компьютерная оптика. – 2020. – Т. 44, № 1. – С. 109-116. – DOI: 10.18287/2412-6179-CO-565.

Литература:
  1. Forsyth, D. Computer vision: A modern approach / D.Forsyth, J.Ponce. – 2nd ed. – Pearson Education, 2012. – 794 p.
  2. Шаталин, Р.А. Обнаружение нехарактерного поведения в задачах видеонаблюдения / Р.А. Шаталин, В.Р. Фидельман, П.Е. Овчинников // Компьютерная оптика. – 2017. – Т. 41, № 1. – С. 37-45. – DOI: 10.18287/2412-6179-2017-41-1-37-45.
  3. MOTChallenge: The multiple object tracking benchmark [Electronical Resource]. – URL: https://motchallenge.net/ (request date 20.01.2019).
  4. Miguel, M. Home camera-based fall detection system for the elderly / M. De Miguel, A. Brunete, M. Hernando, E. Gambao // Sensors. – 2017. – Vol. 17, Issue 12. – P. 2864-2885. – DOI: 10.3390/s17122864.
  5. Купляков, Д.А. Алгоритм сопровождения людей в видео на основе метода Монте-Карло для Марковский цепей / Д.А. Купляков, Е.В. Шальнов, А.С. Конушин // Программирование. – 2017. – № 4. – С. 13-21. – DOI: 10.1134/S0361768817040053.
  6. Tao, R. Siamese instance search for tracking / R. Tao, E. Gavves, A.W.M. Smeulders // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). – 2016. – P. 1420-1429. – DOI: 10.1109/CVPR.2016.158.
  7. Zhao, L. Deeply-learned part-aligned representations for person re-identification / L. Zhao, X. Li, Y. Zhuang, J. Wang // Proceedings of the IEEE International Conference on Computer Vision (ICCV). – 2017. – P. 3239-3248. – DOI: 10.1109/ICCV.2017.349.
  8. Chahyati, D. Tracking people by detection using CNN features / D. Chahyati, M.I. Fanany, A.M. Arymurthy // Proceedings of the 4th Information Systems International Conference (ISICO 2017). – 2017. – P. 167-172.
  9. Iqbal, U. PoseTrack: Joint multi-person pose estimation and tracking / U. Iqbal, A. Milan, J. Gall // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). – 2017. – P. 4654-4663. – DOI: 10.1109/CVPR.2017.495.
  10. Wojke, N. Simple online and realtime tracking with a deep association metric / N. Wojke, A. Bewley, D. Paulus // Proceedings of the IEEE International Conference on Image Processing (ICIP). – 2017. – P. 3645-3649. – DOI: 10.1109/ICIP.2017.8296962.
  11. Bewley, A. Simple online and realtime tracking / A. Bewley, Z. Ge, L. Ott, F.T. Ramos, B. Upcroft // Proceedings of the IEEE International Conference on Image Processing (ICIP).– 2016. – P. 3464-3468. – DOI: 10.1109/ICIP.2016.7533003.
  12. Real-time multi-person tracker using YOLO v3 and deep_sort with tensorflow [Electronical Resource]. – URL: https://github.com/Qidian213/deep_sort_yolov3 (request date 10.11.2018).
  13. Redmon, J. You only look once: Unified, real-time object detection / J. Redmon, S.K. Divvala, R.B. Girshick, A. Farhadi // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). – 2016. – P. 779-788. – DOI: 10.1109/CVPR.2016.91.
  14. Redmon, J. YOLO9000: Better, faster, stronger / J. Redmon, A. Farhadi // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. – 2017. – P. 6517-6525. – DOI: 10.1109/CVPR.2017.690.
  15. YOLOv3: An incremental improvement [Electronical Resource]. – URL: https://arxiv.org/abs/1804.02767 (request date 10.11.2018).
  16. He, K. Deep residual learning for image recognition / K. He, X. Zhang, S. Ren, J. Sun // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). – 2016. – P. 770-778. – DOI: 10.1109/CVPR.2016.90.
  17. Wu, L. PersonNet: Person re-identification with deep convolutional neural networks [Electronical Resource] / L. Wu, S. Chunhua, A. Hengel // Computing Research Repository. – 2016. – URL: https://arxiv.org/pdf/1601.07255.pdf (request date 16.06.2019).
  18. Kuhn, H.W. The hungarian method for the assignment problem / H.W. Kuhn // Naval Research Logistics Quarterly. – 1955. – Vol. 2. – P. 83-97.
  19. Bogush, R. Minimax criterion of similarity for video information processing / R. Bogush, S. Maltsev // Proceedings of the Siberian Conference on Control and Communications. – 2007. – P. 120-127. – DOI: 10.1109/SIBCON.2007.371310.
  20. Person Re-ID (PRID) dataset [Electronical Resource]. –URL: https://www.tugraz.at/institute/icg/research/team-bischof/lrs/downloads/prid11/ (request date 10.11.2018).
  21. iLIDS Video re-IDentification (iLIDS-VID) dataset [Electronical Resource]. – URL: http://www.eecs.qmul.ac.uk/~xiatian/downloads_qmul_iLIDS-VID_ReID_dataset.html (request date 10.11.2018).
  22. Keni, B. Evaluating multiple object tracking performance: The CLEAR MOT metrics / B. Keni, R. Stiefelhagen // EURASIP Journal on Image and Video Processing. – 2008. – Vol. 1.– P. 1-10.

© 2009, IPSI RAS
Россия, 443001, Самара, ул. Молодогвардейская, 151; электронная почта: ko@smr.ru ; тел: +7 (846) 242-41-24 (ответственный секретарь), +7 (846) 332-56-22 (технический редактор), факс: +7 (846) 332-56-20