Аннотация:
Разработаны метод и средства логического объектно-ориентированного программирования систем интеллектуального видеонаблюдения нового поколения, поддерживающих анализ поведения и взаимодействия людей, животных и технических объектов. В состав разработанных средств логического программирования входят: транслятор объектно-ориенти­ро­ван­но­го логического языка Акторный Пролог в Java, свободно распространяемая библиотека встроенных классов Акторного Пролога на Java, включающая процедуры низкоуровневого анализа видеоизображений и компьютерной графики, а также среда программирования на языке Акторный Пролог. Применение разработанного метода рассмотрено на примере решения задачи интеллектуального видеомониторинга аномального поведения людей. Объектно-ориентированные средства логического языка Акторный Пролог позволяют разбивать программу анализа видео на взаимодействующие параллельные процессы, реализующие различные этапы обработки видеоизображений и анализа сцен, а трансляция в язык Java обеспечивает надёжность, переносимость и открытость создаваемых программ интеллектуального видеонаблюдения.

Ключевые слова :
анализ видеоизображений в реальном времени, интеллектуальное видеонаблюдение, параллельное объектно-ориентированное логическое программирование, выявление аномального поведения, Акторный Пролог, распознавание сложных событий, машинное зрение, техническое зрение, трансляция Пролога в Java.

Цитирование:
Морозов, А.А. Анализ видеоизображений в реальном времени средствами языка Акторный Пролог / А.А. Морозов, О.С. Сушкова // Компьютерная оптика. – 2016. – Т. 40, № 6. – С. 947-957. – DOI: 10.18287/2412-6179-2016-40-6-947-957.

Литература:

1. Vishwakarma, S. A survey on activity recognition and behavior understanding in video surveillance / S. Vishwakarma, A. Agrawal // Visual Computer. – 2013. – Vol. 29, Issue 10. – P. 983-1009. – DOI: 10.1007/s00371-012-0752-6.
2. Borges, P.V.K. Video-based human behavior understanding: A survey / P.V.K. Borges, N. Conci, A. Cavallaro // IEEE Transactions on Circuits and Systems for Video Technology. – 2013. – Vol. 23(11). – P. 1993-2008. – DOI: 10.1109/TCSVT.2013.2270402.
3. Haritaoglu, I. W4: Who? When? Where? What? A real time system for detecting and tracking people / I. Haritaoglu, D. Harwood, L.S. Davis // Proceedings of the Third IEEE International Conference on Automatic Face and Gesture Recognition, 1998, Nara, Japan. – 1998. – P. 222-227. – DOI: 10.1109/AFGR.1998.670952.
4. Shet, V. VidMAP: Video monitoring of activity with Prolog / V. Shet, D. Harwood, L. Davis // IEEE Conference on Advanced Video and Signal Based Surveillance, 2005. AVSS 2005. – 2005. – P. 224-229. – DOI: 10.1109/AVSS.2005.1577271.
5. O’Hara S. VERSA – video event recognition for surveillance applications / O’Hara S. – M.S. Thesis. University of Nebraska at Omaha, 2008. – 93 p.
6. Machot, F. Real time complex event detection for resource-limited multimedia sensor networks / F. Machot, K. Kyamakya, B. Dieber, B. Rinner // 8th IEEE International Conference on Advanced Video and Signal-Based Surveillance (AVSS), 2011. – 2011. – P. 468-473. – DOI: 10.1109/AVSS.2011.6027378.
7. Shet, V. Predicate logic based image grammars for complex pattern recognition / V. Shet, M. Singh, C. Bahlmann, V. Ramesh, J. Neumann, L. Davis // International Journal of Computer Vision. – 2011. – Vol. 93, Issue 2. – P. 141-161. – DOI: 10.1007/s11263-010-0343-9.
8. Skarlatidis, A. A probabilistic logic programming event calculus / A. Skarlatidis, A. Artikis, J. Filippou, G. Paliouras // Theory and Practice of Logic Programming. – 2015. – Vol. 15(2). – P. 213-245. – DOI: 10.1017/S1471068413000690.
9. Artikis, A. A logic programming approach to activity recognition / A. Artikis, M. Sergot, G. Paliouras // EiMM '10 Proceedings of the 2nd ACM International Workshop on Events in Multimedia. – 2010. – P. 3-8. – DOI: 10.1145/1877937.1877941.
10. Ma, J. Event composition with imperfect information for bus surveillance / J. Ma, W. Liu, P. Miller, W. Yan // Sixth IEEE International Conference on Advanced Video and Signal Based Surveillance, AVSS 2009, 2-4 September 2009, Genova, Italy. – 2009. – P. 382-387. – DOI: 10.1109/AVSS.2009.25.
11. Ferryman, J. Robust abandoned object detection integrating wide area visual surveillance and social context / J. Ferryman, D. Hogg, J. Sochman, A. Behera, J.A. Rodriguez-Serrano, S. Worgan, L. Li, V. Leung, M. Evans, P. Cornic, S. Herbin, S. Schlenger, M. Dose // Pattern Recognition Letters. – 2013. – Vol. 34, Issue 7. – P. 789-798. – DOI: 10.1016/j.patrec.2013.01.018.
12. Wielemaker, J. SWI-Prolog / J. Wielemaker, T. Schrijvers, M. Triska, T. Lager // Theory and Practice of Logic Programming. – 2012. – Vol. 12, Issue 1-2. – P. 67-96.
13. Baral, C. Using answer set programming to model multi-agent scenarios involving agents’ knowledge about other’s knowledge / C. Baral, G. Gelfond, T.C. Son, E. Pontelli // AAMAS '10 Proceedings of the 9th International Conference on Autonomous Agents and Multiagent Systems, Toronto, 2010; – Vol. 1. – P. 259-266.
14. Ginsberg, M.L. Multivalued logics: A uniform approach to reasoning in artificial intelligence / M.L. Ginsberg // Computational intelligence. – 1988. – Vol. 4, Issue 3. – P. 265-316. – DOI: 10.1111/j.1467-8640.1988.tb00280.x.
15. Kowalski, R. A logic-based calculus of events / R. Kowal­ski, M. Sergot // New Generation Computing. – 1986. – Vol. 4, Issue 1. – P. 67-96. – DOI: 10.1007/BF03037383.
16. Kimmig, A. On the implementation of the probabilistic logic programming language ProbLog / A. Kimmig, B. Demoen, L.D. Raedt, V.S. Costa, R. Rocha // Theory and Practice of Logic Programming. – 2011. – Vol. 11(2-3). – P. 235-262. – DOI: 10.1017/S1471068410000566.
17. Ballan, L. Event detection and recognition for semantic annotation of video / L. Ballan, M. Bertini, A. Del Bimbo, L. Seidenari, G. Serra // Multimedia Tools and Applications. – 2011. – Vol. 51, Issue 1. – P. 279-302. – DOI: 10.1007/s11042-010-0643-7.
18. Neumann, B. Natural language description of time-varying scenes / Neumann B. // Semantic Structures: Advances in Natural Language Processing. – 1984. – P. 167-207.
19. Dance, S. A concurrent, hierarchical approach to symbolic dynamic scene interpretation / S. Dance, T. Caelli, Z.-Q. Liu // Pattern Recognition. – 1996. – Vol. 29, Issue 11. – P. 1891-1903. – DOI: 10.1016/0031-3203(96)00029-5.
20. Dönderler, M.E. Rule-based spatiotemporal query processing for video databases / M.E. Dönderler, Ö. Ulusoy, U. Güdükbay // The VLDB Journal. – 2004. – Vol. 13(1). – P. 86-103. – DOI: 10.1007/s00778-003-0114-0.
21. QasemiZadeh, B. A speech based approach to surveillance video retrieval / B. QasemiZadeh, J. Shen, I. O'Neill, P. Miller, P. Hanna, D. Stewart, H. Wang // AVSS '09. Sixth IEEE International Conference on Advanced Video and Signal Based Surveillance, 2009. – 2009. – P. 336-339. – DOI: 10.1109/AVSS.2009.54.
22. Tran, S.D. Event modeling and recognition using Markov logic networks / S.D. Tran, L.S. Davis // ECCV '08 Proceedings of the 10th European Conference on Computer Vision. – Part II. – P. 610-623. – DOI: 10.1007/978-3-540-88688-4_45.
23. Morariu V.I. Analyzing structured scenarios by tracking people and their limbs / V.I. Morariu. – Ph.D. Thesis. – University of Maryland, 2010.
24. Chakraborty, I. Video based activity recognition in a trauma center / I. Chakraborty, A. Elgammal // 2013 10th IEEE International Conference and Workshops on Automatic Face and Gesture Recognition (FG). – 2013. – P. 1-8.
25. Han, S. Subjective logic based hybrid approach to conditional evidence fusion for forensic visual surveillance / S. Han, B. Koo, A. Hutter, V.D. Shet, W. Stechele // 2010 Seventh IEEE International Conference on Advanced Video and Signal Based Surveillance (AVSS). – 2010. – P. 337-344. – DOI: 10.1109/AVSS.2010.19.
26. Selman, J. PEL-CNF: Probabilistic event logic conjunctive normal form for video interpretation / J. Selman, M. Amer, A. Fern, S. Todorovic // 2011 IEEE International Conference on Computer Vision Workshops (ICCV Workshops). – 2011. – P. 680-687. – DOI: 10.1109/ICCVW.2011.6130308.
27. Minsky M. A framework for representing knowledge / M. Minsky. – In Book: The psychology of computer vision, ed. by P.H. Winston, B. Hom. – New York: McGraw-Hill, 1975. – P. 211-277.
28. Davison, A. From parlog to polka in two easy steps / A. Davison. – In Book: International symposium on programming language implementation and logic programming. – Berlin?Heidelberg: Springer, 1991. – P. 171-182. – ISBN: 978-3-540-54444-9.
29. Richardson, M. Markov logic networks / M. Ri­chardson, P. Domingos // Machine Learning. – 2006. – Vol. 62(1). – P. 107-136. – DOI: 10.1007/s10994-006-5833-1.
30. Josang, A. A logic for uncertain probabilities / A. Jo­sang // International Journal of Uncertainty, Fuzziness and Knowledge-Based Systems. – 2001. – Vol. 9(3). – P. 279-311. – DOI: 10.1142/S0218488501000831.
31. Morozov, A.A. Development of concurrent object-oriented logic programming platform for the intelligent monitoring of anomalous human activities / A.A. Morozov, A. Vaish, A.F. Polupanov, V.E. Antciperov, I.I. Lychkov, A.N. Alfimtsev, V.V. Deviatkov. –In Book: Biomedical Engineering Systems and Technologies. 7th International Joint Conference, BIOSTEC 2014, Angers, France, March 3-6, 2014, Revised Selected Papers / Ed. by G. Plantier, T. Schultz, A. Fred, H. Gamboa. – Springer International Publishing, 2015. – P. 82-97. – DOI: 10.1007/978-3-319-26129-4_6.
32. Morozov, A.A. Development of the logic programming approach to the intelligent monitoring of anomalous human behaviour / A.A. Morozov, A.F. Polupanov. – In Book: Proceedings of 9th Open German-Russian Workshop on Pattern Recognition and Image Understanding (OGRW 2014) / Ed. by D. Paulus, C. Fuchs, D. Droege. – Koblenz: University of Koblenz-Landau, 2015. – P. 82-85. – URL: https://kola.opus.hbz-nrw.de/files/915/OGRW_2014_Procee­dings.pdf.
33. Morozov, A.A. Intelligent visual surveillance logic programming: Implementation issues / A.A. Morozov, A.F. Po­lupanov. – In Book: Proceedings of the International Joint Workshop on Implementation of Constraint and Logic Programming Systems and Logic-based Methods in Programming Environments 2014 (July 17-18, 2014, Vienna, Austria) / Ed. by T. Ströder, T. Swift. – Aachen: RWTH Aachen University, 2014. – P. 31-45. – URL: http://aib.infor­matik.rwth-aachen.de/2014/2014-09.pdf.
34. Morozov, A.A. A translator of Actor Prolog to Java / A.A. Morozov, A.F. Polupanov, O.S. Sushkova. – In Book: RuleML 2015 DC and Challenge. Proceedings of the 9th International Rule Challenge and the 5th RuleML Doctoral Consortium (Berlin, Germany, August 2-5) / Ed. by N. Bassiliades, P. Fodor, A. Giurca, G. Gottlob, T. Kliegr, G.J. Nalepa, M. Palmirani, A. Paschke, M. Proctor, D. Roman, F. Sadri, N. Stojanovic.  – Berlin: CEUR, 2015. – URL: https://www.csw.inf.fu-berlin.de/ruleml2015-ceur/.
35. Davison, A. A survey of logic programming-based object-oriented languages / A. Davison. – In Book: Research Directions in Concurrent Object Oriented Programming / Ed. by P. Wegner, A. Yonezawa, G. Agha. – Cambridge, MA: MIT Press, 1993. – P. 42-106. – ISBN: 0-262-01139-5.
36. Morozov, A.A. Actor Prolog: An object-oriented language with the classical declarative semantics / A.A. Morozov. – In: Proceedings of the International Workshop on Implementation of Declarative Languages (IDL 1999), Paris, France, September 1999 / Ed. by K. Sagonas, P. Tarau. – P. 39-53. – URL: http://www.cplire.ru/Lab144/paris.pdf.
37. Morozov, A.A. Logic object-oriented model of asynchronous concurrent computations / A.A. Morozov // Pattern Recognition and Image Analysis. – 2003. – Vol. 13, No. 4. – P. 640-649. – URL: http://www.cplire.ru/Lab144/pri­a640.pdf.
38. Чень, Ч. Математическая логика и автоматическое доказательство теорем / Ч. Чень, Р. Ли. – М.: Наука, 1983.
39. Actor-prolog-java-library: A GitHub repository containing source codes of Actor Prolog built-in classes [Electronical Resource] / A.A. Morozov. – URL: https://github.com/Morozov2012/actor-prolog-java-library/ (request date 03.06.2016).
40. Morozov A.A. Development of a method for intelligent video monitoring of abnormal behavior of people based on parallel object-oriented logic programming / A.A. Morozov // Pattern Recognition and Image Analysis. – 2015. – Vol. 25(3). – P. 481-492. – DOI: 10.1134/S1054661815030153.
41. Blunsden, S.J. The BEHAVE video dataset: Ground truthed video for multiperson behavior classification / S.J. Blunsden, R.B. Fisher // Annals of the BMVA. – 2010. – No. 4. – P. 1-12. – DOI: 10.3390/s131114398.
42. Gascueña, J.M. On the use of agent technology in intelligent, multisensory and distributed surveillance / J.M. Gascueña, A. Fernández-Caballero // The Knowledge Engineering Review. – 2011. – Vol. 26(2). – P. 191-208. – DOI: 10.1017/S0269888911000026.
43. Морозов, А.А. О проблеме введения средств распределённого многоагентного программирования в логический язык со строгой типизацией / А.А. Морозов, О.С. Сушкова, А.Ф. Полупанов // Журнал радиоэлектроники. – 2016. – № 7. – URL: http://jre.cplire.ru/jre/jul16/9/text.pdf.
44. Разработка методов и средств логического программирования для интеллектуального видеомониторинга аномального поведения людей [Электронный ресурс]. – URL: – http://www.fullvision.ru (дата обращения 03.06.2016).

---

© 2009, IPSI RAS
Institution of Russian Academy of Sciences, Image Processing Systems Institute of RAS, Russia, 443001, Samara, Molodogvardeyskaya Street 151; E-mail: ko@smr.ru; Phones: +7 (846) 332-56-22, Fax: +7 (846) 332-56-20