(44-3) 14 * << * >> * Русский * English * Содержание * Все выпуски

Метод визуального внимания на основе ранжирования вершин графа по разнородным признакам изображений
А.А. Захаров 1, Д.В. Титов 2, А.Л. Жизняков 1, В.С. Титов 2

1 Муромский институт (филиал) ФГБОУ ВО «Владимирский государственный университет,

имени Александра Григорьевича и Николая Григорьевича Столетовых», Муром, Россия,

2 ФГБОУ ВО «Юго-Западный государственный университет», Курск, Россия

 PDF, 2280 kB

DOI: 10.18287/2412-6179-CO-658

Страницы: 427-435.

Аннотация:
В статье рассматривается разработка метода визуального внимания на основе ранжирования вершин графа по разнородным признакам изображений. Целью исследований является создание метода, позволяющего с высокой точностью обнаруживать объекты на изображениях с низким цветовым контрастом выделяемых и фоновых областей. Для вычисления области значимости изображение предварительно сегментируется на регионы. На основе регионов строится граф. Каждый регион связан со смежными регионами, а также с областями, примыкающими к смежным регионам. Регионы являются вершинами графа. Вершины графа ранжируются по признакам соответствующих областей изображения. Область значимости выделяется на основе запросов фоновых областей. К фоновым областям относятся регионы, примыкающие к краям изображения. В существующем подходе визуального внимания на основе ранжирования вершин графа использовались только цветовые признаки изображения. В предлагаемом методе для повышения точности дополнительно используются текстурные признаки и признаки формы. Для вычисления текстурных признаков используется функция энергии Габора. При анализе формы рассчитывается расстояние между центрами регионов. Результаты экспериментов представлены на тестовых изображениях. Построены кривые точности-полноты, показывающие преимущество разработанного метода.

Ключевые слова:
анализ изображений, визуальное внимание, граф, признаки изображений, ранжирование, компьютерное зрение.

Благодарности
Работа выполнена при финансовой поддержке Министерства науки и высшего образования РФ (Госзадание ВлГУ ГБ-1187/20).

Цитирование:
Захаров, А.А. Метод визуального внимания на основе ранжирования вершин графа по разнородным признакам изображений / А.А. Захаров, Д.В. Титов, А.Л. Жизняков, В.С. Титов // Компьютерная оптика. – 2020. – Т. 44, № 3. – С. 427-435. – DOI: 10.18287/2412-6179-CO-658.

Литература:
  1. Koch, K. How much the eye tells the brain / K. Koch, J. McLean, R. Segev, M.A. Freed, M.J. Berry, V. Balasubramanian, P. Sterling // Current Biology. – 2006. – Vol. 16, Issue 14. – P. 1428-1434.
  2. Borji, A. State-of-the-art in visual attention modeling / A. Borji, L. Itti // IEEE Transactions on Pattern Analysis and Machine Intelligence. – 2013. – Vol. 35, Issue 1. – P. 185-207.
  3. Begum, M. Visual attention for robotic cognition: A survey / M. Begum, F. Karray // IEEE Transactions on Autonomous Mental Development. – 2011. – Vol. 3, Issue 1. – P. 92-105.
  4. Mahdi, A. A comparison study of saliency models for fixation prediction on infants and adults / A. Mahdi, M. Su, M. Schlesinger, J. Qin // IEEE Transactions on Cognitive and Developmental Systems. – 2018. – Vol. 10, Issue 3. – P. 485-498.
  5. Garg, A. A survey on visual saliency detection and computational methods / A. Garg, A.  Negi // International Journal of Engineering and Technology. – 2017. – Vol. 9, Issue 4. – P. 2742-2753.
  6. Itti, L. A model of saliency-based visual attention for rapid scene analysis / L. Itti, C. Koch, E. Niebur // IEEE Transactions on Pattern Analysis and Machine Intelligence. – 1998. – Vol. 20, Issue 11. – P. 1254-259.
  7. Frintrop, S. VOCUS: a visual attention system for object detection and goal-directed search / S. Frintrop. – Heidelberg, Germany: Springer-Verlag, 2006. – 216 p.
  8. Itti, L. Realistic avatar eye and head animation using a neurobiological model of visual attention / L. Itti, N. Dhavale, F. Pighin // Proceedings of SPIE. – 2003. – Vol. 5200. – P. 64-78.
  9. Wang, J. Computational model of stereoscopic 3D visual saliency / J. Wang,  M.P. Da Silva, P. Le Callet, V. Ricordel // IEEE Transactions on Image Processing. – 2013. – Vol. 22, Issue 6. – P. 2151-2165.
  10. Harel, J. Graph-based visual saliency / J. Harel, C. Koch, P. Perona // Neural Information Processing Systems. – 2006. – Vol. 19. – P. 545-552.
  11. Salvucci, D.D. An integrated model of eye movements and visual encoding / D.D. Salvucci // Cognitive Systems Research. – 2001. – Vol. 1. – P. 201-220.
  12. Tatler, B.W. The central fixation bias in scene viewing: selecting an optimal viewing position independently of motor bases and image feature distributions / B.W. Tatler // Journal of Vision. – 2007. – Vol. 14. – P. 1-17.
  13. Vijayakumar, S. Overt visual attention for a humanoid robot / S. Vijayakumar, J. Conradt, T. Shibata, S. Schaal // Proceedings IEEE/RSJ International Conference on Intelligent Robots and Systems. – 2001. – Vol. 4. – P. 2332-2337.
  14. Kadir, T. Saliency, scale and image description / T. Kadir, M. Brady // International Journal of Computer Vision. – 2001. – Vol. 45, Issue 2. – P. 83-105.
  15. Kootstra, G. Paying attention to symmetry / G. Kootstra, A. Nederveen, B. de Boer // British Machine Vision Conference. – 2008. – P. 1115-1125.
  16. Parkhurst, D. Modeling the role of salience in the allocation of overt visual attention / D. Parkhurst, K. Law, E. Niebur // Vision Research. – 2002. – Vol. 42, Issue 1. – P. 107-123.
  17. Пластинин, А.И. Обнаружение текстурных неоднородностей на микромасштабных изображениях материалов // А.И. Пластинин, А.Г. Храмов, В.А. Сойфер / Компьютерная оптика. – 2011. – Т. 35, № 2. – С. 158-165.
  18. Визильтер, Ю.В. Поиск объектов на изображении с использованием морфлетных описаний / Ю.В. Визильтер, В.С. Горбацевич, Б.В. Вишняков, С.В. Сидякин // Компьютерная оптика. – 2017. – Т. 41, № 3. – С. 406-411. – DOI: 10.18287/2412-6179-2017- 41-3-406-411.
  19. Goferman, S. Context-aware saliency detection / S. Go­ferman, L. Zelnik-Manor, A. Tal // IEEE Transactions on Pattern Aanalysis and Machine Intelligence. – 2012. – Vol. 34, Issue 10. – P. 1915-1926.
  20. Erdem, E. Visual saliency estimation by nonlinearly integrating features using region covariances / E. Erdem, A. Erdem // Journal of Vision. – 2013. – Vol. 13, Issue 4. – 11.
  21. Li, X. Saliency detection via dense and sparse reconstruction / X. Li, H. Lu, L. Zhang, X. Ruan, M.-H. Yang // IEEE International Conference on Computer Vision. – 2013. – P. 2976-2983.
  22. Tavakoli, H.R. Fast and efficient saliency detection using sparse sampling and kernel density estimation / H.R. Tavakoli, E. Rahtu, J. Heikkila // Scandinavian Conference on Image Analysis. – 2011. – P. 666-675.
  23. Yang, C. Graph-regularized saliency detection with convex-hull-based center prior / C. Yang, L. Zhang, H. Lu // IEEE Signal Processing Letters. – 2013. – Vol. 20, Issue 7. – P. 637-640.
  24. Jiang,  B. Saliency detection via absorbing Markov chain / B. Jiang, L. Zhang, H. Lu, C. Yang, M.-H. Yang // IEEE International Conference on Computer Vision. – 2013. – P. 1665-1672.
  25. Margolin, R. What makes a patch distinct? / R. Margolin, A. Tal, L. Zelnik-Manor // IEEE Conference on Computer Vision and Pattern Recognition. – 2013. – P. 1139-1146.
  26. Rahtu, E. Segmenting salient objects from images and videos / E. Rahtu, J. Kannala, M. Salo, J. Heikkila // European Conference on Computer Vision. – 2010. – P. 366-379.
  27. Seo, H.J. Static and space-time visual saliency detection by self-resemblance / H.J. Seo, P. Milanfar // Journal of Vision. – 2009. – Vol. 9, Issue 12. – 15.
  28. Murray, N. Saliency estimation using a non-parametric low-level vision model / N. Murray, M. Vanrell, X. Otazu, C.A. Parraga // IEEE Conference on Computer Vision and Pattern Recognition. – 2011. – P. 433-440.
  29. Hou, X. Saliency detection: A spectral residual approach / X. Hou, L. Zhang // IEEE Conference on Computer Vision and Pattern Recognition. – 2007. – P. 1-8.
  30. Zhang, L. Sun: A Bayesian framework for saliency using natural statistics / L. Zhang, M.H. Tong, T.K. Marks, H. Shan, G.W. Cottrell // Journal of vision. – 2008. – Vol. 8, Issue 7. – 32.
  31. Duan, L. Visual saliency detection by spatially weighted dissimilarity / L. Duan, C. Wu, J. Miao, L. Qing, Y. Fu // IEEE Conference on Computer Vision and Pattern Recognition. – 2011. – P. 473-480.
  32. Tsotsos, J.K. Modeling visual attention via selective tuning / J.K. Tsotsos, S. Culhane, Y. Winky, L. Yuzhong, N. Davis, F. Nuflo // Artificial Intelligence. – 1995. – Vol. 78. – P. 507-545.
  33. Zhao, R. Saliency detection by multi-context deep learning / R. Zhao, W. Ouyang, H. Li, X. Wang // IEEE Conference on Computer Vision and Pattern Recognition. – 2015. – P. 1265-1274.
  34. Almeida, A.F. Deep networks for human visual attention: a hybrid model using foveal vision / A.F. Almeida, R. Figueiredo, A. Bernardino, J. Santos-Victor // ROBOT 2017: 3rd Iberian Robotics Conference. – 2017. – P. 117-128.
  35. Wang, W. Deep visual attention prediction / W. Wang, J. Shen // IEEE Transactions on Image Processing. – 2018. – Vol. 27, Issue 5. – P. 2368-2378.
  36. Zhou, D. Ranking on data manifolds / D.  Zhou, J. Weston, A. Gretton, O. Bousquet, B. Scholkopf // NIPS'03: Proceedings of the 16th International Conference on Neural Information Processing Systems. – 2004. – P. 169-176.
  37. Achanta, R. SLIC superpixels compared to state-of-the-art superpixel methods / R. Achanta, A. Shaji, K. Smith, A. Lucchi, P. Fua, S. Süsstrunk // IEEE Transactions on Pattern Analysis and Machine Intelligence. – 2012. – Vol. 34, Issue 11. – P. 2274-2282.
  38. Yang, C. Saliency detection via graph-based manifold ranking / C.  Yang, L. Zhang, H. Lu, X. Ruan, M. Yang // 2013 IEEE Conference on Computer Vision and Pattern Recognition. – 2013. – P. 3166-3173.
  39. Andrysiak, T. Image retrieval based on hierarchical Gabor filters / T. Andrysiak, M. Choras // International Journal of Applied Mathematics and Computer Science. – 2005. – Vol. 15, Issue 4. – P. 471-480.
  40. Randen, T. Filtering for texture classification: A comparative study / T. Randen, J.H. Husoy // IEEE Transactions on Pattern Analysis and Machine Intelligence. – 1999. – Vol. 21, Issue 4. – P. 291-310.
  41. Borji, A. Salient object detection: A benchmark / A. Borji, M.-M. Cheng, H. Jiang, J. Li // IEEE Transactions on Image Processing. – 2015. – Vol. 24, Issue 12. – P. 5706-5723.

© 2009, IPSI RAS
Россия, 443001, Самара, ул. Молодогвардейская, 151; электронная почта: ko@smr.ru ; тел: +7 (846) 242-41-24 (ответственный секретарь), +7 (846) 332-56-22 (технический редактор), факс: +7 (846) 332-56-20