(50-5) 17 * << * >> * Русский * English * Содержание * Все выпуски

Анализ семантического разрыва при классификации изображений по функциональному назначению
А.Н. Жданова1,*, А.В. Куприянов1,2

1 Самарский национальный исследовательский университет имени академика С.П. Королёва,
443086, Россия, г. Самара, Московское шоссе, д. 34;
2 Институт систем обработки изображений, НИЦ «Курчатовский институт»,
443001, Россия, г. Самара, ул. Молодогвардейская, д. 151;
* автор для связи

  Полный текст (PDF)

DOI: 10.18287/COJ2079

ID статьи: 2079

Аннотация:
Рассматривается задача классификации изображений по функциональному назначению, отличающаяся от традиционной объектной классификации тем, что категория определяется функциональной ролью изображения и зависит от состава объектов сцены, их взаимного расположения и контекста. Формализована проблема семантического разрыва между объектным признаковым пространством, формируемым свёрточными нейронными сетями, предобученными на объектных датасетах, и пространством функциональных категорий. Предложена таксономия функциональных категорий изображений с формальными критериями разграничения, основанными на относительной значимости объектов и их взаимном расположении.

Экспериментальные исследования проведены на выборке из 1722 реальных изображений профилей пользователей социальных сетей с экспертной разметкой (коэффициент согласованности Коэна κ = 0,89). При использовании архитектуры ResNet50 с двухэтапным переносом обучения достигнуты значения Accuracy = 0,85 и F1 = 0,83. Выполнен анализ структуры ошибок классификации, показавший, что 67 % ошибочных решений связаны с пограничными случаями, в которых объектный состав изображения не определяет функциональную категорию однозначно.

Проведён количественный анализ признакового пространства, выявивший существенное снижение разделимости категорий, различающихся отношениями между объектами, по сравнению с категориями, различающимися объектным составом. Полученные результаты подтверждают наличие семантического разрыва между объектным и функциональным представлениями изображений и указывают на необходимость явного учёта отношений между объектами при решении задач функциональной классификации.

Ключевые слова:
классификация изображений, функциональные категории, семантический разрыв; перенос обучения, свёрточные нейронные сети, признаковое пространство.

Благодарности:
Исследование выполнено за счет средств государственного задания Министерства науки и высшего образования Российской Федерации, шифр проекта FSSS-2026-0003.

Цитирование:
Жданова, А.Н. Анализ семантического разрыва при классификации изображений по функциональному назначению / А.Н. Жданова, А.В. Куприянов // Компьютерная оптика. – 2026. – Т. 50, № 5. – 2079. – doi: 10.18287/COJ2079.

Citation:
Zhdanova AN, Kupriyanov AV. Semantic gap analysis in image classification by functional purpose. Computer Optics 2026; 50(5): 2079. doi: 10.18287/COJ2079.

References:

  1. Smeulders AWM, Worring M, Santini S, Gupta A, Jain R. Content-based image retrieval at the end of the early years. IEEE Transactions on Pattern Analysis and Machine Intelligence 2000; 22(12): 1349-1380. DOI: 10.1109/34.895972.
  2. Datta R, Joshi D, Li J, Wang JZ. Image retrieval: Ideas, influences, and trends of the new age. ACM Computing Surveys 2008; 40(2): 5. DOI: 10.1145/1348246.1348248.
  3. Zhou B, Lapedriza A, Khosla A, Oliva A, Torralba A. Places: A 10 million image database for scene recognition. IEEE Transactions on Pattern Analysis and Machine Intelligence 2018; 40(6): 1452-1464. DOI: 10.1109/TPAMI.2017.2723009.
  4. Deng J, Dong W, Socher R, Li LJ, Li K, Fei-Fei L. ImageNet: A large-scale hierarchical image database. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. IEEE; 2009: 248-255. DOI: 10.1109/CVPR.2009.5206848.
  5. Krizhevsky A. Learning multiple layers of features from tiny images. Technical Report. Toronto, Canada: University of Toronto; 2009.
  6. Lin TY, Maire M, Belongie S, et al. Microsoft COCO: Common objects in context. In: Computer Vision – ECCV 2014. Lecture Notes in Computer Science. Vol 8693. Springer; 2014: 740-755. DOI: 10.1007/978-3-319-10602-1_48.
  7. He K, Zhang X, Ren S, Sun J. Deep residual learning for image recognition. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. IEEE; 2016: 770-778. DOI: 10.1109/CVPR.2016.90.
  8. Andriyanov NA, Dementiev VE, Tashlinsky AG. Object detection in images: From Bayes and Neyman-Pearson criteria to neural network-based EfficientDet detectors [In Russian]. Computer Optics 2022; 46(1): 139-159. DOI: 10.18287/2412-6179-CO-922.
  9. Sokolova AD, Savchenko AV, Nikolenko SI. Rare data search in the problem of face recognition in images [In Russian]. Computer Optics 2022; 46(5): 801-807. DOI: 10.18287/2412-6179-CO-1061.
  10. Egorov AD, Reznik MS. Interpretation of animal actions from their image in near real time [In Russian]. Computer Optics 2023; 47(2): 278-286. DOI: 10.18287/2412-6179-CO-1138.
  11. Yosinski J, Clune J, Bengio Y, Lipson H. How transferable are features in deep neural networks? In: Advances in Neural Information Processing Systems. Vol 27. MIT Press; 2014: 3320-3328.
  12. Kornblith S, Shlens J, Le QV. Do better ImageNet models transfer better? In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. IEEE; 2019: 2661-2671. DOI: 10.1109/CVPR.2019.00277.
  13. Johnson J, Krishna R, Stark M, Li LJ, Shamma DA, Bernstein MS, Fei-Fei L. Image retrieval using scene graphs. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. IEEE; 2015: 3668-3678. DOI: 10.1109/CVPR.2015.7298990.
  14. Lu C, Krishna R, Bernstein M, Fei-Fei L. Visual relationship detection with language priors. In: Computer Vision – ECCV 2016. Lecture Notes in Computer Science. Vol 9905. Springer; 2016: 852-869. DOI: 10.1007/978-3-319-46448-0_51.
  15. Krishna R, Zhu Y, Groth O, et al. Visual Genome: Connecting language and vision using crowdsourced dense image annotations. International Journal of Computer Vision 2017; 123(1): 32-73. DOI: 10.1007/s11263-016-0981-7.
  16. Jia M, Wu Z, Reiter A, Cardie C, Belongie S, Lim SN. Intentonomy: A dataset and study towards human intent understanding. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. IEEE; 2021: 12986-12996.
  17. Liu L, Preotiuc-Pietro D, Samani ZR, Moghaddam ME, Ungar L. Analyzing personality through social media profile picture choice. In: Proceedings of the Tenth International AAAI Conference on Web and Social Media. AAAI Press; 2016: 211-220.
  18. Lang P, inventor; Imaging Therapeutics Inc, assignee. Methods and devices for quantitative analysis of X-ray images. U.S. Patent 7,050,534. August 20, 2002.

Россия, 443001, Самара, ул. Молодогвардейская, 151; электронная почта: journal@computeroptics.ru; тел: +7 (846) 242-41-24 (ответственный секретарь), +7 (846) 332-56-22 (технический редактор), факс: +7 (846) 332-56-20