(46-5) 14 * << * >> * Русский * English * Содержание * Все выпуски

Поиск редких данных в задаче распознавания лиц на изображениях
А.Д. Соколова 1, А.В. Савченко 1, С.И. Николенко 2

1 Национальный исследовательский университет Высшая школа экономики,
Лаборатория алгоритмов и технологий анализа сетевых структур,
603093, Россия, г. Нижний Новгород, ул. Родионова, д. 136;
2 Санкт-Петербургский государственный университет,
199034, Россия, г. Санкт-Петербург, Университетская наб., д. 7-9

 PDF, 829 kB

DOI: 10.18287/2412-6179-CO-1061

Страницы: 801-807.

Аннотация:
Одной из основных проблем современных нейросетевых дескрипторов в задаче идентификации лиц является малое число обучающих примеров определенного типа: изображения плохого качества, разный масштаб или освещение, лица детей, пожилых людей, редкие расы. В результате точность распознавания оказывается низкой для входных изображений, не похожих на большинство изображений в наборе данных, используемом для настройки метода извлечения признаков. В работе предлагается способ преодоления такой проблемы за счет автоматического обнаружения нетипичных входных изображений на основе введения предварительного этапа их автоматической отбраковки. Для этого используется специальная свёрточная сеть, обученная на наборе редких данных, которые обрабатывались с помощью известных алгоритмов преобразования изображений. Для повышения вычислительной эффективности решение о наличии редкого изображения принимается на основе того же дескриптора лица, который используется в классификаторе. Экспериментальное исследование подтвердило преимущества в точности предложенного подхода для нескольких наборов данных лиц и современных нейросетевых дескрипторов.

Ключевые слова:
распознавание лиц, обнаружение аномалий, обработка изображений, распознавание редких изображений.

Благодарности
Исследование выполнено за счет гранта Российского научного фонда (проект No 20-71-10010). Исследование Николенко С.И. поддержано Санкт-Петербургским государственным университетом, проект № 73555239 «Искусственный интеллект и наука о данных: теория, технология, отраслевые и междисциплинарные исследования и приложения».

Цитирование:
Соколова, А.Д. Поиск редких данных в задаче распознавания лиц на изображениях / А.Д. Соколова, А.В. Савченко, С.И. Николенко // Компьютерная оптика. – 2022. – Т. 46, № 5. – С. 801-807. – DOI: 10.18287/2412-6179-CO-1061.

Citation:
Sokolova AD, Savchenko AV, Nikolenko SI. Open-set face identification with automatic detection of out-of-distribution images. Computer Optics 2022; 46(5): 801-807. DOI: 10.18287/2412-6179-CO-1061.

References:
  1. Deng J, Guo J, Xue N, Zafeiriou S. ArcFace: Additive angular margin loss for deep face. 2019 IEEE/CVF Conf on Computer Vision and Pattern Recognition (CVPR) 2019: 4690-4699.
  2. Cao Q, Shen L, Xie W, Parkhi OM, Zisserman A. Vggface2: A dataset for recognizing faces across pose and age. 13th IEEE Int Conf on Automatic Face & Gesture Recognition (FG 2018) 2018: 67-74.
  3. Guo Y, Zhang L, Hu Y, He X, Gao J. MS-Celeb-1M: A dataset and benchmark for large-scale face recognition. In Book: Leibe B, Matas J, Sebe N, Welling M, eds. Computer Vision – ECCV 2016. Cham: Springer; 2016: 87-102.
  4. Lahasan B, Lutfi SL, San-Segundo R. A survey on techniques to handle face recognition challenges: occlusion, single sample per subject and expression. Artif Intell Rev 2019; 52(2): 949-979.
  5. Nikitin MYu, Konushin VS, Konushin AS. Neural network model for video-based face recognition with frames quality assessment. Computer Optics 2017, 41(5): 732-742.
  6. Gunther M, Cruz S, Rudd EM, Boult TE. Toward open-set face recognition. 2017 IEEE Conf on Computer Vision and Pattern Recognition Workshops (CVPRW) 2017: 573-582.
  7. Xie H, Du Y, Yu H, Chang Y, Xu Z, Tang Y. Open set face recognition with deep transfer learning and extreme value statistics. Int J Wavelets Multiresolut Inf Process 2018; 16(4): 1850034.
  8. Savchenko AV. Efficient facial representations for age, gender and identity recognition in organizing photo albums using multi-output ConvNet. PeerJ Comput Sci 2019; 5: e197.
  9. Sokolova AD, Savchenko AV. Computation-efficient face recognition algorithm using a sequential analysis of high dimensional neural-net features. Optical Memory and Neural Networks 2020; 29(1): 19-29.
  10. Faizov BV, Shakhuro VI, Sanzharov VV, Konushin AS. Classification of rare road signs. Computer Optics 2020, 44(2): 236-243.
  11. Savchenko AV, Belova NS. Unconstrained face identification using maximum likelihood of distances between deep off-the-shelf features. Expert Syst Appl 2018; 108: 170-182.
  12. Yu C, Zhu X, Lei Z, Li SZ. Out-of-distribution detection for reliable face recognition. IEEE Signal Process Lett 2020; 27: 710-714.
  13. Zhou E, Cao Z, Yin Q. Naive-deep face recognition: Touching the limit of LFW benchmark or not? arXiv Preprint. Source: <https:/arxiv.org/abs/1501.04690>.
  14. Gupta D, Ahmad M. An efficient method to get improved peak signal to noise ratio (PSNR), using support vector machine. Int J Emerg Technol Adv Eng 2017; 7(9): 49-53.
  15. Hore A, Ziou D. Image quality metrics: PSNR vs. SSIM. Proc 20th Int Conf on Pattern Recognition (ICPR) 2010: 2366-2369.
  16. Rezende DJ, Mohamed S, Wierstra D. Stochastic backpropagation and approximate inference in deep generative models. Proc 31st Int Conf on Machine Learning (PMLR) 2014: 1278-1286.
  17. Li KL, Huang HK, Tian SF, Xu W. Improving one-class SVM for anomaly detection. Proc Int Conf on Machine Learning and Cybernetics 2003; 5: 3077-3081.
  18. Chalapathy R, Menon AK, Chawla S. Anomaly detection using one-class neural networks. arXiv Preprint. Source: <https:/arxiv.org/abs/1802.06360>.
  19. Hara S, Nitanda A, Maehara T. Data cleansing for models trained with sgd. arXiv Preprint. Source: <https:/arxiv.org/abs/1906.08473>.
  20. Sokolova AD, Savchenko AV. Organizing data in video surveillance systems based on deep learning technologies. In Book: Proceedings of the IV International Conference "Information Technologies and Nanotechnologies" (ITNT 2018). Samara: "Novaja Tehnika" Publisher; 2018: 946-952.
  21. Hendrycks D, Gimpel K. A baseline for detecting misclassified and out-of-distribution examples in neural networks. arXiv Preprint. Source: <https:/arxiv.org/abs/1610.02136>.
  22. Lee K, Lee K, Lee H, Shin J. A simple unified framework for detecting out-of-distribution samples and adversarial attacks. arXiv Preprint. Source: <https:/arxiv.org/abs/1807.03888>.
  23. Lee K, Lee K, Lee H, Shin J. Training confidence-calibrated classifiers for detecting out-of-distribution samples. arXiv Preprint. Source: <https:/arxiv.org/abs/1711.09325>.
  24. Huang GB, Mattar M, Berg T, Learned-Miller E. Labeled faces in the wild: A database for studying face recognition in unconstrained environments. Workshop on faces in 'Real-Life' Images: detection, alignment, and recognition, 2008: 1-14. Source: <https://hal.inria.fr/inria-00321923/document>.
  25. Klare BF, Klein B, Taborsky E, Blanton A, Cheney J, Allen K, Jain AK. Pushing the frontiers of unconstrained face detection and recognition: Iarpa janus benchmark a. 2015 IEEE Conf on Computer Vision and Pattern Recognition (CVPR) 2015: 1931-1939.
  26. Wang M, Deng W, Hu J, Tao X, Huang Y. Racial faces in the wild: Reducing racial bias by information maximization adaptation network. 2019 IEEE/CVF Int Conf on Computer Vision (ICCV) 2019: 692-702.
  27. Cheng J, Li Y, Wang J, Yu L, Wang S. Exploiting effective facial patches for robust gender recognition. Tsinghua Sci Technol 2019; 24(3): 333-345.
  28. Bianco S. Large age-gap face verification by feature injection in deep networks. Pattern Recognit Lett 2017; 90: 36-42.
  29. Nikolenko SI. Synthetic data for deep learning. Cham: Springer Nature Switzerland AG; 2021.
  30. Chen YC, Lin H, Shu M, Li R, Tao X, Shen X, Jia J. Facelet-bank for fast portrait manipulation. 2018 IEEE/CVF Conf on Computer Vision and Pattern Recognition 2018: 3541-3549.
  31. Zhang H, Chen W, He H, Jin Y. Disentangled makeup transfer with generative adversarial network. arXiv Preprint. Source: <https:/arxiv.org/abs/1907.01144>.
  32. Kharchevnikova AS, Savchenko AV. Neural networks in video-based age and gender recognition on mobile platforms. Opt Mem Neural Networks 2018; 27(4): 246-259.

© 2009, IPSI RAS
Россия, 443001, Самара, ул. Молодогвардейская, 151; электронная почта: journal@computeroptics.ru; тел: +7 (846) 242-41-24 (ответственный секретарь), +7 (846) 332-56-22 (технический редактор), факс: +7 (846) 332-56-20