(42-4) 13 * << * >> * Русский * English * Содержание * Все выпуски

Методы двумерной проекции цифровых изображений в собственные подпространства: особенности реализации и применение
Кухарев Г.А., Щеголева Н.Л.

Федеральное государственное автономное образовательное учреждение высшего образования«Санкт-Петербургский государственный электротехнический университет «ЛЭТИ» им. В.И. Ульянова (Ленина)», Санкт-Петербург, Россия

 PDF, 544 kB

DOI: 10.18287/2412-6179-2018-42-4-637-656

Страницы: 637-656.

Аннотация:
Рассматриваются алгоритмы проекции цифровых изображений в собственные подпространства в рамках линейных методов PCA, LDA, PLS и CCА. Приводится история развития этих методов за последние 100 лет на фоне появления новых областей их применения и меняющихся в связи с этим требований к ним. Показано, что развитие было инициировано четырьмя основными требованиями, вытекающими из современных задач и практики цифровой обработки изображений и, в первую очередь, изображений лиц. Первым является требование использования методов PCA, LDA, PLS и CCА в условиях как малой, так и чрезвычайно большой выборки изображений лиц в исходных наборах. Второе требование связано с критерием, определяющим собственный базис, который должен обеспечить, например, минимум ошибки аппроксимации изображений лиц, улучшение кластеризации в собственном подпространстве или максимум корреляции (ковариации) между наборами данных в подпространстве. Третье – связано с возможностью приложения рассматриваемых методов к задачам обработки двух и более наборов изображений с различных сенсорных источников или нескольких наборов любых числовых матриц. Именно эти три требования обусловили появление, развитие и применение методов двумерной проекции в собственные подпространства – 2DPCA, 2DLDA, 2DPLS и 2DCCА. В статье рассмотрены несколько основных ветвей алгоритмической реализации этих методов (итерационные, не итерационные, на основе SVD и т.д.), оценены их достоинства и недостатки, а также показаны примеры их использования на практике. Наконец, четвертое требование – возможность реализации двумерных проекций изображений лиц (или других числовых матриц) непосредственно в слоях сверточных нейронных сетей (СNN/Deep NN) и/или интеграции их функций в состав NN отдельными блоками. В настоящей статье обсуждается это требование и рассматриваются примеры решений. Приводятся оценки вычислительной сложности для представленных алгоритмов и примеры решения конкретных задач обработки изображений.

Ключевые слова:
наборы изображений лиц и числовых матриц, собственный базис и собственные подпространства, анализ главных компонент (PCA), линейный дискриминантный анализ (LDA), частичный метод наименьших квадратов (PLS), канонический корреляционный анализ (CCA), преобразование Карунена–Лоэва (KLT), 2DPCA/2DKLT, 2DPLS/2DKLT, 2DCCA/2DKLT, CNN, Deep NN.

Цитирование:
Кухарев, Г.А. Методы двумерной проекции цифровых изображений в собственные подпространства: особенности реализации и применение / Г.А. Кухарев, Н.Л. Щеголева // Компьютерная оптика. – 2018. – Т. 42, № 4. – С. 637-656. – DOI: 10.18287/2412-6159-2018-42-4-637-656.

Литература:

  1. Pearson, K. On lines and planes of closest fit to systems of points in space / K. Pearson // The London, Edinburgh and Dublin Philosophical Magazine and Journal of Sciences. – 1901. – Vol. 6, Issue 2. – P. 559-572. – DOI: 10.1080/14786440109462720.
  2. Hoteling, H. Analysis of complex variables into principal components / H. Hoteling // Journal of Educational Psychology. – 1933. – Vol. 24, Issue 6. – P. 417-441. – DOI: 10.1037/h0071325.
  3. Fisher, R.A. The use of multiple measurements in taxonomic problems / R.A. Fisher // Annals of Eugenics. – 1936. – Vol. 7, Issue 2. – P. 179-188. – DOI: 10.1111/j.1469-1809.1936.tb02137.x.
  4. Hoteling, H. Relations between two sets of variates / H. Hoteling // Biometryka. – 1936. – Vol. 28, No. 3/4. – P. 321-377. – DOI: 10.2307/2333955.
  5. Sirovich, L. Low-dimensional procedure for the characterization of human faces / L. Sirovich, M. Kirby // Journal of the Optical Society of America A: Optics, Image Science and Vision. – 1987. – Vol. 4, Issue 3. – P. 519-524. – DOI: 10.1364/JOSAA.4.000519.
  6. Turk, М. Eigenfaces for recognition / М. Turk, A. Pentland // Journal of Cognitive Neuroscience. – 1991. – Vol. 3, Issue 1. – P. 71-86. – DOI: 10.1162/jocn.1991.3.1.71.
  7. Belhumeur, P.N. Eigenfaces vs. fisherfaces: Recognition using class specific linear projection / P.N. Belhumeur, J.P. Hespanha, D.J. Kriegman // IEEE Transactions on Pattern Analysis and Machine Intelligence. – 1997. – Vol. 19, Issue 7. – P. 711-720. – DOI: 10.1109/34.598228.
  8. Tsapatsoulis, N. A vector based approximation of KLT and its application to face recognition / N. Tsapatsoulis, V. Alexopoulos, S. Kollias // Proceedings of the IX European Signal Processing Conference (EUSIPCO-98). – 1998. – Vol. III. – P. 1581-1584. – DOI: 10.5281/zenodo.36612.
  9. Кухарев, Г.А. Биометрические системы: Методы и средства идентификации личности человека / Г.А. Кухарев. – СПб:. Политехника, 2001. – 240 с. – ISBN: 5-7325-0623-3.
  10. Kukharev, A. Techniki Biometryczne: Czesc 1. Metody Rozpoznawania Twarzy / G. Kukharev, A. Kuzminski. – Szczecin: Pracownia Poligraficzna WI PS, 2003. – 310 p.
  11. Kukharev, G. Data dimensionality reduction for face recognition / G. Kukharev, P. Forczmanski // Machine GRAPHICS & VISION. – 2004. – Vol. 13, No. 1/2. – P. 99-121.
  12. Kukharev, G. Face recognition by means of two-dimensi­onal direct linear discriminant analysis / G. Kukharev, P. Forczmanski // Proceedings of the 8th International Conference Pattern Recognition and Information Processing (PRIP’2005). – P. 280-283.
  13. Кухарев, Г.А. Системы распознавания человека по изображению лица / Г.А. Кухарев, Н.Л. Щеголева. – СПб.: Изд-во СПбГЭТУ «ЛЭТИ», 2006. – 156 с. – ISBN: 5-7629-0665-5.
  14. Kukharev, G. System of face recognition using LDA with one training image per person / G. Kukharev, A. Tujaka, N. Binh // Metody Informatyki Stosowanej. – 2008. – No. 3(16). – P. 167-185.
  15. Yang, J. Two-dimensional PCA: A new approach to appearance-based face representation and recognition / J. Yang, D. Zhang, A.F. Frangi, J.-Y. Yang // IEEE Transactions on Pattern Analysis and Machine Intelligence. – 2004. – Vol. 26, Issue 1. – P. 131-137. – DOI: 10.1109/TPAMI.2004.1261097.
  16. Zhang, D. (2D)2PCA: Two-directional two-dimensional PCA for efficient face representation and recognition / D. Zhang, Z.H. Zhou // Neurocomputing. – 2005. – Vol. 69, Issues 1-3. – P. 224-231. – DOI: 10.1016/j.neucom.2005.06.004.
  17. Ye, J. Generalized low rank approximations of matrices / J. Ye // Machine Learning. – 2005. – Vol. 61, Issues 1-3. – P. 167-191. – DOI: 10.1007/s10994-005-3561-6.
  18. Kong, H. Generalized 2D principal component analysis for face image representation and recognition / H. Kong, L. Wang, E.K. Teoh, X. Li, J.-G. Wang, R. Venkateswarlu // Neural Networks. – 2005. – Vol. 18, Issues 5-6. – P. 585-594. – DOI: 10.1016/j.neunet.2005.06.041.
  19. Ding, Ch. Two-dimensional singular value decomposition (2DSVD) for 2D maps and images / Ch.H.Q. Ding, J. Ye // Proceedings of the 2005 SIAM International Conference on Data Mining. – 2005. – DOI: 10.1137/1.9781611972757.4.
  20. Gu, Zh. Two-dimensional singular value decomposition (2D-SVD) based video coding / Zh. Gu, W. Lin, B.-S. Lee, Ch.T. Lau, M. Paul // 2010 IEEE International Conference on Image Processing. – 2010. – P. 181-184. – DOI: 10.1109/ICIP.2010.5650998.
  21. Gurumoorthy, K.S. A method for compact image representation using sparse matrix and tensor projections onto exemplar orthonormal bases / K.S. Gurumoorthy, A. Rajwa­de, A. Banerjee, A. Rangarajan // IEEE Transactions on Image Processing. – 2010. – Vol. 19, Issue 2. – P. 322-334. – DOI: 10.1109/TIP.2009.2034991.
  22. Inoue, K. Equivalence of non-iterative algorithms for simultaneous low rank approximations of matrices / K. Inoue, K. Urahama // 2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'06). – 2006. – DOI: 10.1109/CVPR.2006.112.
  23. Tang, X. Face sketch recognition / X. Tang, X. Wang // IEEE Transactions on Circuits and Systems for Video Technology. – 2004. – Vol. 14, Issue 1. – P. 50-57. – DOI: 10.1109/TCSVT.2003.818353.
  24. CUHK Face Sketch Database (CUFS) [Electronical Resource]. – URL: http://mmlab.ie.cuhk.edu.hk/archive/facesketch.html (access date: 02.07.2018).
  25. Kukharev, G. Face photo-sketch transformation and population generation / G. Kukharev, A. Oleinik. – In: International conference on computer vision and graphics. ICCVG 2016: Computer vision and graphics // ed. by L. Chmielewski, A. Datta, R. Kozera, K. Wojciechowski. – 2016. – P. 329-340. – DOI: 10.1007/978-3-319-46418-3_29.
  26. Borga, M. Learning multidimensional signal processing. – Linköping, Sweden: Linköpings Universitet, 1998. – 193 p. – ISBN: 91-7219-202-X.
  27. Reiter, M. 3D and infrared face reconstruction from rgb data using canonical correlation analysis / M. Reiter, R. Donner, G. Langs, H. Bischof // Proceedings of the 18th International Conference on Pattern Recognition (ICPR 2006). – 2006. – Vol. 1. – P. 425-428. – DOI: 10.1109/ICPR.2006.24.
  28. Reiter, M. Estimation of face depth maps from color textures using canonical correlation analysis / M. Reiter, R. Donner. – In: Proceedings of the Computer Vision Winter Workshop 2006 (CWW' 06) / ed. by O. Chum, V. Franc. – Telc: Czech Society for Cybernetics and Informatics, 2006. – ISBN: 80-239-6530-1.
  29. Donner, R. Fast active appearance model search using canonical correlation analysis / R. Donner, M. Reiter, G. Langs, P. Peloschek, H. Bischof // IEEE Transactions on Pattern Analysis and Machine Intelligence. – 2006. – Vol. 28, Issue 10. – P. 1960-1964. – DOI: 10.1109/TPAMI.2006.206.
  30. Alonso, J. Face tracking using canonical correlation analysis / J. Alonso Y. Zepeda, F. Davoine, M. Charbit // Proceedings of the 2nd International Conference on Computer Vision Theory and Applications (VISAPP 2007). – 2007. – Vol. 2. – P. 396-402.
  31. Sharma, A. Bypassing synthesis: PLS for face recognition with pose, low-resolution and sketch / A. Sharma, D.W. Jacobs // IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR). – 2011. – P. 593-600. – DOI: 10.1109/CVPR.2011.5995350.
  32. Lee, S.H. Two-dimensional canonical correlation analysis / S.H. Lee, S. Choi // IEEE Signal Processing Letters. – 2007. – Vol. 14, Issue 10. – P. 735-738. – DOI: 10.1109/LSP.2007.896438.
  33. Zou, C.-R. 2DCCA: A novel method for small sample size face recognition / C.-R. Zou, N. Sun, Zh.-H. Ji, Zh. Li // IEEE Workshop on Application of Computer Vision (WACV’07). – 2007. – DOI: 10.1109/WACV.2007.1.
  34. Shao, M. Joint features for face recognition under variable illuminations / M. Shao, Y. Wang // Fifth International Conference on Image and Graphics. – 2009. – P. 922-927. – DOI: 10.1109/ICIG.2009.128.
  35. Gong, X. Application to three-dimensional canonical correlation analysis for feature fusion in image recognition / X. Gong // Journal of Computers. – 2011. – Vol. 6, Issue 11. – P. 2427-2433.
  36. Kamencay, P. 2D-3D face recognition method based on a modified CCA-PCA algorithm / P. Kamencay, R. Hudec, M. Benco, M. Zachariasova // International Journal of Advanced Robotic Systems. – 2014. – Vol. 11, Issue 3. – 9 p. – DOI: 10.5772/58251.
  37. Kukharev, G. Two-dimensional canonical correlation analysis for face image processing and recognition / G. Kukharev, E. Kamenskaya // Metody Informatyki Stosowanej. – 2009. – No. 3(20). – P. 103-112.
  38. Kukharev, G. Face recognition using two-dimensional CCA and PLS / G. Kukharev, A. Tujaka, P. Forczmanski // International Journal of Biometrics. – 2011. – Vol. 3, Issue 4. – P. 300-321. – DOI: 10.1504/IJBM.2011.042814.
  39. Кухарев, Г. Методы обработки и распознавания изображений лиц в задачах биометрии / Г. Кухарев, Е. Каменская, Ю. Матвеев, Н. Щеголева; под ред. М.В. Хитрова. – СПб: Политехника, 2013. – 388 с. – ISBN: 978-5-73251-028-7.
  40. Почему собаки похожи на хозяев [Электронный ресурс]. – URL: http://www.house-dog.ru/about_391.html (дата обращения 02.07.2018).
  41. Gupta, S. Texas 3D face recognition database [Electronical Resource] / S. Gupta, M.K. Markey, K.R. Castleman, A.C. Bovik. – URL: http://live.ece.utexas.edu/research/te­xas3dfr/index.htm (access date: 23.04.2017).
  42. Tu, Ch.-T. A new approach for face hallucination based on a two-dimensional direct combined model / Ch.-T. Tu, M.-Ch. Ho, M.-Y. Lin // Pattern Recognition. – 2017. – Vol. 62. – P. 1-20. – DOI: 10.1016/j.patcog.2016.07.020.
  43. An, L. Face image super-resolution using 2D CCA / L. An, B. Bhanu // Signal Processing. – 2014. – Vol. 103. – P. 184-194. – DOI: 10.1016/j.sigpro.2013.10.004.
  44. Hou, Sh. A two-dimensional partial least squares with application to biological image recognition / Sh. Hou, Q. Sun, D. Xia // 2010 Sixth International Conference on Natural Computation (ICNC 2010). – 2010. – P. 57-61. – DOI: 10.1109/ICNC.2010.5583135.
  45. Вельков, В.В. Многомерная биология и многомерная медицина / В.В. Вельков // Химия и Жизнь. – 2007. – № 3. – C. 10-15.
  46. Meng, C. Dimension reduction techniques for the integrative analysis of multi-omics data / C. Meng, O.A. Zeleznik, G.G. Thallinger, B. Kuster, A.M. Gholami, A.C. Culhane // Briefings in Bioinformatics. – 2016. – Vol. 17, Issue 4. – P. 628-641. – DOI: 10.1093/bib/bbv108.
  47. Qiu, J. Neural network implementations for PCA and its extensions / J. Qiu, H. Wang, J. Lu, B. Zhang, K.-L. Du // ISRN Artificial Intelligence. – 2012. – Vol. 2012. – 847305. – DOI: 10.5402/2012/847305.
  48. Chan, T.-H. PCANet: A simple deep learning baseline for image classification? / T.-H. Chan, K. Jia, Sh. Gao, J. Lu, Z. Zeng, Y. Ma // IEEE Transactions on Image Processing. – 2015. – Vol. 24, Issue 12. – P. 5017-5032. – DOI: 10.1109/TIP.2015.2475625.
  49. Tian, L. Multiple scales combined principle component analysis deep learning network for face recognition / L. Tian, Ch. Fan, Y. Ming // Journal of Electronic Imaging. – 2016. – Vol. 25, Issue 2. – 023025. – DOI: 10.1115/1.JEI.25.2.023025.
  50. Hasegawa, R. PLSNet: A simple network using Partial Least Squares regression for image classification / R. Hasegawa, K. Hotta // Proceedings of the 23rd International Conference on Pattern Recognition (ICPR). – 2016. – P. 1601-1606. – DOI: 10.1109/ICPR.2016.7899865.
  51. Andrew, G. Deep canonical correlation analysis / G. Andrew, R. Arora, J. Bilmes, K. Livescu // Proceedings of the 30th International Conference on Machine Learning: Proceedings of Machine Learning Research. – 2013. – Vol. 28(3). – P. 1247-1255.
  52. Benton, A. Deep generalized canonical correlation analysis [Electronical Resource] / A. Benton, H. Khayrallah, B. Gujral, D. Reisinger, Sh. Zhang, R. Arora. – URL: arXiv:1502.02519v2 (request date: 02.07.2018).
  53. Kukharev, G.A. Algorithms of two-dimensional projection of digital images in eigensubspace: History of development, implementation and application / G.A. Kukharev, N.L. Shchegoleva // Pattern Recognition and Image Analysis. – 2018. – Vol. 28, Issue 2. – P. 185-206. – DOI: 10.1134/S1054661818020116.
© 2009, IPSI RAS
Россия, 443001, Самара, ул. Молодогвардейская, 151; электронная почта: journal@computeroptics.ru ; тел: +7 (846) 242-41-24 (ответственный секретарь), +7 (846) 332-56-22 (технический редактор), факс: +7 (846) 332-56-20