Выбор параметров алгоритма распознавания изображений на основе коллектива решающих правил и принципа максимума апостериорной вероятности
Савченко А.В.

Аннотация:
Ставится и решается задача выбора параметров алгоритма автоматического распознавания изображений путём построения коллектива решающих правил на основе принципа максимума апостериорной вероятности. Выполнен строгий синтез критерия выбора параметров для информационного рассогласования Кульбака–Лейблера и современного алгоритма распознавания SIFT (Scale–Invariant Feature Transform). Представлены программа и результаты экспериментального исследования в задаче идентификации личности по фотографии лица для известных баз данных (Yale, AT&T). Показано, что применение предложенного критерия позволяет добиться точности распознавания, сравнимой с точностью наилучшего набора параметров, причём не только для рассогласования Кульбака–Лейблера, но и для других популярных расстояний (метрика Евклида, расхождение Кульбака).

Abstract:
The problem of the choice of algorithms parameters in automatic image recognition is put and solved by ensemble classifiers construction using the maximum posterior probability principle. The new criterion of parameters choice is strictly synthesized for Kullback-Leibler information discrimination and modern SIFT (Scale-Invariant Feature Transform) method of object recognition. The program and results of experimental research in a problem of face recognition with widely used databases (Yale, AT&T) are presented. It is shown that the proposed criterion allows to achieve recognition accuracy equal to the algorithm with the best parameters set, and not only for Kullback-Leibler information discrimination, but also for other popular distances (Euclidean metric, Kullback information divergence).

Ключевые слова :
автоматическое распознавание изображений, коллективы решающих правил, информационное рассогласование Кульбака–Лейблера, принцип максимума апостериорной вероятности.

Key words:
automatic image recognition, ensemble classifiers, Kullback-Leibler minimum discrimination information principle, maximum posterior probability principle.

Литература:

1. Theodoridis, S. Pattern Recognition (4th Edition) / S. The­odoridis, C. Koutroumbas. – Elsevier Inc., 2009. – 840 p.
   
2. Forsyth, D.A. Computer Vision: A Modern Approach / D.A. Forsyth, J. Ponce. – New Jersey: Prentice Hall, 2003. – 693 p.
   
3. Zuo, W. Robust Recognition of Noisy and Partially Occluded Faces Using Iteratively Reweighted Fitting of Eigenfaces / Wangmeng Zuo, Kuanquan Wang and David Zhang // Conference on Advances in Multimedia Information Processing, Lecture Notes in Computer Science. – 2006. – Vol. 4261. – P. 844-851.
4. Lowe, D. Distinctive image features from scale-invariant keypoints / D. Lowe // International Journal of Computer Vision. – 2004. – Vol. 60, N 2. – P. 91-110. – ISSN 0920-5691.
   
5. Журавлёв, Ю.И. Об алгебраическом подходе к решению задач распознавания или классификации / Ю.И. Журавлёв // Проблемы кибернетики. – 1978. – Т. 33.– С. 5-68.
   
6. Esmaeili, M. Creating of Multiple Classifier Systems by Fuzzy Decision Making in Human-Computer Interface Systems / M. Esmaeili, M. Rahmati // Conference IEEE Fuzzy Systems, 2007. – P. 1-7.
   
7. Мазуров, В.Д. Метод комитетов в задачах оптимизации и классификации / В.Д. Мазуров. – М.: Наука, 1990. – 248 с.
   
8. Pardo, M. Learning from data: a tutorial with emphasis on modern pattern recognition methods / M. Pardo, G. Sber­veglieri // Sensors Journal, IEEE. – 2002. – Vol. 2(3). – P. 203-217. – ISSN 1530-437X.
   
9. Fukunaga, K. Introduction to Statistical Pattern Recognition; 2nd ed. / K. Fukunaga. – New York: Academic Press, Inc., 1991. – 591 p.
   
10. Chow, C.K. On optimum error and reject trade-off / C.K. Chow // IEEE Transactions on Information Theory. – 1970. – Vol. 16. – P. 41-46. – ISSN 0018-9448.
    
11. Цыпкин, Я.З. Адаптация и обучение в автоматических системах / Я.З. Цыпкин. – М.: Наука, 1968. – 400 с.
    
12. Бибиков, С.А. Информационная технология коррекции теневых искажений на цветных цифровых изображениях / С.А. Бибиков, А.В. Никоноров, В.А. Фурсов // Компьютерная оптика. – 2010. – Т. 34, № 1. – С. 124-131. – ISSN 0134-2452.
    
13. Shapiro, L. Computer vision / L. Shapiro, G. Stockman. – Prentice Hall, 2001. – 752 p.
    
14. Zhang, D. Content-Based Shape Retrieval Using Different Shape Descriptors: A Comparative Study / D. Zhang, G. Lu // IEEE International Conference on Multimedia and Expo, 2001. – P. 289-293.
    
15. Савченко, А.В. Градиент яркости в задаче распознавания полутоновых изображений на основе статистического подхода / А.В. Савченко // Вестник компьютерных и информационных технологий. – 2012. – № 1. – C. 12-16. – ISSN 1810-7206.
    
16. Горелик, А.Л. Современное состояние проблемы распознавания: некоторые аспекты / А.Л. Горелик, И.Б. Гу­ревич, В.А. Скрипкин. – М.: Радио и связь. – 1985. – 160 с.
    
17. Tresp, V. Committee machines / V. Tresp // Handbook for Neural Network Signal Processing. – 2001. – P. 135-151.
    
18. Рудаков, К.В. О методах оптимизации и монотонной коррекции в алгебраическом подходе к проблеме распознавания / К.В. Рудаков, К.В. Воронцов // Доклады Академии наук. – 1999. – Т. 367, № 3. – С. 314-317. – ISSN 0869-5652.
    
19. Kullback, S. Information Theory and Statistics / S. Kullback. – Dover Pub, 1978. – 408 p.
    
20. Савченко, В.В. Принцип минимального информационного рассогласования в задаче распознавания дискретных объектов / В.В. Савченко, А.В. Савченко // Известия вузов России. Радиоэлектроника. – 2005. –Вып. 3. – С. 10-18. – ISSN 1993-8985.
    
21. Савченко, А.В. Теоретико-вероятностная модель полутонового изображения для задачи распознавания образов без учителя на основе метода направленного перебора / А.В. Савченко // Компьютерная оптика. – 2011. – Т. 35, № 3. – С. 385-394. – ISSN 0134-2452.
22. Фурсов, В.А. Распознавание лиц по показателям сопряжённости в пространстве суммирующих инвариантов / В.А. Фурсов, Н.Е. Козин // Компьютерная оптика. – 2008. – Т. 32, № 4. – С. 400-402. – ISSN 0134-2452.
    
23. Face Processing: Advanced Modeling and Methods / edited by W. Zhao, R. Chellappa. – Elsevier: Academic Press, 2005. – 768 p.
    
24. The Yale Face database [Electronical Resourse] – http://cvc.yale.edu/projects/yalefaces/yalefaces.html .
    
25. The AT&T database [Electronical Resourse] – http://www.cl.cam.ac.uk/research/dtg/attarchive/facedatabase.html .
    
26. Савченко, А.В. Смешение критериев автоматического распознавания изображений на основе принципа минимума информационного рассогласования / А.В. Савчен­ко // Системы управления и информационные технологии. – 2011. –№ 2(44). – С. 22-25. – ISSN 1729-5068.
27. Tan, X. Face recognition from a single image per person: A survey / X. Tan, S. Chen, Z.H. Zhou, F. Zhang // Pattern Recognition. – 2006. – Vol. 39, N 9. – P. 1725-1745. – ISSN 0031-3203

References:

1. Theodoridis, S. Pattern Recognition (4th Edition) / S. The­odoridis, C. Koutroumbas. – Elsevier Inc., 2009. – 840 p.
2. Forsyth, D.A. Computer Vision: A Modern Approach / D.A. Forsyth, J. Ponce. – New Jersey: Prentice Hall, 2003. – 693 p.
3. Zuo, W. Robust Recognition of Noisy and Partially Occluded Faces Using Iteratively Reweighted Fitting of Eigenfaces / Wangmeng Zuo, Kuanquan Wang and David Zhang // Conference on Advances in Multimedia Information Processing, Lecture Notes in Computer Science. – 2006. – Vol. 4261. – P. 844-851.
4. Lowe, D. Distinctive image features from scale-invariant keypoints / D. Lowe // International Journal of Computer Vision. – 2004. – Vol. 60, N 2. – P. 91-110. – ISSN 0920-5691.
5. Zhuravlev, Yu.I. On algebraic approach in the problems of pattern recognition or classification / Yu.I. Zhuravlev // Cybernetics problems. – 1978. – Vol. 33. – P. 5-68. – (In Russian).
6. Esmaeili, M. Creating of Multiple Classifier Systems by Fuzzy Decision Making in Human-Computer Interface Systems / M. Esmaeili, M. Rahmati // Conference IEEE Fuzzy Systems, 2007. – P. 1-7.
7. Mazurov, V.D. Method of committees in optimisation and classification / V.D. Mazurov. – Moscow: “Nauka” Publisher, 1990. – 248 p. – (In Russian).
8. Pardo, M. Learning from data: a tutorial with emphasis on modern pattern recognition methods / M. Pardo, G. Sber­veglieri // Sensors Journal, IEEE. – 2002. – Vol. 2(3). – P. 203-217. – ISSN 1530-437X.
9. Fukunaga, K. Introduction to Statistical Pattern Recognition; 2nd ed. / K. Fukunaga. – New York: Academic Press, Inc., 1991. – 591 p.
10. Chow, C.K. On optimum error and reject trade-off / C.K. Chow // IEEE Transactions on Information Theory. – 1970. – Vol. 16. – P. 41-46. – ISSN 0018-9448.
11. Tsypkin, Ya.Z. Adaptation and training in automated systems / Ya.Z. Tsypkin. – Moscow: “Nauka” Publisher, 1968. – 400 p. – (In Russian)
12. Bibikov, S.A. Correction of shadow artifacts on colorful digital images / S.A. Bibikov, A.V. Nikonorov, V.A. Fursov // Computer optics. – 2010. – V. 34, N 1. – P. 124-131. – ISSN 0134-2452. – (In Russian).
13. Shapiro, L. Computer vision / L. Shapiro, G. Stockman. – Prentice Hall, 2001. – 752 p.
14. Zhang, D. Content-Based Shape Retrieval Using Different Shape Descriptors: A Comparative Study / D. Zhang, G. Lu // IEEE International Conference on Multimedia and Expo, 2001. – P. 289-293.
15. Savchenko, A.V. Gradient Orientation in a Problem of Automatic Halftone Image Recognition Based on Statistical Approach / A.V. Savchenko // Vestnik of computer and information technologies. – 2012. – Vol. 1 – P. 12-16. – ISSN 1810-7206. – (In Russian).
16. Gorelik, A.L. Modern state of the art in the recognition problem: several aspects / A.L. Gorelik, I.B. Gurevich, V.A. Scripkin. – Moscow: “Radio i Svyazj” Publisher, 1985. – 160 p. – (In Russian).
17. Tresp, V. Committee machines / V. Tresp // Handbook for Neural Network Signal Processing. – 2001. – P. 135-151.
18. Rudakov, K.V. On methods of optimization and monotonous correction in the algebraic approach to the pattern recognition problem / K.V. Rudakov, K.V. Vorontsov // Doklady Akademii Nauk. – 1999. – Vol. 367, N 3. – P. 314-317. – ISSN 0869-5652. – (In Russian).
19. Kullback, S. Information Theory and Statistics / S. Kullback. – Dover Pub, 1978. – 408 p.
20. Savchenko, V.V. Minimum information discrimination principle in the problem of discrete objects / V.V. Savchenko, A.V. Savchenko // Izvestia vuzov Rossii: Radioelektronika. – 2005. – Vol. 3. – P. 10-18. – ISSN 1993-8985. – (In Russian).
21. Savchenko, A.V. Probability half-tone image model in a problem of unsupervised pattern recognition based on directed enumeration method / A.V. Savchenko // Computer optics. – 2011. – Vol. 35(3). – P. 385-394. – ISSN 0134-2452. – (In Russian).
22. Fursov, V.A. Face recognition on the basis of conjugation indexes in the space of summarizing invariants / V.A. Fur­sov, N.E. Kozin // Computer optics. – 2008. – Vol. 32(4). – P. 400-402. – ISSN 0134-2452. – (In Russian).
23. Face Processing: Advanced Modeling and Methods / edited by W. Zhao, R. Chellappa. – Elsevier: Academic Press, 2005. – 768 p.
24. The Yale Face database [Electronical Resourse] – http://cvc.yale.edu/projects/yalefaces/yalefaces.html .
25. The AT&T database [Electronical Resourse] – http://www.cl.cam.ac.uk/research/dtg/attarchive/facedatabase.html .
26. Savchenko, A.V. Automatic image recognition criterion combining based on minimum information-discrimination principle / A.V. Savchenko // Control systems and Infor­mation Technologies. – 2011. – Vol. 44, N 2. – P. 22-25. – ISSN 1729-5068. – (In Russian).
27. Tan, X. Face recognition from a single image per person: A survey / X. Tan, S. Chen, Z.H. Zhou, F. Zhang // Pattern Recognition. – 2006. – Vol. 39, N 9. – P. 1725-1745. – ISSN 0031-3203.

---

© 2009, ИСОИ РАН
Россия, 443001, Самара, ул. Молодогвардейская, 151; электронная почта: ko@smr.ru ; тел: +7 (846 2) 332-56-22, факс: +7 (846 2) 332-56-20