О количественной оценке эффективности алгоритмов анализа изображений
Кольцов П.П., Осипов A.С., Куцаев A.С., Кравченко A.А., Котович Н.В., Захаров А.В.

Научно-исследовательский институт системных исследований РАН, Москва, Россия

Аннотация:
Статья содержит краткий обзор основных подходов к сравнительной оценке эффективности алгоритмов анализа изображений. Рассмотрены эмпирические методики сравнительного исследования эффективности детекторов границ и алгоритмов сегментации изображений, проводится анализ используемых при этом количественных критериев их оценки. Описан ряд проблем, возникающих при использовании этих критериев. Изложена эмпирическая методика EDEM (на примере сравнительного тестирования детекторов границ), реализуемая в рамках разрабатываемой авторами программной среды PICASSO.

Ключевые слова :
сравнительное исследование, анализ изображений, детекторы границ, сегментация изображений, мера эффективности, ground truth образ, нечёткие множества.

Цитирование:
Кольцов, П.П. О количественной оценке эффективности алгоритмов анализа изображений / П.П. Кольцов, А.С. Осипов, А.С. Куцаев, А.А. Кравченко, Н.В. Ко­то­вич, А.В. Захаров // Компьютерная оптика. – 2015. – Т. 39, № 4. – С. 542-556. – DOI: 10.18287/0134-2452-2015-39-4-542-556.

Литература:

  1. Kirsch, R.A. Experiments in processing pictorial information with a digital computer / R.A. Kirsch, L. Kahn, C. Ray, G.H. Urban // Proceedings of the Eastern Joint Computer conference. – 1957. – P. 221-229.
  2.  Zhang, Y.J. Evaluation and comparison of different segmentation algorithms / Y.J. Zhang // Pattern Recognition Letters. – 1997. – Vol. 18(10). – P. 963-974. – ISSN 0167-8655.
  3. Heath, M.D. Robust visual method for assessing the relative performance of edge detection algorithms /M.D. Heath, S. Sarkar, T. Sanocki, K. Bowyer // IEEE Transactions on Pattern Analysis and Machine Intelligence – 1997. – Vol. 19(12). – P. 1338-1359. – ISSN 0167-8655.
  4. Wirth, M.A. Performance evaluation of image processing algorithms in CADe / M.A. Wirth// Technology in Cancer Research and Treatment. – 2005. – Vol. 4(2). – P. 159-172. – ISSN 1533-0346.
  5. Zhang, H. Image segmentation evaluation: A survey of unsupervised methods / H. Zhang, J.E. Fritts, S.A. Goldman // Computer Vision and Image Understanding. – 2008. – Vol. 110(2). – P. 260-280. – ISSN 1077-3142.
  6. Shin, M.C. Comparison of edge detector performance through use in an object recognition task / M.C. Shin, D. Goldgof, K. Bowyer // Computer Vision and Image Understanding. – 2001. – Vol. 84(1). – P. 160-178. – ISSN 1077-3142.
  7. Cardoso, J.S. Toward a Generic Evaluation of Image Segmentation / J.S. Cardoso, L. Corte-Real// IEEE Transactions on Image Processing. – 2005. – Vol. 14(11). – P. 1773-1782. – ISSN 1057-7149.
  8. Thomas, G.A. 3d image sequence acquisition for tv and film production / G.A. Thomas, O. Grau // Proceedings of 1st International Symposium on 3D Data Processing, Visualisation and Transmission. – 2002. – P. 320-326.
  9. Zhang, Y.J. A survey on evaluation methods for image segmentation / Y.J. Zhang // Pattern Recognition. – 1996. – Vol. 29(8). – P. 1335-1346. – ISSN 0031-3203.
  10.  Zhang, Y.J. Image segmentation evaluation in this century / Y.J. Zhang // Encyclopedia of Information Science and Technology. Editor M. Khosrow-Pour. 2nd edition. – IGI Global, 2009. – P. 1812-1817.
  11. Haralick, R.M. Image segmentation techniques / R.M. Haralick, L.G. Shapiro // Computer Vision, Graphics, and Image Processing. – 1985. – Vol. 29(1). – P. 100-132. – ISSN 0734-189X.
  12. Canny, J. A computational approach to edge detection / J. Canny // IEEE Transactions on Pattern Analysis and Machine Intelligence. – 1986. – Vol. 8(6). – P. 679-698. – ISSN 0167-8655.
  13. Грибков, И.В. Некоторые вопросы количественной оценки производительности детекторов границ / И.В. Грибков, А.В. Захаров, П.П. Кольцов, Н.В. Ко­тович, А.А. Кравченко, А.С. Куцаев, А.С. Осипов // Программные продукты и системы. – 2011. – № 4. – С. 13-20.
  14. Baddeley, A.J. Errors in binary images and Lp version of the Hausdorff Metric / A.J. Baddeley // Nieuw Archief voor Wiskunde. – 1992 – Vol. 10. – P. 157-183. – ISSN 0028-9825.
  15. Yasnoff, W.A. Error measures for scene segmentation / W.A. Yasnoff, J.K. Mui, J.W. Bacus // PatternRecognition. – 1977, – Vol. 9(4). – P. 217-231. – ISSN 0031-3203.
  16. Van Droogenbroeck, M. Design of Statistical Measures for the Assessment of Image Segmentation Schemes / M. Van Droogenbroeck, O. Barnich // Proceedings of 11th International Conference on Computer Analysis of Images and Patterns (CAIP2005), Lecture Notes in Computer Science. – 2005, – Vol. 3691. – P. 280-287.
  17. Strasters, K.S. Three-dimensional image segmentation using a split, merge and group approach / K.C. Strasters, J.J. Gerbrands // Pattern Recognition Letters. – 1991. – Vol. 12(5). – P. 307-325. – ISSN 0167-8655.
  18. Zhang, Y.J. Objective and quantitative segmentation evaluation and comparison / Y.J. Zhang, J.J. Gerbrands // Signal Processing. – 1994. – Vol. 39(1-2). – P. 43-54. – ISSN 0165-1684.
  19. Захаров, А.В. Критерии оценки качества сегментации изображений. / А.В. Захаров, П.П. Кольцов, Н.В. Ко­то­вич, А.А. Кравченко, А.С. Куцаев, А.С. Осипов // Труды НИИСИ РАН. – 2012 – Т. 2, № 2 – С. 87-99.
  20. Грибков, И.В. Тестирование методов сегментации изображений в системе PICASSO / И.В. Грибков, А.В. За­ха­ров, П.П. Кольцов, Н.В. Котович, А.А. Кравченко, А.С. Ку­цаев, А.С. Осипов – М.: НИИСИ РАН, 2007.
  21. Gribkov, I.V. PICASSO – A System for Evaluating Edge Detection Algorithms / I.V. Gribkov, P.P. Koltsov, N.V. Ko­to­vich, A.A. Kravchenko, A.S. Kutsaev, V.K. Ni­ko­laev, A.V. Za­kharov // Pattern Recognition and Image Analysis. – 2003. – Vol. 13(4). – P. 617-622.
  22. Gribkov, I.V. Edge Detection under Affine Transformations: Comparative Study by PICASSO 2 System / I.V. Grib­kov, P.P. Koltsov, N.V. Kotovich, A.A. Krav­chen­ko, A.S. Kutsaev, A.S.Osipov, A.V. Za­kha­rov // WSEAS Transactions on Signal Processing. – 2006. – Vol. 2(9). – P. 1215-1221.
  23. Osipov, A. A fuzzy approach to performance evaluation of edge detectors /A. Osipov // Lecture Notes in Signal Science, Internet and Education. – WSEAS Press, 2007. – P. 94-99.
  24. Koltsov, P. On one approach to blood cell image segmentation / P. Koltsov, N. Kotovich, A. Kravchenko, A. Koutsaev, A. Kuznetsov, A. Osipov, E. Sukhenko, A. Zakharov // The 11th International Conference "Pattern Recognition and Image Analysis" (PRIA-11-2013), Conference Proceedings. – 2013. – Vol. 2. – P. 615-618.
  25. Беляков, В.К. Об одной методике классификации клеток крови и ее программной  реализации / В.К. Беляков, Е.П. Сухенко, А.В. Захаров, П.П. Кольцов, Н.В. Котович, А.А. Кравченко, A.С. Куцаев, A.С. Осипов, A.Б. Кузне­цов // Программные продукты и системы. – 2014. – № 4. – C. 46-56.
  26. Захаров, А.В. Прямая оценка качества программных продуктов. Критерии и тестовые материалы / А.В. Захаров, П.П. Кольцов, Н.В. Котович, А.А. Кравченко, А.С. Куцаев, A.С. Осипов // Программные продукты, системы и алгоритмы. – 2014. – № 3. – С. 1-8.
© 2009, IPSI RAS
Institution of Russian Academy of Sciences, Image Processing Systems Institute of RAS, Russia, 443001, Samara, Molodogvardeyskaya Street 151; E-mail: ko@smr.ru; Phones: +7 (846) 332-56-22, Fax: +7 (846) 332-56-20