(41-6) 20 * << * >> * Русский * English * Содержание * Все выпуски

Устройство на основе ПЛИС для распознавания рукописных цифр на изображениях
Зоев И.В., Береснев А.П., Марков Н.Г., Мальчуков А.Н.

 

Национальный исследовательский Томский политехнический университет, Томск, Россия

 PDF, 1 515 kB

DOI: 10.18287/2412-6179-2017-41-6-938-949

Страницы: 938-949.

Аннотация:
Рассмотрена задача создания мобильного и энергоэффективного устройства, позволяющего распознавать рукописные цифры на изображениях с помощью свёрточных нейронных сетей. Устройство реализовано на основе программируемой логической интегральной схемы, входящей в систему на кристалле Cyclone V SX. При этом разработаны функциональные схемы вычислительных блоков, реализующих процедуры свёртки и подвыборки, а также функциональная схема самой свёрточной нейронной сети предложенной архитектуры. Приведены результаты исследования эффективности созданного устройства на программируемой логической интегральной схеме в части точности распознавания рукописных цифр, производительности устройства и его энергопотребления. Показаны результаты сравнения эффективности аппаратной реализации свёрточной нейронной сети с её программной реализацией.

Ключевые слова:
распознавание рукописных цифр на изображениях, свёрточные нейронные сети, устройство на основе программируемой логической интегральной схемы.

Цитирование:
Зоев, И.В. Устройство на основе ПЛИС для распознавания рукописных цифр на изображениях/ И.В. Зоев, А.П. Береснев, Н.Г. Марков, А.Н. Мальчуков // Компьютерная оптика. – 2017. – Т. 41, № 6. – С. 938-949. – DOI: 10.18287/2412-6179-2017-41-6-938-949.

Литература:

  1. Chatfield, K. Return of the devil in the details: Delving deep into convolutional nets / K. Chatfield, K. Simonyan, A. Vedaldi, A. Zisserman // Proceedings of the British Machine Vision Conference. – 2014. – DOI: 10.5244/c.28.6.
  2. Russakovsky, O. ImageNet large scale visual recognition challenge / O. Russakovsky, J. Deng, H. Su, J. Krause, S. Satheesh, S. Ma, Z. Huang, A. Karpathy, A. Khosla, M. Bernstein, A.C. Berg, L. Fei-Fei // International Journal of Computer Vision. – 2015. – Vol. 115, Issue 3. – P. 211-252. – DOI: 10.1007/s11263-015-0816-y.
  3. Goyal, S. Object recognition using deep neural networks: A survey [Electronical Resource] / S. Goyal, P. Benjamin. – 2014. – URL: https://arxiv.org/pdf/1412.3684.pdf (request date 26.07.2017).
  4. LeCun, Y. Gradient-based learning appelied to document recognition / Y. LeCun, L. Bottou, Y. Bengio, P. Haffner // Proceedings of the IEEE. – 1998. – Vol. 86, Issue 11. – P. 2278-2324. – DOI: 10.1109/5.726791.
  5. Reshma, A.J. An overview of character recognition focused on offline handwriting / A.J. Reshma, J.J. James, M. Kavya, M. Saravanan // ARPN Journal of Engeneering and Applied Sciences. – 2016. – Vol. 11, No. 15. – P. 9372-9378.
  6. Tuba, E. Handwritten digit recognition by support vector machine optimized by bat algorithm / E. Tuba, M. Tuba, D. Simian // Proceedings of the 24th International Conference in Central Europe on Computer Graphics, Visualization and Computer Vision (WSCG 2016). – 2016. – P. 369-376.
  7. Спицин, В.Г. Применение вейвлет-преобразования Хаара, метода главных компонент и нейронных сетей для оптического распознавания символов на изображениях в присутствии импульсного шума / В.Г. Спицин, Ю.А. Болотова, Н.Х. Фан, Т.Т.Ч. Буй // Компьютерная оптика. – 2016. – Т. 40, № 2. – С. 249-257. – DOI: 10.18287/2412-6179-2016-40-2-249-257.
  8. Elleuch, M. A new design based-SVM of the CNN classifier architecture with dropout for offline Arabic handwritten recognition / M. Elleuch, R. Maalej, M. Kherallah // Procedia Computer Science. – 2016. – Vol. 80. – P. 1712-1723. – DOI: 10.1016/j.procs.2016.05.512.
  9. Alom, M.Z. Handwritten bangla digit recognition using deep learning / M.Z. Alom, P. Sidike, T.M. Taha, V.K. Asari [Electronical Resource]. – 2017. – URL: https://arxiv.org/pdf/1705.02680.pdf (request date 10.10.2017).
  10. Maitra, D.S. CNN based common approach to handwritten character recognition of multiple scripts / D.S. Maitra, U. Bhattacharya, S.K. Parui // Proceedings of the 13th International Conference on Document Analysis and Recognition (ICDAR). – 2015. – С. 1021-1025. – DOI: 10.1109/ICDAR.2015.7333916.
  11. Glauner, P.O. Comparison of training methods for deep neural networks [Electronical Resource] / P.O. Glauner. – 2015. – URL: https://arxiv.org/pdf/1504.06825.pdf (request date 26.07.2017).
  12. Guerra, L. Comparison between supervised and unsupervised classifications of neuronal cell types: a case study / L. Guerra, L.M McGarry, V. Robles, C. Bielza, P. Larra­ñaga, R. Yuste // Developmental Neurobiology. – 2011. – Vol. 71, Issue 1. – P. 71-82. – DOI: 10.1002/dneu.20809.
  13. Bottou, L. Stochastic gradient descent tricks / L. Bottou. – In book: Neural networks: Tricks of the trade / ed. by G. Montavon, G.B. Orr, K.R. Müller. – Berlin, Heidelberg: Springer, 2012. – P. 421-436. – DOI: 10.1007/978-3-642-35289-8_25.
  14. LeCun, Y.A. Efficient BackProb / Y.A. LeCun, L. Bottou, G.B. Orr, K.R. Müller. – In book: Neural networks: Tricks of the trade / ed. by G. Montavon, G.B. Orr, K.R. Müller. – Berlin, Heidelberg: Springer, 2012. – P. 9-48. – DOI: 10.1007/3-540-49430-8_2.
  15. Солдатова, О.П. Применение свёрточной нейронной сети для распознавания рукописных цифр / О.П. Солдатова, А.А. Гаршин // Компьютерная оптика. – 2010. – Т. 34, № 2. – С. 252-259.
  16. El-Sawy, A. CNN for handwritten arabic digits recognition based on LeNet-5 / A. El-Sawy, E.L.B. Hazem, M. Loey // Proceedings of the International Conference on Advanced Intelligent Systems and Informatics 2016. – 2016. – P. 566-575. – DOI: 10.1007/978-3-319-48308-5_54.
  17. SoCKit – The development kit for new SoC device [Electronical Resource]. – URL: http://www.terasic.com.tw/cgi-bin/page/archive.pl?CategoryNo=167&No=816 (request date 26.07.2017).
  18. Farabet, C. An FPGA-based stream processor for embedded real-time vision with convolutional networks / C. Farabet, C. Poulet, Y. LeCun // IEEE 12th International Conference on Computer Vision Workshops (ICCV Workshops). – 2009. – P. 878-885. – DOI: 10.1109/ICCVW.2009.5457611.
  19. Zhang, C. Optimizing FPGA-based accelerator design for deep convolutional neural networks / C. Zhang, P. Li, G. Sun, Y. Guan, B. Xiao, J. Cong // Proceedings of the 2015 ACM/SIGDA International Symposium on Field-Programmable Gate Arrays. – 2015. – P. 161-170. – DOI: 10.1145/2684746.2689060.
  20. Motamedi, M. Design space exploration of FPGA-based deep convolutional neural networks / M. Motamedi, P. Gysel, V. Akella, S. Ghiasi // 21st Asia and South Pacific Design Automation Conference (ASP-DAC). – 2016. – P. 575-580. – DOI: 10.1109/ASPDAC.2016.7428073.
  21. Krizhevsky, A. ImageNet classification with deep convolutional neural networks / A. Krizhevsky, I. Sutskever, G.E. Hinton // Proceedings of the 25th International Conference on Neural Information Processing Systems. – 2012. – Vol. 1. – P. 1097-1105.
  22. Scherer, D. Evaluation of pooling operations in convolutional architectures for object recognition / D. Scherer, A. Müller, S. Behnke. – In book: Artificial Neural Networks – ICANN 2010 / ed. by K. Diamantaras, W. Duch, L.S. Iliadis. – Berlin, Heidelberg: Springer, 2010. – Part III. – P. 92-101. – DOI: 10.1007/978-3-642-15825-4_10.
  23. The MNIST database of handwritten digits [Electronical Resource]. – URL: http://yann.lecun.com/exdb/mnist (request date 26.07.2017).
  24. Bahrampour, S. Comparative study of deep learning software frameworks / S. Bahrampour, N. Ramakrishnan, L. Schott, M. Shah [Electronical Resource]. – 2016. – URL: https://arxiv.org/pdf/1511.06435.pdf (request date 26.07.2017).
  25. Jia, Y. Caffe: Convolutional architecture for fast feature embedding / Y. Jia, E. Shelhamer, J. Donahue, S. Karayev, J. Long, R. Girshick, S. Guadarrama, T. Darrell // Proceedings of the 22nd ACM international conference on Multimedia (MM '14). – 2014. – P. 675-678. – DOI: 10.1145/2647868.2654889.
  26. Береснев, А.П. Методика переноса весов нейронной сети из программной в аппаратную реализацию / А.П. Береснев, И.В. Зоев, А.Н. Мальчуков. – В кн.: Сборник трудов XIV Международной научно-практической конференции студентов, аспирантов и молодых ученых. – Томск: Изд-во ТПУ, 2016. – Т. 1. – С. 22-23
  27. Glorot, X. Understanding the difficulty of training deep feedforward neural networks / X. Glorot, Y. Bengio // Proceedings of the 13th International Conference on Artificial Intelligence and Statistics (AISTATS). – 2010. – P. 249-256.
  28. 754-2008: IEEE standard for floating-point arithmetic. – Revision of ANSI/IEEE Std 754-1985. – New York: IEEE Publisher, 2008. – DOI: 10.1109/IEEESTD.2008.4610935.
  29. Zoev, I.V. Implementation of 14 bits floating point numbers of calculating units for neural network hardware development / I.V. Zoev, A.P. Beresnev, E.A. Mytsko, A.N. Malchukov // IOP Conference Series: Materials Science and Engineering. – 2017. – Vol. 177, Issue 1. – 012044. – DOI: 10.1088/1757-899X/177/1/012044.
  30. Tavallaei, S. Microsoft project Olympus hyperscale GPU accelerator (HGX-1) [Electronical Resource] / S. Tavallaei. – 2017. – URL: https://azure.microsoft.com/mediahand­ler/files/resourcefiles/00c18868-eba9-43d5-b8c6-e59f9fa219ee/HGX-1%20Blog_5_26_2017.pdf (request date 10.10.2017).
  31. Sánchez, O.M. Adapting deep neural networks to a low-power environment [Electronical Resource] / O.M. Sánchez. – 2017. – URL: https://upcommons.upc.edu/bitstream/hand­le/2117/106673/126470.pdf (request date 10.10.2017)
  32. Quartus II handbook volume 3: Verification [Electronical Resource]. – 2015. – URL:   https://www.altera.com/content/dam/altera-www/global/en_US/pdfs/literature/hb/qts/qts_qii5v3.pdf (request date 26.07.2017).
  33. Half 1.12. IEEE 754-based half-precision floating point library [Electronical Resource]. – URL: http://half.sourceforge.net/index.html (request date 10.10.2017).
  34. NVIDIA: Caffe [Electronical Resource]. – URL: https://github.com/NVIDIA/caffe (request date 10.10.2017).
  35. Rastegari, M. XNOR-Net: ImageNet classification using binary convolutional neural networks / M. Rastegari, V. Ordonez, J. Redmon, A. Farhadi // Proceedings of the European Conference on Computer Vision. – 2016. – P. 525-542. – DOI: 10.1007/978-3-319-46493-0_32.
© 2009, IPSI RAS
Россия, 443001, Самара, ул. Молодогвардейская, 151; электронная почта: journal@computeroptics.ru ; тел: +7 (846) 242-41-24 (ответственный секретарь), +7 (846) 332-56-22 (технический редактор), факс: +7 (846) 332-56-20