Применение сверточной нейронной сети для распознавания рукописных цифр

Солдатова О.П., Гаршин А.А.

Аннотация:
Исследуются возможности свёрточных нейронных сетей для распознавания рукописных цифр. Предложена методика обучения сети, реализующая чередование эпох обучения с искажением символов и без искажений. Предложена методика подбора и модификации коэффициента обучения. Представлены экспериментальные исследования применения данного вида сети к распознаванию рукописных цифр базы MNIST.

Abstract:
The capabilities of convolutional neural networks for recognizing handwritten digits. The technique of training networks, which implements the alternating periods of training with and without distortion of characters. The technique of selection and modification of learning rate. The neural network is tested by using the standard database of handwritten digits (MNIST), the results of experimental investigation are presented.

Ключевые слова :
распознавание рукописных цифр, свёрточная нейронная сеть, база рукописных цифр MNIST, эластичные искажения, обобщающая способность сети.

Key words:
recognizing handwritten digits, convolutional neural network, the MNIST database, elastic distortions, generalization ability of neural network.

Литература:

  1. Козин, Н.Е. Поэтапное обучение радиальных нейронных сетей / Н.Е. Козин, В.А. Фурсов // Компьютерная оптика. – 2004. – № 26. – С. 138-141.
  2. LeCun, Y.Gradient Based Learning Applied to Document Recognition / Y. LeCun, L. Bottou, P. Haffner – IEEE Press, 1998. – P.46.
  3. Simard, P.Y. Best Practices for Convolutional Neural Networks Applied to Visual Document Analysis / P.Y. Si­mard, D. Steinkraus, J. Platt // International Conference on Document Analysis and Recognition (ICDAR), IEEE Com­puter Society. – Los Alamitos. – 2003. – P. 958-962.
  4. Хайкин, С. Нейронные сети: полный курс / С. Хайкин. – М.: Вильямс, 2006. – 1104 с.
  5. LeCun, Y. Scaling learning algorithms towards AI / Y. LeCun, Y. Bengio – MIT Press, 2007.
  6. Гаршин, А.А., Солдатова, О.П. Автоматизированная система распознавания рукописных цифр на основе свёрточной нейронной сети // Свидетельство об официальной регистрации программ для ЭВМ №2010610988 по заявке №2009616812 от 1 декабря 2009 года. Зарегистрировано в Реестре программ для ЭВМ 1 февраля 2010 года.
  7. LeCun, Y. The MNIST database of handwritten digits – http://yann.lecun.com/exdb/mnist.
  8. LeCun, Y. Efficient BackProp in Neural Networks: Tricks of the trade / Y. LeCun, L. Bottou, G. Orr, K. Muller – Springer, 1998. – 44 p.
  9. Bishop, C.M. Neural Networks for Pattern Recognition –Oxford University Press, 1995. – 498 p.
  10. Gaussian blur – http://en.wikipedia.org/wiki/Gaussian_blur.
  11. Duffner, S. An Online Backpropagation Algorithm with Validation Error-Based Adaptive Learning Rate / S. Duffner, C. Garcia // ICANN 2007, Part I, LNCS 4668, 2007. – P. 249-258.

References:

  1. Kozin, N.E. Gradual learning the radial neural networks / N.E. Kozin, V.A. Fursov // Computer Optics. – 2004. – № 26. – P. 138-141. – (in Russian).
  2. LeCun, Y.Gradient Based Learning Applied to Document Recognition / Y. LeCun, L. Bottou, P. Haffner – IEEE Press, 1998. – P. 46.
  3. Simard, P.Y. Best Practices for Convolutional Neural Networks Applied to Visual Document Analysis / P.Y. Simard, D. Steinkraus, J. Platt // International Conference on Document Analysis and Recognition (ICDAR), IEEE Computer Society. – Los Alamitos. – 2003. – P. 958-962.
  4. Haykin, S. Neural Networks – a comprehensive foundation / S. Haykin. – Moscow: Williams, 2006. – 1104 p. – (in Russian).
  5. LeCun, Y. Scaling learning algorithms towards AI / Y. LeCun, Y. Bengio – MIT Press, 2007.
  6. Garshin, A.A., Soldatova, O.P. An automated system of recognizing handwritten digits based on convolution neural networks // Certificate of a formal registration of computer software № 2010610988, the application № 2009616812 on December 1, 2009. Registered in the Register of Computer Programs February 1, 2010.
  7. LeCun, Y. The MNIST database of handwritten digits – http://yann.lecun.com/exdb/mnist.
  8. LeCun, Y. Efficient BackProp in Neural Networks: Tricks of the trade / Y. LeCun, L. Bottou, G. Orr, K. Muller – Springer, 1998. – P. 44.
  9. Bishop, C.M. Neural Networks for Pattern Recognition – Oxford University Press, 1995. – P. 498.
  10. Gaussian blur – http://en.wikipedia.org/wiki/Gaussian_blur.
  11. Duffner, S. An Online Backpropagation Algorithm with Validation Error-Based Adaptive Learning Rate / S. Duffner, C. Garcia // ICANN 2007, Part I, LNCS 4668, 2007. – P. 249-258.

© 2009, ИСОИ РАН
Россия, 443001, Самара, ул. Молодогвардейская, 151; электронная почта: ko@smr.ru ; тел: +7 (846 2) 332-56-22, факс: +7 (846 2) 332-56-20