(38-4) 34 * << * >> * Русский * English * Содержание * Все выпуски

Сравнение производительности систем потокового анализа данных в задаче обработки изображений скользящим окном
Казанский Н.Л., Проценко В.И., Серафимович П.Г.

Самарский государственный аэрокосмический университет имени академика С.П. Королёва
(национальный исследовательский университет) (СГАУ),

Институт систем обработки изображений РАН

PDF, 578 kB

DOI: 10.18287/0134-2452-2014-38-4-804-810

Страницы: 804-810.

Аннотация:
Проведён сравнительный анализ производительности и потребления памяти двух систем потоковой обработки данных: Apache Storm и IBM InfoSphere Streams в задаче обработки наборов изображений скользящим окном. Тестирование производилось на виртуальных машинах под управлением операционной системы CentOS. Выполнена оптимизация обеих систем потоковой обработки по потреблению памяти. Сделаны выводы об областях применимости рассмотренных система.

Ключевые слова :
большие данные, потоковая обработка, набор изображений, скользящее окно, используемая память.

Цитирование:
Казанский, Н.Л. Сравнение производительности систем потокового анализа данных в задаче обработки изображений скользящим окном / Н.Л. Казанский, В.И. Проценко, П.Г. Серафимович // Компьютерная оптика. – 2014. – Т. 38, № 4. – С. 804-810. – DOI: 10.18287/0134-2452-2014-38-4-804-810.

Citation:
Kazanskiy NL, Protsenko VI, Serafimovich PG. Comparison of system performance for streaming data analysis in image processing tasks by sliding window. Computer Optics 2014; 38(4): 804-810. DOI: 10.18287/0134-2452-2014-38-4-804-810.

Литература:

  1. Казанский, Н.Л. Распределённая система технического зрения регистрации железнодорожных составов / Н.Л. Казанский, С.Б. Попов // Компьютерная оптика. – 2012. – Т. 36, № 3. – С. 419-428.
  2. Журавель, Ю.Н. Особенности обработки гиперспектральных данных дистанционного зондирования при решении задач мониторинга окружающей среды / Ю.Н. Журавель, А.А. Федосеев // Компьютерная оптика. – 2013. – Т. 37, № 4. – С. 471-476.
  3. Kazanskiy, N.L. Machine Vision System for Singularity Detection in Monitoring the Long Process / N.L. Kazanskiy, S.B. Popov // Optical Memory and Neural Networks (Information Optics). – 2010. – Vol. 19, Issue 1. – P. 23-30.
  4. Гашников, М.В. Иерархическая сеточная интерполяция при сжатии гиперспектральных изображений / М.В. Гашников, Н.И. Глумов // Компьютерная оптика. – 2014. – Т. 38, № 1. – С. 87-93.
  5. Зимичев, Е.А. Пространственная классификация гиперспектральных изображений с использованием метода кластеризации k-means++ / Е.А. Зимичев, Н.Л. Казанский, П.Г. Серафимович // Компьютерная оптика. – 2014. – Т. 38, № 2. – С. 281-286.
  6. Попов, С.Б. Концепция распределённого хранения и параллельной обработки крупноформатных изображений / С.Б. Попов // Компьютерная оптика. – 2007. – Т. 31, № 4. – С. 77-85.
  7. Казанский, Н.Л. Использование инфраструктуры облачных вычислений для моделирования сложных нанофотонных структур / Н.Л. Казанский, П.Г. Серафимович // Компьютерная оптика. – 2011. – Т. 35, № 3. – С. 320-328.
  8. Kazanskiy, N.L. Cloud Computing for Rigorous Coupled-Wave Analysis / N.L. Kazanskiy, P.G. Serafimovich // Advances in Optical Technologies. – 2012. – Vol. 2012. – Article ID 398341, 7 pages. – Doi:10.1155/2012/398341.
  9. Kazanskiy, N.L. Cloud Computing for Nanophotonic Simulations / N.L. Kazanskiy, P.G. Serafimovich // Lecture Notes in Computer Science. – 2013. – Vol. 7715. – P. 54-67. – DOI: 10.1007/978-3-642-38250-5
  10. Волотовский, С.Г. Оценка производительности приложений параллельной обработки изображений / С.Г. Во­лотовский, Н.Л.  Казанский, С.Б. Попов, П.Г. Сера­фимович // Компьютерная оптика. – 2010. – Т. 34, № 4. – С. 567-573.
  11. Попов, С.Б. Моделирование информационной структуры параллельной обработки изображений / С.Б. Попов // Компьютерная оптика. – 2010. – Т. 34, № 2. – С. 231-242.
  12. Pereira, R. An architecture for distributed high performance video processing in the cloud / M. Azambuja, K. Breitman, M. Endler // Cloud Computing (CLOUD), 2010 IEEE 3rd International Conference on. – IEEE, 2010. – P. 482-489.
  13. Almeer, M.H. Cloud Hadoop map reduce for remote sensing image analysis / M.H. Almeer // Journal of Emerging Trends in Computing and Information Sciences. – 2012. – Vol. 3, Issue 4. – P. 637-644.
  14. Perry, R. High Speed Raster Image Streaming For Digital Presses Using the Hadoop File System [Electronical resource] / R. Perry // HP Laboratories, HPL-2009-345. – 2009. – URL: http://www.hpl.hp.com/techreports/2009/HPL-2009-345.html.
  15. Maxwell, D. Crisees: Real-time monitoring of social media streams to support crisis management / D. Maxwell, S. Raue, L. Azzopardi, C. Johnson and S. Oates // Advances in Information Retrieval. – Springer Berlin Heidelberg, 2012. – P. 573-575.
  16. Nabi, Z. Benchmark «Of Streams and Storm» / E. Bouillet, A. Bainbridge, C.Thomas [Электронный ресурс]. – 2014. – URL: https://developer.ibm.com/streamsdev/wp-content/up­loads/sites/15/2014/04/Streams-and-Storm-April-2014-Fi­nal.pdf (дата обращения 12.08.2014).
  17. Real-time Stream Processing Architecture for Comcast IP Video [Электронный ресурс]. – URL: http://strata­conf.com/stratany2013/public/schedule/detail/30915\%29 (дата обращения 12.08.2014).
  18. Глумов, Н.И. Применение полиномиальных базисов для обработки изображений в скользящем окне / Н.И. Глумов, В.В.Мясников, В.В. Сергеев // Компьютерная оптика. – 1995. – Вып.14-15. – Ч. 1. – С. 55-67.
  19. Glumov, N.I. Detection of objects on the image using a sliding window mоde / N.I. Glumov, E.I. Kolomiyetz, V.V. Ser­geyev // Optics & Laser Technology. – 1995. – Vol. 27(4). – P. 241-249.
  20. Методы компьютерной обработки изображений / М.В. Гашников, Н.И. Глумов, Н.Ю. Ильясова, В.В. Мяс­ников, С.Б. Попов, В.В. Сергеев, В.А. Сойфер, А.Г. Хра­мов, А.В. Чернов, В.М. Чернов, М.А. Чичёва, В.А. Фур­сов. – под ред. В.А. Сойфера. – 2-е изд., испр. – М.: Физматлит, 2003. – 784 с.
  21. Zookeeper [Электронный ресурс]. – URL: http://zoo­keeper.apache.org/ (дата обращения 12.08.2014).
  22. ZeroMQ [Электронный ресурс]. – URL: http://zeromq.org/ (дата обращения 3.08.2014).
  23. Фреймворк Netty [Электронный ресурс]. – URL: http://zeromq.org/ (дата обращения 3.08.2014).
  24. LMax Disruptor [Электронный ресурс]. – URL: http://dis­ruptor.googlecode.com/files/Disruptor-1.0.pdf (дата обращения 3.08.2014).
  25. Протокол Thrift [Электронный ресурс]. – URL: http://thrift.apache.org/ (дата обращения 7.08.2014).
  26. Библиотека обработки изображений OpenCV [Электронный ресурс]. – URL: http://opencv.org/ (дата обращения 1.08.2014).
  27. Набор операторов OpenCV Toolkit [Электронный ресурс]. – URL: http://github.com/ejpring/OpenCVToolkit (дата обращения 8.08.2014).
  28. Hirzel, M. IBM Streams Processing Language: Analyzing Big Data in motion / M. Hirzel, H. Andrade, B. Gedik, G. Jacques-Silva, R. Khandekar, V. Kumar, M. Mendell, H. Nasgaard, S. Schneider, R. Soule´ and K.-L. Wu // IBM Journal of Research and Development. – 2013. – Vol. 57. – Issue 3/4. – P. 7:1-7:11. – DOI: 10.1147/JRD.2013.2243535.
  29. Hirzel, M. A catalog of stream processing optimizations / M. Hirzel, R. Soulé, S. Schneider, B. Gedik, R. Grimm // ACM Computing Surveys (CSUR). – 2014. – Vol. 46, Issue 4. – Article Number: 46. – DOI: 10.1145/2528412.
© 2009, IPSI RAS
Россия, 443001, Самара, ул. Молодогвардейская, 151; электронная почта: journal@computeroptics.ru; тел: +7 (846) 242-41-24 (ответственный секретарь), +7 (846) 332-56-22 (технический редактор), факс: +7 (846) 332-56-20