(45-2) 12 * << * >> * Русский * English * Содержание * Все выпуски

Непараметрический алгоритм автоматической классификации многомерных статистических данных большого объёма и его применение
И.В. Зеньков 1,5, А.В. Лапко 2,4, В.А. Лапко 2,4, С.Т. Им 1,3,4, В.П. Тубольцев 4, В.Л. Авдеенок 4

1 Сибирский федеральный университет, 660041, г. Красноярск, Россия, просп. Свободный, д. 79, стр. 3,

2 Институт вычислительного моделирования СО РАН, 660036, Россия, г. Красноярск, Академгородок, д. 50, стр. 44,

3 Институт леса им. В.Н. Сукачева СО РАН, 660036, Россия, г. Красноярск, Академгородок, д. 50, стр. 28,

4 Сибирский государственный университет науки и технологий имени академика М.Ф. Решетнева,
660037, г. Красноярск, просп. «Красноярский рабочий», д. 31,

5 Федеральный исследовательский центр информационных и вычислительных технологий,
660049, Россия, г. Красноярск, просп. Мира, д. 53

 PDF, 2471 kB

DOI: 10.18287/2412-6179-CO-801

Страницы: 253-260.

Аннотация:
Предлагается непараметрический алгоритм автоматической классификации статистических данных большого объёма. Основу алгоритма составляет процедура оптимальной дискретизации области значений случайной величины. Под классом понимается компактная группа наблюдений случайной величины, соответствующих одномодальному фрагменту плотности вероятности. Рассматриваемый алгоритм автоматической классификации основан на «сжатии» исходной информации на основе декомпозиции многомерного пространства признаков. В результате статистическая выборка большого объёма преобразуется в массив данных, составленный из центров многомерных интервалов дискретизации и соответствующих им частот принадлежности случайных величин. Для обоснования процедуры оптимальной дискретизации используются результаты исследования асимптотических свойств регрессионной оценки плотности вероятности ядерного типа. Из условия минимума среднеквадратического отклонения регрессионной оценки плотности вероятности определяются оптимальные количества интервалов дискретизации области значений одномерной и двухмерной случайных величин. Полученные результаты обобщаются на дискретизацию области значений многомерной случайной величины. Формула оптимальной дискретизации содержит составляющую, которая характеризуется нелинейным функционалом от плотности вероятности. Устанавливается аналитическая зависимость обнаруженной составляющей от коэффициента контрэксцесса одномерной случайной величины. Для независимых компонент многомерной случайной величины определяется методика расчёта оценок оптимального количества интервалов дискретизации случайных величин и их длин. На этой основе разрабатывается непараметрический алгоритм автоматической классификации, который основан на последовательной процедуре проверки близости центров многомерных интервалов дискретизации и соотношений между частотами принадлежности случайных величин из исходной выборки этим интервалам. Для дополнительного повышения вычислительной эффективности предлагаемого алгоритма автоматической классификации используется многопоточный метод его программной реализации. Практическая значимость разработанных алгоритмов подтверждается результатами их применения при обработке данных дистанционного зондирования.

Ключевые слова:
алгоритм автоматической классификации, многомерная гистограмма, регрессионная оценка плотности вероятности, дискретизация области значений случайной величины, выборки большого объёма, коэффициент контрэксцесса, данные дистанционного зондирования.

Благодарности
Исследование выполнено при финансовой поддержке РФФИ, Правительства Красноярского края и Красноярского краевого фонда науки в рамках научного проекта № 20-41-240001.

Цитирование:
Зеньков, И.В. Непараметрический алгоритм автоматической классификации многомерных статистических данных большого объёма и его применение / И.В. Зеньков, А.В. Лапко, В.А. Лапко, С.Т. Им, В.П. Тубольцев, В.Л. Авдеенок // Компьютерная оптика. – 2021. – Т. 45, № 2. – С. 253-260. – DOI: 10.18287/2412-6179-CO-801.

Citation:
Zenkov IV, Lapko AV, Lapko VA, Im ST, Tuboltsev VP, Аvdeenok VL. A nonparametric algorithm for automatic classification of large multivariate statistical data sets and its application. Computer Optics 2021; 45(2): 253-260. DOI: 10.18287/2412-6179-CO-801.

Литература:
  1. Дорофеюк, А.А. Алгоритмы автоматической классификации (обзор) / А.А. Дорофеюк // Автоматика и телемеханика. – 1971. – № 12. – С. 78-113.
  2. Дорофеюк, А.А. Методология экспертно-классификационного анализа в задачах управления и обработки сложноорганизованных данных (история и перспективы развития) / А.А. Дорофеюк // Проблемы управления. – 2009. – № 3(1). – С. 19-28.
  3. Цыпкин, Я.З. Основы теории обучающихся систем / Я.З. Цыпкин. - М.: Наука, 1970. – 252 c.
  4. Васильев, В.И. Особенности алгоритмов самообучения и кластеризации / В.И. Васильев, С.Н. Эш // Управляющие системы и машины. – 2011. – № 3. – С. 3-9.
  5. Лапко, А.В. Непараметрический алгоритм автоматической классификации в условиях статистических данных большого объема / А.В. Лапко, В.А. Лапко // Информатика и системы управления. – 2018. – Т. 57, № 3. – С. 59-70. – DOI: 10.22250/isu.2018.57.59-70.
  6. Лапко, А.В. Непараметрический алгоритм выделения классов, соответствующих одномодальным фрагментам плотности вероятности многомерных случайных величин / А.В. Лапко, В.А. Лапко, С.Т. Им, В.П. Тубольцев, В.Л. Авдеенок // Автометрия. – 2019. – Т. 55, № 3. – С. 22-30. – DOI: 10.15372/AUT20190303.
  7. Лапко, А.В. Регрессионная оценка многомерной плотности вероятности и её свойства / А.В. Лапко, В.А. Лапко // Автометрия. – 2014. – Т. 50, № 2. – С. 50-56.
  8. Лапко, А.В. Оптимальный выбор количества интервалов дискретизации области изменения одномерной случайной величины при оценивании плотности вероятности / А.В. Лапко, В.А. Лапко // Измерительная техника. – 2013. – № 7. – С. 24-27.
  9. Лапко, А.В. Выбор оптимального количества интервалов дискретизации области значений двухмерной случайной величины / А.В. Лапко, В.А. Лапко // Измерительная техника. – 2016. – № 2. – С. 14-17.
  10. Лапко, А.В. Метод дискретизации области значений многомерной случайной величины / А.В. Лапко, В.А. Лапко // Измерительная техника. – 2019. – № 1. – С. 16-20. – DOI: 10.32446/0368-1025it.2019-1-16-20.
  11. Лапко, А.В. Оценивание интеграла от квадрата плотности вероятности одномерной случайной величины / А.В. Лапко, В.А. Лапко // Измерительная техника. – 2020. – № 7. – С. 22-28. – DOI: 10.32446/0368-1025it.2020-7-22-28.
  12. Kharuk, V.I. Climate-induced northerly expansion of Siberian silkmoth range / V.I. Kharuk, S.T. Im, K.J. Ranson, M.N. Yagunov // Forests. – 2017. – Vol. 8, Issue 8. – 301. – DOI: 10.3390/f8080301.
  13. Kharuk, V.I. Siberian silkmoth outbreaks surpassed geoclimatic barrier in Siberian Mountains / V.I. Kharuk, S.T. Im, V.V. Soldatov // Journal of Mountain Science. – 2020. – Vol. 17. – P. 1891-1900. – DOI: 10.1007/s11629-020-5989-3.

© 2009, IPSI RAS
Россия, 443001, Самара, ул. Молодогвардейская, 151; электронная почта: ko@smr.ru ; тел: +7 (846) 242-41-24 (ответственный секретарь), +7 (846) 332-56-22 (технический редактор), факс: +7 (846) 332-56-20