(48-2) 13 * << * >> * Русский * English * Содержание * Все выпуски

Невыпуклая оптимизация с положительно-отрицательной оценкой момента и ее применение для нейросетевого распознавания рака кожи
П.А. Ляхов 1,2, У.А. Ляхова 1,2, Р.И. Абдулкадиров 2

1 Северо-Кавказский федеральный университет,
355017, Россия, г. Ставрополь, ул. Пушкина, д. 1;
2 Северо-Кавказский центр математических исследований,
355017, Россия, г. Ставрополь, ул. Пушкина, д. 1

 PDF, 961 kB

DOI: 10.18287/2412-6179-CO-1308

Страницы: 260-271.

Аннотация:
Основная проблема использования стандартных методов оптимизации заключается в необходимости изменять все параметры шагами одинакового размера, независимо от поведения градиента. Более эффективный способ оптимизации нейронной сети состоит в том, чтобы установить адаптивные размеры шага для каждого параметра. Стандартные методы основаны на квадратных корнях экспоненциальных оценок моментов квадратов прошлых градиентов и не используют локальное изменение градиентов. В работе представлены методы адаптивной невыпуклой и доверительной оптимизации с положительно-отрицательной оценкой моментов с соответствующими теоретическими гарантиями сходимости. Данные подходы позволяют более точно сходиться функции потери в области глобального минимума за меньшее количество итераций. Использование преобразований положительно-отрицательной оценки момента и дополнительного параметра, регулирующего размер шага, позволяют обходить локальные экстремумы для достижения более высокой производительности по сравнению с аналогичными методами. Внедрение разработанных алгоритмов в процесс обучения различных архитектур мультимодальных нейросетевых систем анализа гетерогенных данных позволило повысить точность распознавания пигментных новообразований кожи на 2,33 – 5,69 процентных пункта по сравнению с известными методами оптимизации. Мультимодальные нейросетевые системы анализа разнородных дерматологических данных, обученные с применением предложенных алгоритмов оптимизации, могут использоваться в качестве инструмента вспомогательной медицинской диагностики, который позволит сократить потребление финансовых и трудовых ресурсов, задействованных в медицинской отрасли, а также повысить шанс раннего выявления пигментных онкопатологий.

Ключевые слова:
оптимизация, натуральный градиентный спуск, искусственный интеллект, мультимодальные нейронные сети, разнородные данные, рак кожи, меланома.

Благодарности
Авторы выражают благодарность СКФУ за помощь в рамках проекта поддержки малых научных групп и отдельных ученых. Исследование в параграфе 2 проведено в Северо-Кавказском центре математических исследований в рамках соглашения с Министерством науки и высшего образования Российской Федерации (соглашение № 075-02-2023-938). Исследование в параграфе 3 проведено при поддержке Российского научного фонда (проект № 23-71-10013).

Цитирование:
Ляхов, П.А. Невыпуклая оптимизация с положительно-отрицательной оценкой момента и ее применение для нейросетевого распознавания рака кожи / П.А. Ляхов, У.А. Ляхова, Р.И. Абдулкадиров // Компьютерная оптика. – 2024. – Т. 48, № 2. – С. 260-271. – DOI: 10.18287/2412-6179-CO-1308.

Citation:
Lyakhov PA, Lyakhova UA, Abdulkadirov RI. Non-convex optimization with using positive-negative moment estimation and its application for skin cancer recognition with a neural network. Computer Optics 2024; 48(2): 260-271. DOI: 10.18287/2412-6179-CO-1308.

References:
  1. Kaul V, Enslin S, Gross SA. History of artificial intelligence in medicine. Gastrointest Endosc Mosby 2020; 92(4): 807-812. DOI: 10.1016/J.GIE.2020.06.040.
  2. Hamet P, Tremblay J. Artificial intelligence in medicine. Metabolism 2017; 69: 36-40. DOI: 10.1016/J.METABOL.2017.01.011.
  3. Brinker TJ, Hekler A, Enk AH, et al. Deep learning outperformed 136 of 157 dermatologists in a head-to-head dermoscopic melanoma image classification task. Eur J Cancer 2019; 113: 47-54. DOI: 10.1016/J.EJCA.2019.04.001.
  4. Esteva A, Kuprel B, Novoa RA, Ko J, Swetter, SM, Blau HM, Thrun S. Dermatologist-level classification of skin cancer with deep neural networks. Nature 2017; 542: 115-118. DOI: 10.1038/nature21056.
  5. Haggenmüller S, Maron RC, Hekler A, et al. Skin cancer classification via convolutional neural networks: Systematic review of studies involving human experts. Eur J Cancer 2021; 156: 202-216. DOI: 10.1016/J.EJCA.2021.06.049.
  6. Wiens J, Saria S, Sendak M, et al. Author correction: Do no harm: A roadmap for responsible machine learning for health care. Nature Medicine 2019; 25(9): 1337-1340. DOI: 10.1038/S41591-019-0548-6.
  7. Hwang J, Bose N, Fan S. AUV adaptive sampling methods: A review. Appl Sci 2019; 9: 3145-2019. DOI: 10.3390/APP9153145.
  8. Hospedales T, Antoniou A, Micaelli P, Storkey A. Meta-learning in neural networks: A survey. IEEE Trans Pattern Anal Mach Intell 2022; 44: 5149-5169. DOI: 10.1109/TPAMI.2021.3079209.
  9. Gao S, Pei Z, Zhang Y, Li T. Bearing fault diagnosis based on adaptive convolutional neural network with Nesterov momentum. IEEE Sens J 2021; 21: 9268-9276.
  10. Kingma DP, Ba JL. Adam: A method for stochastic optimization. 3rd Int Conf on Learning Representations (ICLR 2015) 2015: 1-13. DOI: 10.48550/arxiv.1412.6980.
  11. Wang S, Yang Y, Sun J, Xu Z. Variational HyperAdam: A meta-learning approach to network training. IEEE Trans Pattern Anal Mach Intell 2022; 44: 4469-4484. DOI: 10.1109/TPAMI.2021.3061581.
  12. Abdulkadirov RI, Lyakhov PA, Nagornov NN. Accelerating extreme search of multidimensional functions based on natural gradient descent with Dirichlet distributions. Mathematics 2022; 10: 3556-2022. DOI: 10.3390/MATH10193556.
  13. Dubey SR, Chakraborty S, Roy SK, Mukherjee S, Singh SK, Chaudhuri BB. DiffGrad: An optimization method for convolutional neural networks. IEEE Trans Neural Netw Learn Syst 2020; 31: 4500-4511. DOI: 10.1109/TNNLS.2019.2955777.
  14. Zaheer M, Reddi SJ, Sachan D, Kale S, Research G, Kumar S. Adaptive methods for nonconvex optimization. Proc 32nd Int Conf on Neural Information Processing Systems (NIPS'18) 2018: 9815-9825.
  15. Zhuang J, Tang T, Ding Y, Tatikonda SC, Dvornek N, Papademetris X, Duncan JS. AdaBelief optimizer: Adapting stepsizes by the belief in observed gradients. Adv Neural Inf Process Syst 2020; 33: 18795-18806.
  16. Xie Z, Yuan L, Zhu Z, Sugiyama M. Positive-negative momentum: Manipulating stochastic gradient noise to improve generalization. Thirty-eighth Int Conf on Machine Learning (ICML 2021) 2021: 11448-11458.
  17. Kurtansky NR, Dusza SW, Halpern AC, Hartman RI, Geller AC, Marghoob AA, Rotemberg VM, Marchetti MA. An epidemiologic analysis of melanoma overdiagnosis in the United States, 1975-2017. J Invest Dermatol 2022; 142: 1804-1811. DOI: 10.1016/J.JID.2021.12.003.
  18. Turkay C, Lundervold A, Lundervold AJ, Hauser H. Hypothesis generation by interactive visual exploration of heterogeneous medical data. In Book: Holzinger A, Pasi G, eds. Human-computer interaction and knowledge discovery in complex, unstructured, big data. Third international workshop (HCI-KDD 2013). Berlin, Heidelberg: Springer-Verlag; 2013: 1-12. DOI: 10.1007/978-3-642-39146-0_1.
  19. Wang S, Yin Y, Wang D, Wang Y, Jin Y. Interpretability-based multimodal convolutional neural networks for skin lesion diagnosis. IEEE Trans Cybern 2022; 52(12): 12623-12637.
  20. Goh G, Carter S, Petrov M, Schubert L, Radford A, Olah, C. Multimodal neurons in artificial neural networks. Distill 2021; 6: 30. DOI: 10.23915/DISTILL.00030.
  21. Liu K, Li Y, Xu N, Natarajan P. Learn to combine modalities in multimodal deep learning. arXiv Preprint. 2023. Source: <https://arxiv.org/abs/1805.11730>.
  22. Lyakhov PA, Lyakhova UA, Nagornov NN. System for the recognizing of pigmented skin lesions with fusion and analysis of heterogeneous data based on a multimodal neural network. Cancers 2022; 14: 1819-2022. DOI: 10.3390/CANCERS14071819.
  23. Banerjee. S. Estimatation of body weight at different ages using linear and some non linear regression equations in a duck breed reared in hot and humid climate of Eastern India. Am-Eurasian J Sci Res 2011; 6(4): 201-204.
  24. Tukey JW. The practical relationship between the common transformations of percentages or fractions and of amounts. In Book: Mallows CL, ed. The collected works of John W. Tukey. Volume VI: More mathematical. Pacific Grove, CA: Wadsworth & Brooks-Cole; 1990: 211-219.

© 2009, IPSI RAS
Россия, 443001, Самара, ул. Молодогвардейская, 151; электронная почта: journal@computeroptics.ru; тел: +7 (846) 242-41-24 (ответственный секретарь), +7 (846) 332-56-22 (технический редактор), факс: +7 (846) 332-56-20