(49-5) 11 * << * >> * Русский * English * Содержание * Все выпуски

Методы трансферного обучения для сегментации клеток глиомы C6
Д.А. Илюхин 1, В.О. Ячная 1,2, Р.О. Малашин 1,2, М.К. Ермаченкова 1, А.В. Волков 3,4, С.Г. Пашкевич 4, А.А. Денисов 3,4

1 Институт физиологии имени И.П. Павлова РАН,
199034, Россия, г. Санкт-Петербург, наб. Макарова, д. 6;
2 Государственный университет аэрокосмического приборостроения,
190000, Россия, г. Санкт-Петербург, ул. Большая Морская, д. 67, лит. а;
3 Белорусский государственный университет,
220030, Беларусь, г. Минск, пр. Независимости, д. 4;
4 Институт физиологии НАН Беларуси,
220072, Беларусь, г. Минск, ул. Академическая, д. 28

  PDF, 2504 kB

DOI: 10.18287/2412-6179-CO-1609

Страницы: 794-804.

Аннотация:
В настоящей работе представлен алгоритм бинарной сегментации клеток культуры глиомы С6 с применением методов глубокого обучения для упрощения и ускорения анализа роста данной культуры. Для разработки и тестирования алгоритма впервые собрана база, содержащая 30 микроскопических фазово-контрастных снимков клеток глиомы C6.Благодаря собранной базе данных, впервые исследуются свойства методов трансферного обучения при работе со снимками клеточных культур в высоком разрешении. Для этого используются дополнительные базы данных микроскопических и неспециализированных изображений. Эксперименты показали, что предобучение нейронной сети с использованием микроскопических снимков обеспечивает значительное преимущество при распознавании клеток глиомы в низком разрешении, однако при увеличении разрешения и возникающей из-за этого рассогласованности размеров объектов лучшие результаты могут быть получены с использованием энкодеров, обученных на повседневных снимках. В работе объясняются причины этого и предлагаются способы повышения обобщающих способностей «специализированных» весов к работе в высоком разрешении за счет использования техник аугментации, обеспечивающих согласованность размеров объектов. Также демонстрируется возможность получать разные обобщающие свойства итогового алгоритма за счет правильного подбора данных для предварительного обучения, что может быть полезно при необходимости обнаруживать или исключать из рассмотрения плотные кластеры клеток.

Ключевые слова:
бинарная сегментация, микроскопические снимки, компьютерное зрение, U-Net, нейронные сети, глиома C6.

Благодарности
Разработка алгоритма сегментации клеток глиомы, включающая исследование методов трансферного обучения, выполнена при финансовой поддержке гранта Санкт-Петербургского научного фонда (№ 23-РБ-05-24 от 15.12.2023) (параграф 1, параграф 2, подпараграф 3.1, подпараграф 3.2).
     Работа в части исследования общих свойств архитектур сегментации поддержана средствами федерального бюджета в рамках государственного задания ФГБУН Институт физиологии им. И.П. Павлова РАН (№1021062411653-4-3.1.8) (подпараграф 3.1).
     Создание базы данных Glioma C6 выполнено при финансовой поддержке БРФФИ (ГКНТ) по гранту «Детекция опухолевых клеток нервной ткани с применением методов глубокого обучения» (договор № М24СПбГ-010 от 01.03.2024) (параграф 2, подпараграф 3.2).

Цитирование:
Илюхин, Д.А. Методы трансферного обучения для сегментации клеток глиомы C6 / Д.А. Илюхин, В.О. Ячная, Р.О. Малашин, М.К. Ермаченкова, А.В. Волков, С.Г. Пашкевич, А.А. Денисов // Компьютерная оптика. – 2025. – Т. 49, № 5. – С. 794-804. – DOI: 10.18287/2412-6179-CO-1609.

Citation:
Ilyukhin DA, YachnayaVO, Malashin RO, Ermachenkova MK, Volkov AV, Pashkevich SG, Denisov AA. Transfer learning methods for glioma C6 cell segmentation. Computer Optics 2025; 49(5): 794-804. DOI: 10.18287/2412-6179-CO-1609.

References:
  1. Giakoumettis D, Kritis A, Foroglou N. C6 cell line: the gold standard in glioma research. Hippokratia 2018; 22(3): 105-112.
  2. Ronneberger O, Fischer P, Brox T. U-Net: Convolutional networks for biomedical image segmentation. In Book: Navab N, Hornegger J, Wells WM, Frangi AF, eds. Medical image computing and computer-assisted intervention – MICCAI 2015. 18th International Conference, Munich, Germany, October 5-9, 2015, Proceedings, Part III. New York: Springer International Publishing Switzerland; 2015: 234-241. DOI: 10.1007/978-3-319-24574-4_28.
  3. 2018 Data Science Bowl. 2018. Source: <https://www.kaggle.com/c/data-science-bowl-2018>.
  4. Stringer C, Wang T, Michaelos M, Pachitariu M. Cellpose: a generalist algorithm for cellular segmentation. Nat Methods 2021; 18: 100-106. DOI: 10.1038/s41592-020-01018-x.
  5. Cutler KJ, Stringer C, Lo TW, et al. Omnipose: a high-precision morphology-independent solution for bacterial cell segmentation. Nat Methods 2022; 19: 1438-1448. DOI: 10.1038/s41592-022-01639-4.
  6. Edlund C, Jackson TR, Khalid N, et al. LIVECell – A large-scale dataset for label-free live cell segmentation. Nat Methods 2021; 18: 1038-1045. DOI: 10.1038/s41592-021-01249-6.
  7. Pachitariu M., Stringer C. Cellpose 2.0: how to train your own model. Nat Methods 2022; 19: 1634-1641. DOI: 10.1038/s41592-022-01663-4.
  8. Li G, Xiao Z. Transfer learning-based neuronal cell instance segmentation with pointwise attentive path fusion. IEEE Access 2022; 10: 54794-54804. DOI: 10.1109/ACCESS.2022.3176956.
  9. Guo F. Segmenting neuronal cells in microscopic images using cascade mask R-CNN. 2022 2nd Int Conf on Medical Imaging, Sanitation and Biological Pharmacy (MISBP 2022) 2022: 1-7.
  10. Huynh HN, Ha QT, Tran AT, Tran HDT, Bui PA, Tran TN. Brain cell segmentation and detection from the LIVECell dataset using deep learning with the EfficientDet model. 2022 IEEE 4th Eurasia Conf on Biomedical Engineering, Healthcare and Sustainability (ECBIOS) 2022; 12-15. DOI: 10.1109/ECBIOS54627.2022.9945050.
  11. Zhou Y, Li W, Yang G. SCTS: Instance segmentation of single cells using a transformer-based semantic-aware model and space-filling augmentation. 2023 IEEE/CVF Winter Conf on Applications of Computer Vision (WACV) 2023: 5944-5953. DOI: 10.1109/WACV56688.2023.00589.
  12. Liao W, Li X, Wang Q, Xu Y, Yin Z, Xiong H. CUPre: Cross-domain unsupervised pre-training for few-shot cell segmentation. arXiv Preprint. 2023. Source:           <https://arxiv.org/abs/2310.03981>. DOI: 10.48550/arXiv.2310.03981.
  13. Pan F, Wang F. DCSN: A flexible and efficient lightweight network for dense cell segmentation. 2023 IEEE Int Conf on Medical Artificial Intelligence (MedAI) 2023: 334-343. DOI: 10.1109/MedAI59581.2023.00052.
  14. Liu Y, Wang C, Wen Y, Huo Y, Liu J. Efficient segmentation algorithm for complex cellular image analysis system. IET Control Theory Appl 2023; 17: 2268-2279. DOI: 10.1049/cth2.12466.
  15. Khalid N, et al. DeepCeNS: An end-to-end pipeline for cell and nucleus segmentation in microscopic images. 2021 Int Joint Conf on Neural Networks (IJCNN) 2021: 1-8. DOI: 10.1109/IJCNN52387.2021.9533624.
  16. Khalid N, Koochali M, Rajashekhar V, et al. DeepMuCS: A framework for mono- & co-culture microscopic image analysis: From generation to segmentation. TechRxiv. 2022. Source:        <https://d197for5662m48.cloudfront.net/documents/publicationstatus/163785/preprint_pdf/5e0aa768c6c9b2f35e11c54e8de4f71c.pdf>. DOI: 10.36227/techrxiv.19181552.v1.
  17. Khalid N, et al. DeepMuCS: A framework for co-culture microscopic image analysis: From generation to segmentation. 2022 IEEE-EMBS Int Conf on Biomedical and Health Informatics (BHI) 2022: 1-4. DOI: 10.1109/BHI56158.2022.9926936.
  18. Schilling MP, et al. AI2Seg: A method and tool for AI-based annotation inspection of biomedical instance segmentation datasets. 2023 45th Annual Int Conf of the IEEE Engineering in Medicine & Biology Society (EMBC) 2023: 1-6. DOI: 10.1109/EMBC40787.2023.10341074.
  19. Ying Z, Li G, Ren Y, Wang R, Wang W. A new image contrast enhancement algorithm using exposure fusion framework. In Book: Felsberg M, Heyden A, Krüger N, eds. Computer analysis of images and patterns. 17th International Conference, CAIP 2017, Ystad, Sweden, August 22-24, 2017, Proceedings, Part II. 2017; 36-46. DOI: 10.1007/978-3-319-64698-5_4.
  20. Tan M, Pang R, Le QV. EfficientDet: Scalable and efficient object detection. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) 2020: 1-10. DOI: 10.1109/CVPR42600.2020.01079.
  21. Liu Z, et al. Swin transformer: Hierarchical vision transformer using shifted windows. arXiv Preprint. 2021. Source: <https://arxiv.org/abs/2103.14030>. DOI: 10.48550/arXiv.2103.14030.
  22. Schwendy M, Unger RE, Parekh SH. EVICAN – A balanced dataset for algorithm development in cell and nucleus segmentation. Bioinformatics 2020; 36(12): 3863-3870. DOI: 10.1093/bioinformatics/btaa225.
  23. Lin T-Y, Dollar P, Girshick R, He K, Hariharan B, Belongie S. Feature pyramid networks for object detection. 2017 IEEE Conf on Computer Vision and Pattern Recognition (CVPR) 2017: 936-944. DOI: 10.1109/CVPR.2017.106.
  24. Zhang H, et al. ResNeSt: Split-attention network. 2022 IEEE/CVF Conf on Computer Vision and Pattern Recognition Workshops (CVPRW) 2022: 2736-2746. DOI: 10.1109/CVPRW56347.2022.00309.
  25. Cai Z, Vasconcelos N. Cascade R-CNN: High quality object detection and instance segmentation. IEEE Trans Pattern Anal Mach Intell 2021; 43(5): 1483-1498. DOI: 10.1109/TPAMI.2019.2956516.
  26. Yi J, Wu P, Hoeppner DJ, Metaxas D. Pixel-wise neural cell instance segmentation. 2018 IEEE 15th International Symposium on Biomedical Imaging (ISBI 2018) 2018: 373-377. DOI: 10.1109/ISBI.2018.8363596.
  27. Farhan R. Residual network with attention to neural cells segmentation. Iraqi J Sci 2023; 64(4): 2023-2036. DOI: 10.24996/ijs.2023.64.4.37.
  28. Panigrahi S, Murat D, Gall AL, et al. Misic, a general deep learning-based method for the high-throughput cell segmentation of complex bacterial communities. Elife 2021; 10: e65151. DOI: 10.7554/eLife.65151.
  29. Piotrowski T, Rippel O, Elanzew A, et al. Deep-learning-based multi-class segmentation for automated, non-invasive routine assessment of human pluripotent stem cell culture status. Comput Biol Med 2021; 129: 104172. DOI: 10.1016/j.compbiomed.2020.104172.
  30. Long F. Microscopy cell nuclei segmentation with enhanced U-Net. BMC Bioinformatics 2020; 21(8): 8. DOI: 10.1186/s12859-019-3332-1.
  31. Sharan TS, Tripathi S, Sharma S, Sharma N. Encoder modified U-Net and feature pyramid network for multi-class segmentation of cardiac magnetic resonance images. IETE Tech Rev 2021; 39(5): 1092-1104. DOI: 10.1080/02564602.2021.
  32. Chen J, et al. TransUNet: Transformers make strong encoders for medical image segmentation. arXiv Preprint. 2021. Source: <https://arxiv.org/abs/2102.04306>. DOI: 10.48550/arXiv.2102.04306.
  33. Qiu P, et al. AgileFormer: Spatially agile transformer UNet for medical image segmentation. arXiv Preprint. 2024. Source: <https://arxiv.org/abs/2404.00122>.             DOI: 10.48550/arXiv.2404.00122.
  34. He K, et al. Deep residual learning for image recognition. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) 2016: 770-778. DOI: 10.1109/CVPR.2016.90.
  35. Atliha V, Šešok D. Comparison of VGG and ResNet used as encoders for image captioning. 2020 IEEE Open Conf of Electrical, Electronic and Information Sciences (eStream) 2020: 1-4. DOI: 10.1109/eStream50540.2020.9108880.
  36. Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition. arXiv Preprint. 2014. Source: <https://arxiv.org/abs/1409.1556>. DOI: 10.48550/arXiv.1409.1556.
  37. Iglovikov V, Shvets A. Ternausnet: U-net with vgg11 encoder pre-trained on imagenet for image segmentation. arXiv Preprint. 2018. Source: <https://arxiv.org/abs/1801.05746>. DOI: 10.48550/arXiv.1801.05746.
  38. Computer Vision Annotation Tool (CVAT). 2025. Source: <https://github.com/opencv/cvat>.
  39. COCO: Common Objects in Context. Data format. 2025. Source: <https://cocodataset.org/#format-data>.
  40. Volkov AV, Demina YD, Ksenevich YV, Yachnaya VO, Ermachenkova MK, Ilyukhin DA. Preparation of a database for training an artificial neural network for tumour cells segmentation of neural tissue [In Russian]. XXI Mezhdunarodnaya nauchnaya konferenciya "Molodezh V Nauke 2024", 29-31 October, 2024, Minsk, Belarus.
  41. LIVECell dataset. Train sample. 2025. Source: <https://LIVECell-dataset.s3.eu-central-1.amazonaws.com/LIVECell_dataset_2021/annotations/LIVECell/LIVECell_coco_train.json>.
  42. LIVECell dataset. Validation sample. 2025. Source: <https://LIVECell-dataset.s3.eu-central-1.amazonaws.com/LIVECell_dataset_2021/annotations/LIVECell/LIVECell_coco_val.json>.
  43. LIVECell dataset. Test sample. 2025. Source: <https://LIVECell-dataset.s3.eu-central-1.amazonaws.com/LIVECell_dataset_2021/annotations/LIVECell/LIVECell_coco_test.json>.
  44. Huang G, et al. Densely connected convolutional networks. 2017 IEEE Conf on Computer Vision and Pattern Recognition (CVPR) 2017: 4700-4708. DOI: 10.1109/CVPR.2017.243.
  45. Chen Y, et al. Dual path networks. 31st Conference on Neural Information Processing Systems (NIPS 2017) 2017: 30.
  46. Tan M, Le Q. Efficientnet: Rethinking model scaling for convolutional neural networks. 36th Int Conf on Machine Learning (ICML 2019) 2019: 6105-6114.
  47. Szegedy, C et al. Inception-v4, inception-ResNet and the impact of residual connections on learning. AAAI'17: Proceedings of the Thirty-First AAAI Conference on Artificial Intelligence 2017: 4278-4284.
  48. Xie E, et al. SegFormer: Simple and efficient design for semantic segmentation with transformers. NIPS'21: Proceedings of the 35th Int Conf on Neural Information Processing Systems 2021: 12077-12090.
  49. Sandler M, et al. MobileNetV2: Inverted residuals and linear bottlenecks. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition 2018: 4510-4520. DOI: 10.1109/CVPR.2018.00474.
  50. Xie S, et al. Aggregated residual transformations for deep neural networks. 2017 IEEE Conf on Computer Vision and Pattern Recognition (CVPR) 2017: 1492-1500. DOI: 10.1109/CVPR.2017.634.
  51. Hu J, Shen L, Sun G. Squeeze-and-excitation networks. 2018 IEEE/CVF Conf on Computer Vision and Pattern Recognition 2018: 7132-7141. DOI: 10.1109/CVPR.2018.00745.
  52. Lin M, et al. Neural architecture design for gpu-efficient networks. arXiv Preprint. 2020. Source: <https://arxiv.org/abs/2006.14090>. DOI: 10.48550/arXiv.2006.14090.
  53. Radosavovic I, et al. Designing network design spaces. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) 2020: 10428-10436. DOI: 10.1109/CVPR42600.2020.01044.
  54. Gao SH, et al. Res2Net: A new multi-scale backbone architecture. IEEE Trans Pattern Anal Mach Intell 2019; 43(2); 652-662. DOI: 10.1109/TPAMI.2019.293875.
  55. Chollet F. Xception: Deep learning with depthwise separable convolutions. 2017 IEEE Conf on Computer Vision and Pattern Recognition (CVPR) 2017: 1251-1258. DOI: 10.1109/CVPR.2017.195.
  56. Hendrycks D, Mu N, Cubuk ED, Zoph B, Gilmer J, Lakshminarayanan B. AugMix: A simple data processing method to improve robustness and uncertainty. arXiv Preprint. 2019. Source: <https://arxiv.org/abs/1912.02781>. DOI: 10.48550/arXiv.1912.02781.
  57. Cubuk ED, Zoph B, Shlens J, Le QV. Randaugment: Practical automated data augmentation with a reduced search space. 2020 IEEE/CVF Conf on Computer Vision and Pattern Recognition Workshops (CVPRW) 2020: 3008-3017. DOI: 10.1109/CVPRW50498.2020.00359.

© 2009, IPSI RAS
Россия, 443001, Самара, ул. Молодогвардейская, 151; электронная почта: journal@computeroptics.ru; тел: +7 (846) 242-41-24 (ответственный секретарь), +7 (846) 332-56-22 (технический редактор), факс: +7 (846) 332-56-20