(47-1) 11 * << * >> * Русский * English * Содержание * Все выпуски

Метод цветовой консистентности для камер с неизвестной моделью
С.А. Бибиков 1,2, М.В. Петров 1,2, А.П. Алексеев 2, М.В. Алиев 3, Р.А. Парингер 1,2, Е.В. Гошин 1, П.Г. Серафимович 1,2, А.В. Никоноров 1,2

1 Самарский национальный исследовательский университет имени академика С.П. Королёва,
443086, Россия, г. Самара, Московское шоссе, д. 34;
2 Институт систем обработки изображений РАН – филиал ФНИЦ «Кристаллография и фотоника» РАН,
443001, Россия, г. Самара, Молодогвардейская, д. 151;
3 Адыгейский государственный университет

 PDF, 3430 kB

DOI: 10.18287/2412-6179-CO-1205

Страницы: 92-101.

Аннотация:
Современные методы вычислительной фотографии позволяют приблизить качество изображений, получаемых мобильными камерами, к качеству профессиональных фотокамер. Одна из важнейших задач в этой связи – задача обеспечения консистентности цветов различных камер. В настоящей работе предлагается простой и эффективный способ привести цвета одной камеры к другой, основанный на аппроксимации необходимого преобразования сплайном тоновой коррекции и матрицей цветового преобразования. Экспериментальное исследование проведено в достаточно сложном случае, в котором требуется привести в соответствие цвета изображений, полученных с двух принципиально разных сенсоров, а также с использованием дифракционной оптики. Результаты экспериментов показали, что предложенный метод позволяет получить более высокую точность приведения цветов между камерами, чем существующие аналоги.

Ключевые слова:
цветовая коррекция, цветовая консистентность, оптимизация параметров.

Благодарности
Работа выполнена при поддержке гранта РНФ 22-19-00364.

Цитирование:
Бибиков, С.А. Метод цветовой консистентности для камер с неизвестной моделью / С.А. Бибиков, М.В. Петров, А.П. Алексеев, М.В. Алиев, Р.А. Парингер, Е.В. Гошин, П.Г. Серафимович, А.В. Никоноров // Компьютерная оптика. – 2023. – Т. 47, № 1. – С. 92-101. – DOI: 10.18287/2412-6179-CO-1205.

Citation:
Bibikov S, Petrov M, Alekseev A, Aliev M, Paringer R, Goshin Y, Serafimovich P, Nikonorov A. Color consistency method for cameras with unknown model. Computer Optics 2023; 47(1): 92-101. DOI: 10.18287/2412-6179-CO-1205.

References:
  1. Ignatov A, Kobyshev N, Timofte R, Vanhoey K, Van Gool L. DSLR-quality photos on mobile devices with deep convolutional networks. Proc IEEE Int Conf on Computer Vision 2017: 3277-3285.
  2. Schwartz E, Giryes R, Bronstein AM, DeepISP: Toward learning an end-to-end image processing pipeline. IEEE Trans Image Process 2018; 28(2): 912-923.
  3. Engelberg J, Levy U, The advantages of metalenses over diffractive lenses. Nat Commun 2020; 11(1): 1991.
  4. Ivliev N, Evdokimova V, Podlipnov V, Petrov M, Ganchevskaya S, Tkachenko I, Abrameshin D, Yuzifovich Yu, Nikonorov A, Skidanov R, Kazanskiy N, Soifer V. First earth-imaging CubeSat with harmonic diffractive lens. Remote Sens 2022; 14(9): 2230. DOI: 10.3390/rs14092230.
  5. Petrov M, Bibikov S, Yuzifovich Y, Skidanov R, Nikonorov A. Color correction with 3D lookup tables in diffractive optical imaging systems. Procedia Eng 2017; 201: 73-82. DOI: 10.1016/j.proeng.2017.09.665.
  6. Banerji S, Meem M, Majumder A, Vasquez FG, Sensale-Rodriguez B, Menon R. Imaging with flat optics: metalenses or diffractive lenses? Optica 2019; 6: 805-810.
  7. Kazanskiy NL, Skidanov RV, Nikonorov AV, Doskolovich LL. Intelligent video systems for unmanned aerial vehicles based on diffractive optics and deep learning. Proc SPIE 2019; 11516: 115161Q. DOI: 10.1117/12.2566468.
  8. Nikonorov A, Evdokimova A, Petrov M, Yakimov P, Bibikov S, Yuzifovich Y, Skidanov R, Kazanskiy N. Deep learning-based imaging using single-lens and multi-aperture diffractive optical systems. 2019 IEEE/CVF Int Conf on Computer Vision Workshop (ICCVW) 2019: 3969-3977. DOI: 10.1109/ICCVW.2019.00491.
  9. Dudhane A, Zamir SW, Khan S, Khan FS, Yang M-H. Burst image restoration and enhancement. 2022 IEEE/CVF Conf on Computer Vision and Pattern Recognition (CVPR) 2022: 5759-5768.
  10. Rodríguez RG, Vazquez-Corral J, Bertalmío M. Color matching images with unknown non-linear encodings IEEE Trans Image Process 2020; 29: 4435-4444.
  11. Dziembowski A, Mieloch D, Różek S, Domański M. Color correction for immersive video applications. IEEE Access 2021; 9: 75626-75640.
  12. Li Y, Yin H, Yao J, Wang H, Li L. A unified probabilistic framework of robust and efficient color consistency correction for multiple images. ISPRS J Photogramm Remote Sens 2022; 190: 1-24.
  13. Xia M, Yao J, Xie R, Zhang M, Xiao J. Color consistency correction based on remapping optimization for image stitching. 2017 IEEE International Conference on Computer Vision Workshops (ICCVW) 2017: 2977-2984.
  14. Bianco S, Bruna A, Naccari F, Schettini R. Color space transformations for digital photography exploiting information about the illuminant estimation process. J Opt Soc Am A 2012, 29(3): 374-384.
  15. Bianco S, Bruna AR, Naccari F, Schettini R. Color correction pipeline optimization for digital cameras. J Electron Imaging 2013, 22(2): 023014.
  16. Vazquez-Corral J, Bertalmío M. Log-encoding estimation for color stabilization of cinematic footage. 2016 IEEE International Conference on Image Processing (ICIP) 2016: 3349-3353.
  17. S-log white paper. SONY Corporation, Tech Rep; 2009. Source: <https://www.yumpu.com/en/document/read/39818735/sony-s-log-white-paper-gear-head>.
  18. Achanta R, Shaji A, Smith K, Lucchi A, Fua P, Süsstrunk S. SLIC superpixels compared to state-of-the-art superpixel methods. IEEE Trans Pattern Anal Mach Intell 2012; 34(11): 2274-2282.
  19. Huawei P40 Pro Camera test. Source: <https://www.dxomark.com/huawei-p40-pro-camera-review/>.
  20. Bay H, Tuytelaars T, Gool LV. Surf: Speeded up robust features. In Book: Leonardis A, Bischof H, Pinz A, eds. Computer Vision – ECCV 2006. Part I. Berlin, Heidelberg: Springer-Verlag; 2006: 404-417.
  21. OpenCV. Camera Calibration, Source: <https://docs.opencv.org/4.x/d9/d0c/group__calib3d.html>.
  22. Nikonorov A, Bibikov S, Myasnikov V, Yuzifovich Y, Fursov V. Correcting color and hyperspectral images with identification of distortion model. Pattern Recognit Lett 2016; 83(2): 178-187. DOI: 10.1016/j.patrec.2016.06.027.
  23. Dierckx P. Curve and surface fitting with splines. Oxford: Oxford University Press; 1993.
  24. Evdokimova V, Petrov M, Klyueva M, Zybin E, Kosianchuk V, Mishchenko I, Novikov V, Selvesiuk N, Ershov E, Ivliev N, Skidanov R, Kazanskiy N, Nikonorov A. Deep learning-based video stream reconstruction in mass-production diffractive optical systems. Computer Optics 2021; 45(1): 130-141. DOI: 10.18287/2412-6179-CO-834.
  25. Zhang A. Flexible new technique for camera calibration. IEEE Trans Pattern Anal Mach Intell 2000; 22(11): 1330-1334.
  26. IEC 61966-2-1: Multimedia systems and equipment-Colour measurement and management – Part 2-1: Colour management – Default RGB colour space – sRGB. Geneva, Switzerland: IEC; 1999.
  27. Nikonorov AV. Spectrum shape elements model for correction of multichannel images. Computer Optics 2014; 38(2): 304-313. DOI: 10.18287/0134-2452-2014-38-2-304-313.
  28. Virtanen P, Gommers R, Oliphant TE, Haberland M, Reddy T, Cournapeau D, Burovski E, Peterson P, Weckesser W, Bright J, van der Walt SJ, Brett M, Wilson J, Millman KJ, Mayorov N, Nelson ARJ, Jones E, Kern R, Larson E, Carey CJ, Polat I, Feng Y, Moore EW, VanderPlas J, Laxalde D, Perktold J, Cimrman R, Henriksen I, Quintero EA, Harris CR, Archibald AM, Ribeiro AH, Pedregosa F, van Mulbregt P. SciPy 1.0: fundamental algorithms for scientific computing in Python. Nat Methods 2020; 17(3): 261-272.
  29. Gong H, Finlayson G, Fisher R. Recoding color transfer as a color homography. Proc British Machine Vision Conf (BMVC) 2016: 17.1-17.11.
  30. Gong H, Finlayson GD, Fisher RB, Fang F. 3D color homography model for photo-realistic color transfer re-coding. Vis Comput 2019; 35(3): 323-333.
  31. Ignatov A, Van Gool L, Timofte R. Replacing mobile camera ISP with a single deep learning model. 2020 IEEE/CVF Conf on Computer Vision and Pattern Recognition Workshops (CVPRW) 2020: 536-537.
  32. Sharma G, Wu W, Dalal EN. The CIEDE2000 color-difference formula: Implementation notes, supplementary test data, and mathematical observations. Color Res Appl 2005; 30(1): 21-30.

© 2009, IPSI RAS
Россия, 443001, Самара, ул. Молодогвардейская, 151; электронная почта: journal@computeroptics.ru; тел: +7 (846) 242-41-24 (ответственный секретарь), +7 (846) 332-56-22 (технический редактор), факс: +7 (846) 332-56-20