Применение нейросетевых алгоритмов для семантической сегментации спутниковых снимков поверхности Земли

-

Весь текст будет доступен после покупки

Семантической сегментацией называется процесс классификации объектов изображения и окрашивания каждого объекта в соответствующий классу цвет. Другими словами, для каждого класса объекта определяется свой цвет, например: люди – красный цвет, деревья – зеленый цвет, автомобили – синий цвет. Далее на изображении выполняется поиск этих объектов и при их нахождении они окрашиваются в соответствующий цвет. В итоге результатом семантической сегментации будет являться цветовая карта, где достаточно наглядно и просто можно определить соответствующие выделенные объекты. Это достаточно удобно при работе с большими изображениями, содержащими множество мелких объектов, как на пример спутниковые снимки поверхности Земли. Для человека достаточно сложно работать с большим количеством таких изображений, это приводит к тому, что постепенно он начинает уставать и совершать ошибки [1].
Семантическая сегментация находит применение в различных областях, например в беспилотных транспортных средствах для анализа окружающего пространства, в смартфонах, в медицине для анализа рентгеновских снимков, в системах безопасности и видеонаблюдения и т.д.
Традиционные классические алгоритмы, решающие задачу семантической сегментации изображений, основаны на поиске ключевых особенностей объектов [2]. Ключевыми особенностями объектов могут быть: цвет; форма; текстура; ключевые точки расположения объекта, относительно других объектов изображения и т.д. Относительно этих ключевых характеристик объекты классифицируются и выделяются определенным цветом на изображении [3]. Среди таких алгоритмов можно выделить следующие: детекторы и дескрипторы ключевых точек на изображении (SIFT [4]; SURF [4]; FAST [5]; HOG [6]), машина опорных векторов (SVM) [7], Bag of words [8], метод главных компонент и т.д. Данные алгоритмы активно применялись в конце 20 и начале 21 веков. К недостаткам данных алгоритмов можно отнести низкую устойчивость к различным искажениям входных данных, таких как: смена ракурса камеры, шумовые помехи, изменение размера объектов, текстуры, освещения и т.д.
В последние 10 лет им на смену алгоритмы, основанные на искусственных нейронных сетях. Сегодня при решении задач компьютерного зрения нейросетевые алгоритмы показывают лучшие результаты в сравнении со всеми другими алгоритмами.
Применение классических нейронных сетей типа многослойный Персептрон [9] не очень эффективно в работе с изображениями. Связано это с тем, что изображения имеют двумерную структуру, а также важна взаимосвязь пространственно зависимых областей объектов и их частей, которые разрушаются при подаче на вход классических нейронных сетей. Так же изображения могут иметь большой размер, что в значительной степени увеличивает размер нейронной сети и снижает её устойчивость при обучении [9].

Весь текст будет доступен после покупки

Выбор инструментов и среды разработки

В процессе выбора программных средств и среды разработки для нейронных сетей было рассмотрено несколько актуальных на сегодняшний день библиотек машинного обучения:
PyTorch – современная библиотека машинного обучения, является аналогом фреймворка Torch7 для языка Python [11]. Разработана NEC Laboratories America и New York University. Разработка данной библиотеки началась в 2012 году, а в 2017 году она стала доступной широкой публике. PyTorch содержит достаточно большой функционал и набор алгоритмов машинного обучения. В библиотеке используется динамический граф, что позволяет снизить количество вычислительных процессов и временные затраты на тестирование нейронных сетей.
Keras – открытая библиотека машинного обучения, поддерживаемая компанией Google и предназначенная для оперативной работы с глубокими нейронными сетями [12]. Библиотека является компактной, модульной и расширяемой, содержит удобный функционал для реализации и обучения нейронных сетей. Keras представляет собой более высокоуровневую надстройку библиотеки TensorFlow.
Для оценки эффективности применения библиотек использовалась сверточная нейронная сеть VGG16, которая обучалась и тестировалась на базе изображений CIFAR-10 [13]. Данная база содержит 60000 изображений десяти различных классов объектов: автомобили, корабли, самолеты, животные и т.д. Результаты тестирования библиотек показали одинаковую скорость работы и точность классификации объектов на уровне 80%. Исходя из этого, для решения поставленной задачи, был сделан выбор в пользу библиотеки Keras, как более компактной и удобной при создания глубоких нейронных сетей.


Архитектура нейронной сети

Глубокие нейронные сети содержат огромное количество параметров, что усложняет определение каких-либо строго формализованных правил при выборе архитектуры сети. Поэтому, как правило, архитектура нейронной сети и прочие параметры выбираются экспериментальным путем.
Так как задачей является семантическая сегментация, то целесообразно использовать нейронные сети класса автоэнкодеры. Данный тип нейронных сетей имеет две фазы в своей работе. Первая фаза заключается в кодировании входных данных в некоторое промежуточное состояние, как правило, размерность которого меньше исходного размера данных. Вторая фаза заключается в декодировании данных в новое состояние, размерность которого, как правило больше промежуточного и может совпадать с исходным.
При выборе архитектуры нейронной сети рассматривались следующие типы автоэнкодеров: U-Net [14], E-Net [15], SegNet [16]. Данные сети имеют классическую для автоэнкодеров архитектуру, включающую в себя фазу кодирования и последующую ей фазу декодирования входных данных. Фаза кодирования содержит несколько сверточных слоев и слоев Max pooling, функцию активации ReLU и применение пакетной нормализации. Фаза декодирования так же содержит слои свертки, функцию активации ReLU и применение пакетной нормализации, только вместо Max pooling, здесь используется обратная ей функция Unpooling, или Upsampling. Как можно заметить, в данных моделях сетей не используется полносвязный слой нейронов, что значительно сокращает число параметров сети и дает возможность обучения на небольшом количестве обучающих примеров.
Важной деталью является то, что перечисленные нейронные сети являются очень громоздкими и содержат большое количество слоев. Например, U-Net содержит 23 сверточных слоя плюс в каждом из них применяется пакетная нормализация и функция активации ReLU, 4 слоя Max pooling, 4 слоя Upsampling, в конце функция активации Softmax [17]. В сумме получается 31 слой.
SegNet содержит 26 сверточных слоя, в каждом из которых применяется пакетная нормализация и функция активации ReLU, 5 слоев Max pooling, 5 слоев Upsampling, в конце функция активации Softmax. В сумме получается 36 слоев.
E-Net содержит 17 сверточных слоев, в каждом из которых применяется пакетная нормализация и функция активации ReLU, 3 слоя Sabsampling, 3 слоя Upsampling, в конце функция активации Softmax. В сумме получается 23 слоя.
В процессе реализации и тестирования перечисленных нейронных сетей они показали примерно сопоставимые результаты в плане точности работы, на уровне 92-95%. Однако, в связи с их огромным размером они очень долго и не всегда стабильно обучаются. В связи с этим было решено разработать нейронную сеть с оригинальной архитектурой, с целью уменьшения количества слоев и как следствие улучшения качества обучения, но без потери точности работы.
В процессе исследований и вычислительных экспериментов была разработана архитектура нейронной сети, представленная на рисунке 1.

Весь текст будет доступен после покупки

1. Navjot Kaur Er. Object classification Techniques using Machine Learning Model // International Journal of Computer Trends and Technology. 2014. V. 18. No. 4. P. 170-174.
2. Xu J., Zhao L., Zhang S., Gong C., Yang J. Multi-task learning for object keypoints detection and classification // Pattern Recognition Letters. 2020. V. 130. P. 182-188.
3. Mo Y., Wu Y., Yang X., Liu F., Liao Y. Review the state-of-the-art technologies of semantic segmentation based on deep learning // Neurocomputing. 2022. V. 493. P. 626-646.
4. Park S., Yoo J.H. Realtime face recognition with SIFT based local feature points for mobile devices // The 1st International Conference of Artificial Intelligence, Modelling and Simulation (AIMS 13). Malaysia. 2013. P. 304–308.
5. Tore V., Chawan P.M. FAST Clustering based feature subset selection algorithm for high dimensional data // International Journal of Computer Science and Mobile Computing. 2016. V. 5. No. 7. P. 234–238
6. Dalal N., Triggs B. Histograms of oriented gradients for human detection // IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR). San Diego, USA. 2005. V. 1. P. 886–893.
7. Hu L., Cui J. Digital image recognition based on Fractional-order-PCA-SVM coupling algorithm // Measurement. 2019. V. 145. P. 150-159.
8. Mohey D.E. Enhancement bagofwords model for solving the challenges of sentiment analysis // International Journal of Advanced Computer Science and Applications. 2016. V. 7. No. 1. P. 244–251.
9. Rosenblatt F. The perceptron: A probabilistic model for information storage and organization in the brain // Psychological Review. 1958. V. 65. No. 6. P. 386–408.
10. Le Cun Y., Bengio Y. Convolutional networks for images, speech and time series // The handbook of brain theory and neural networks. 1998. V. 7. No. 1. P. 255–258.
11. Pytorch: An open source machine learning framework that accelerates the path from research prototyping to production deployment: https://pytorch.org (дата обращения: 07.02.23).
12. Keras: The Python Deep Learning library: https://keras.io (дата обращения: 07.02.23).
13. CIFAR: The CIFAR-10 dataset://www.cs.toronto.edu/~kriz/cifar.html (дата обращения: 07.02.23).
14. Ronneberger O., Fischer P., Brox T. U-Net: Convolutional networks for biomedical image segmentation // International Conference on Medical Image Computing and Computer-Assisted Intervention (MICCAI-2015). 2015. V. 93. P. 234–241.
15. Paszke A., Chaurasia A., Kim S., Culurciello E. ENet: A Deep Neural Network Architecture for Real-Time Semantic Segmentation // 5-th International Conference on Learning Representations. 2017. Toulon, France. 2017. P. 1–10.

Весь текст будет доступен после покупки