Методы машинного обучения для выявления аномалий в сетевом трафике

ВВЕДЕНИЕ 6
1. ОБЩИЕ АСПЕКТЫ МЕТОДОВ ОБНАРУЖЕНИЯ СЕТЕВЫХ АНОМАЛИЙ 7
2. МЕТОДЫ ОЦЕНКИ АЛГОРИТМОВ И СИСТЕМ ОБНАРУЖЕНИЯ АТАК 9
3.МЕТОДЫ МАШИННОГО ОБУЧЕНИЯ ДЛЯ ОБНАРУЖЕНИЯ АНОМАЛИЙ 11
3.1 Метрические методы классификации 11
3.2 Метод опорных векторов 12
3.3 Логистическая регрессия 14
3.4 Градиентный бустинг 15
3.5 Дерево решений 16
3.6 Случайный лес деревьев решений 17
3.7 Изоляционный лес 18
3.8 Методы кластеризации 19
4. ВЫЯВЛЕНИЕ АНОМАЛИЙ СЕТЕВОГО ТРАФИКА С ИСПОЛЬЗОВАНИЕМ МЕТОДОВ КЛАССИФИКАЦИИ 22
5. ВЫЯВЛЕНИ АНОМАЛИЙ СЕТЕВОГО ТРАФИКА С ИСПОЛЬЗОВАНИЕМ МЕТОДОВ ОДНОКЛАССОВОЙ КЛАССИФИКАЦИИ И КЛАСТЕРИЗАЦИИ 27
ЗАКЛЮЧЕНИЕ 30
ПРИЛОЖЕНИЕ 31
СПИСОК ИСПОЛЬЗОВАННОЙ ЛИТЕРАТУРЫ 38

Весь текст будет доступен после покупки

Задачи детектирования аномалий являются нетривиальной задачей, как минимум потому, что даже формулировка того, что является аномалией в данном контексте, может отличаться от случая к случаю. Для решения задачи строгими математическими методами необходимо дать формальное определение, ведь с логической точки зрения, аномалия - то что не вписывается в какую-то норму или стандарт, что были приняты для этих данных.
Каждый метод выявления аномалий требует строго определения термина "аномалия", в нашем случае его можно считать "отклонением от нормы". Зачастую представление этого термина зависит изначальной информации и поставленной задачи. Если максимально упростить, то данные можно представить в виде какого-либо набора элементов, и если очередной проверяемый элемент не входит в этот набор – его можно классифицировать как аномалию. Но такое множество, в особенности в контексте сетевого трафика, в котором размерность данных может быть очень большой, может быть очень трудно найти. Как раз для сетевого трафика, особенно, непомеченного, поиск этого множества будет труден, поэтому в таких случаях используются методы одноклассовой классификации.

Весь текст будет доступен после покупки

1. ОБЩИЕ АСПЕКТЫ МЕТОДОВ ОБНАРУЖЕНИЯ СЕТЕВЫХ АНОМАЛИЙ
Стандартные методы анализа сетевого графика, основанные на использовании сигнатур атак, не в состоянии выявить новый тип атаки, или же модификацию старого. Именно поэтому, множество исследований изучают различные методы обнаружения атак путем обнаружения аномалий в сетевом трафике, в том числе и методами машинного обучения. Отметим также, что по сравнению с использованием сигнатур атак, у машинного обучения есть несколько недостатков. К ним относятся увеличение количества ложных тревог, особенно на новых данных, и, что очень важно, увеличение расходов на вычислительную мощность и другие проблемы.
Большинство исследований в этой области касаются использования классических алгоритмов классификации, таких как линейные и метрические классификаторы, очень популярные в наше время нейросети, деревья решений и байесовы сети, для обнаружения сетевых атак. В этом случае используют традиционные методы машинного обучения, в которых сетевой трафик, зачастую, трафик отдельно взятого соединения, описывается вектором признаков, таких как сетевой протокол соединения, длительность соединения, задержка между пакетами и IP-адреса участников. Далее, ставится метка - легальный ли трафик в рамках этой сети, или же проводилась атака, формируется множество помеченных векторов(обучающая выборка), и на их основе уже обучаются алгоритмы. Но, так как метод традиционный, а новые виды атак возникают постоянно, возникают две проблемы.
Первая проблема – алгоритмы классификации строго следуют выработанному алгоритму, и, соответственно, не смогут обнаружить новую атаку. Вполне может возникнуть ситуация, в которой алгоритмы, обучившиеся выявлять атаки отказа в обслуживании, и некоторые другие известные виды атак, классифицируют новую атаку как легальный трафик, ведь они не обучаются по ходу работы.
Вторая проблема заключается в том, что на практике в различных компьютерных сетях нормальный трафик – различный. Она исходит от того, что в разных сетях может быть разная архитектура, разные используемые аппаратные средства и используемые протоколы и приложения. Исходя из этого, для обучения алгоритма в некоторой сети, не всегда получится взять некую выборку трафика из другой сети, и обучить алгоритмы на ней – необходимо собрать нормальный трафик, и трафик, являющийся атакой, или же, аномальный. Для получения аномального трафика придётся или атаковать свою сеть самостоятельно, или же с помощью некоторых программных алгоритмов генерировать наборы сетевого трафика, являющий собой аномальный.
Для решений этих проблем используются методы одноклассовой классификации. Эти методы очень хорошо справляются с непомеченным данными, так как их суть в том, что обучаются они на одном-единственном классе, и обученный алгоритм решает, принадлежит ли новый объект к этому классу или нет. Эта задача более трудоемкая, нежели многоклассовая классификация, поэтому алгоритмов для решения этой задачи, гораздо меньше и они работают ощутимо дольше. Мы же воспользуемся решением второй проблемы – будем использовать помеченные данные NSL-KDD и, следовательно, многоклассовые методы.

Весь текст будет доступен после покупки

1. Алабугин С. К. Применение методов одноклассовой классификации в задачах обнаружения вторжений / С. К. Алабугин // Безопасность информационного пространства - 2017 : XVI Всероссийская научно-практическая конференция студентов, аспирантов, молодых ученых. Екатеринбург, 12 декабря 2017 года. Екатеринбург : Изд-во Урал, ун-та. 2018. – С. 6-8.
2. Monowar, H. B., Bhattacharyya, D. K., Kalita, J. K. Network Anomaly Detection: Methods, Systems and Tools // IEEE Communications Surveys & Tutorials. - 2014. - 16(1). - P. 303-335 .
3. Kriangkrai, L. Real-Time Computer Network Anomaly Detection Using Machine Learning Techniques // Journal of Advances in Computer Networks. - 2013. - 1(1).
4. Воронцов К.В. Вычислительные методы обучения по прецедентам. [Электронный ресурс]. Режим доступа: http://www.machinelearning.ru/wiki/images/6/6d/Voron-ML-1.pdf (дата обращения: 11.12.2023)
5. Scholkopf, B., Williamson, R.C., Smola, A.J., Shawe-Taylor, J., Platt, J.C. Support Vector Method for Novelty Detection // NIPS Proceedings. - 1999. - 12. - P. 582-588 .
6. Eslamnezhad, M., Yazdian, A.V. Intrusion Detection Based on MinMax K-means Clustering, 7th International Symposium on Telecommunications. Tehran, 9-11 Sep. 2014
7. Munz, G., Li, S., Georg, C. Traffic Anomaly Detection Using K-Means Clustering. Proceedings of Leistungs Zuverlassigkeits und Verlasslichkeitsbewertung von Kommunikationsnetzen und Verteilten Systemen 4, Hamburg. Sep. 2007
8. Ranjan, R., Sahoo, G. A new clustering approach for anomaly intrusion detection // International Journal of Data Mining & Knowledge Management Process. - 2014. - 4(2).
9. Горюнов М.Н., Мацкевич А.Г., Рыболовлев Д.А. Синтез модели машинного обучения для обнаружения компьютерных атак на основе набора данных CICIDS2017. Труды ИСП РАН, том 32, вып. 5, 2020 г., стр. 81-94.
10. Логистическая регрессия // Профессиональный информационно-аналитический ресурс, посвященный машинному обучению, распознаванию образов и интеллектуальному анализу данных [Электронный ресурс]. – Режим доступа: http://www.machinelearning.ru/wiki/index.php?title=Логистическая_регрессия. – Дата доступа: 11.12.2023.

Весь текст будет доступен после покупки