Обеспечение мониторинга объектов информационно-коммуникационной инфраструктуры на базе платформы spunk и kubernetes архитектуры

ОБОЗНАЧЕНИЯ И СОКРАЩЕНИЯ …………………………………………. 3
ВВЕДЕНИЕ …………………………………………………………………….. 4
1 РЕКОМЕНДАЦИЯ ПО РАЗРАБОТКЕ СИСТЕМ МОНИТОРИНГА ……. 7
1.1 Определение понятия масштабируемой систем мониторинга ………….. 7
1.2 Анализ основных типов архитектур для построения современного системы мониторинга…………………………………………………………... 9
1.3 Обзор и анализ проблемы использования монолитной архитектуры в крупных веб системах. Детальное сравнение микросервисов и монолитной архитектуры …………………………………………………………………….. 12
1.4 Определение контейнеризация и преимущества ее использования. Микросервисы и контейнеризация. Контейнеры Kubernetes ……………….. 16
2 ОСНОВНЫЕ ЗАДАЧИ СИСТЕМЫ МОНИТОРИНГА …………………… 23
3 ВОЗМОЖНОСТИ SPLUNK, АРХИТЕКТУРА И МИКРОСЕРВИСНАЯ АРХИТЕКТУРА НА БАЗЕ KUBERNETES ………………………………….. 25
3.1 Основные задачи Splunk системы мониторинга …………………………. 25
3.1.1 Архитектур Splunk ……………………………………………………….. 26
3.1.2 Системные требования Splunk…………………………………………… 27
3.2 Система мониторинга на основе микросервисной архитектуре kubernetes ……………………………………………………………………….. 28
3.2.1 Что такое Kubernetes? ……………………………………………………. 28
3.2.2 Архитектура kubernetes ………………………………………………….. 29
4 СРАВНИТЕЛЬНЫЙ АНАЛИЗ ТЕХНОЛОГИЙ И ИНСТРУМЕНТОВ ДЛЯ ПОСТРОЕНИЕ СИСТЕМ МОНИТОРИНГА …………………………. 32
4.1 Сравнительный анализ Splunk и ELK ……………………………………. 32
4.2 Сравнительный анализ Splunk и Nagios ………………………………….. 34
5 УСТАНОВКА SPLUNK ДЛЯ СБОРА ЛОГОВ НА РАЗНЫХ ОС………… 37
5.1 Установка агента на ОС Windows ………………………………………… 37
5.2 Установка агента на Unix подобную систему ……………………………. 39
ЗАКЛЮЧЕНИЕ ………………………………………………………………… 43
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ ………………………….. 44
ПРИЛОЖЕНИЕ А ……………………………………………………………… 46

Весь текст будет доступен после покупки

Общая характеристика работы. Периодическое отслеживание (например, ежедневно, еженедельно, ежемесячно, ежеквартально, ежегодно) прогресса любой деятельности путем систематического сбора и анализа данных и информации называется мониторингом. Целевая аудитория/бенефициары должны быть определены наряду с тем, что вы делаете, и вне зависимости от того, реализуются ли ваши действия в соответствии с планом или нет.
Splunk, в большинстве случаев, (автоматически или с помощью аддонов) разбирает входные данные на поля и значения и в последствии обрабатывает их. Обработка происходит посредством SPL запросов (специальный язык от Splunk), с помощью которого можно строить различные выборки и таблицы, сортировать, фильтровать, агрегировать, строить отчеты, создавать вычисляемые поля, обращаться как к внутренним, так и внешним справочникам, создавать дашборды, с широким спектром визуализации и делать алерты (например, по результату выполнения запроса отправлять тикеты в Service Desk). Все это можно упаковать в свое персональное приложение.
Актуальность работы.
В настоящее время компании очень часто используют технологии в большей или меньшей степени. Во многих случаях хорошее функционирование оборудования, сетей и систем будет ключом к продолжению работы и успеху бизнеса. Другими словами, заказчику всегда предлагается непосредственно технологическая услуга (прямая или опосредованная).
В любой компании, в которой важна компьютерная инфраструктура, необходимо будет контролировать ее правильную работу, чтобы возможная ошибка не повлияла в конечном итоге на услугу, предоставляемую пользователям. Для обнаружения и предотвращения сбоев очень удобно иметь хороший инструмент мониторинга, который предоставляет вам надежную систему мониторинга. Системы мониторинга отвечают за управление технологиями, используемыми компанией (аппаратное обеспечение, сети и средства связи, операционные системы или приложения и т. д.), с целью анализа их работы и производительности. Кроме того, нам необходимо обнаруживать и предупреждать о возможных ошибках еще до того, как они произойдут.

Весь текст будет доступен после покупки

1 РЕКОМЕНДАЦИЯ ПО РАЗРАБОТКЕ СИСТЕМ МОНИТОРИНГА

1.1 Определение понятия масштабируемой систем мониторинга

Основная часть разработки системы мониторинга - это его масштабируемость. Независимо от того, какую вы систему собираетесь запустить, вы должны быть готовы к притоку нагрузки и ожидать, что система справится с этим. Необходимо принимать во внимание то, что могут быть случаи, когда ваша система недостаточно гибкая и не может выдерживать большую нагрузку. Чтобы предотвратить это, важно начать масштабирование приложений до того, как начнется этап разработки.
В данной главе речь пойдет о масштабируемом системы мониринга, которое может обрабатывать огромный поток данных без неожиданных сбоев. Начнем с определения масштабируемости веб-приложения и определим некоторые из ключевых принципов их построения [1].
Масштабируемость - это способность системы справляться с растущим числом нагрузок, одновременно взаимодействующих с приложением. Следовательно, масштабируемое система мониторинга - это приложение, которое одинаково хорошо работает с одним или тысячами серверами и выдерживает взлеты и падения трафика.
Если говорит о факторах, влияющих на масштабируемость системы монитринга, важно выделить следующее:
? Архитектура веб-приложений и правильно написанный код играют ключевую роль в создании масштабируемых систем мониторинга;
? Нагрузочное тестирование помогает найти и преодолеть слабые стороны системы, чтобы гарантировать его бесперебойную работу;
? Сторонние сервисы также должны быть тщательно отобраны, иначе они могут привести к сбою в работе.
Однако, недостаточно просто создать систему мониторинга или запустить сервер. Оба они требуют регулярного обслуживания и управления. Чтобы обеспечить обслуживание как системы мониторинга, так и сервера, мы можем использовать платформы и инструменты, которые облегчают системы мониторинга, позволяют применять обновления при необходимости и обеспечивают эффективную работу системы [2].
В построении системы необходимо учитывать основные принципы масштабируемости. Многие из существующих типов перекрываются и даже иногда конфликтуют друг с другом, но их присутствие имеет решающее значение для процесса проектирования, и они всегда должны сосуществовать в балансе. Поскольку эти типы напрямую связаны с принципами проектирования, мы разберем их подробно ниже:
Выбирайте горизонтальное масштабирование вместо вертикального. Вы можете обнаружить, что система иногда ограничена горизонтальным масштабированием, тем не менее, эти ограничения регулярно расширяют базы данных в одном направлении. Кроме того, в горизонтальном масштабирование вы можете просто добавить другой сервер, а не обновлять существующий. Это сэкономит вам немного ресурсов.

Весь текст будет доступен после покупки

1 National Institute of Standards & Technology, Information Security Continuous Monitoring for Federal Information Systems & Organizations: NIST SP 800-137, 2019, p. 45-80
2 Gerardus Blokdyk, IT Monitoring Gaps The Ultimate Step-By-Step Guide, 2018, p. 117-132
3 The Art of Service - IT Infrastructure And Business Application Monitoring Publishing, IT Infrastructure And Business Application Monitoring A Complete Guide, 2021, p. 258-276
4 N. Dragoni et al., “Microservices: yesterday, today, and tomorrow,” ArXiv160604036 Cs, Jun. 2016
5 S. Newman, Building microservices: designing fine-grained systems. " O’Reilly Media, Inc.", 2015
6 R. Chen, S. Li, and Z. Li, “From monolith to microservices: a dataflow- driven approach,” in 2017 24th Asia-Pacific Software Engineering Conference (APSEC). IEEE, 2017, pp. 466–475
7 D. Taibi, V. Lenarduzzi, and C. Pahl, “Processes, motivations, and issues for migrating to microservices architectures: An empirical investigation,” IEEE Cloud Computing, vol. 4, no. 5, pp. 22–32, 2017
8 Apter, Michael J. (1970). The Computer Simulation of Behaviour. London: Hutchinson & Co. p. 83
9 Introduction to Algorithms (Cormen, Leiserson, Rivest, and Stein) 2001, Chapter 16 "Greedy Algorithms"
10 Z. Dehghani, “How to break a Monolith into Microservices.” [Online]. Available: https://martinfowler.com/articles/break-monolith- intomicroservices.html
11 A. Bucchiarone, N. Dragoni, S. Dustdar, S. T. Larsen, and M. Mazzara, “From monolithic to microservices: an experience report from the banking domain,” Ieee Software, vol. 35, no. 3, pp. 50–55, 2018
12 S. Anees, “How to Migrate to Microservices.” [Online]. Available: https://blog.appdynamics.com/product/how-to-migrate-tomicroservices/
13 M. Mishra, S. Kunde and M. Nambiar, “Cracking the Monolith: Challenges in Data Transitioning to Cloud Native Architectures.” ECSA '18 Proceedings of the 12th European Conference on Software Architecture: Companion Proceedings, Madrid, 2018, pp. 1–4

Весь текст будет доступен после покупки