Автоматизация управления сбором и контроля BIG DATA в задачах геоакустики

ВВЕДЕНИЕ 3
1 СОВРЕМЕННЫЕ СОСТОЯНИЯ ПРОБЛЕМЫ ПОСТРОЕНИЯ БАЗЫ ХРАНЕНИЯ BIG DATA В ГЕОАКУСТИКЕ (GEO – BIG DATA) 9
1.1 Понятие Geo - Big Data и их особенности 10
1.1.2 Методы и технологии сбора и хранения 13
1.1.3 Технологии обработки и анализа 20
1.1.4. Принципы управления и контроля 24
1.1.5 Необходимость автоматизации управления сбором и контроля Geo - Big Data 26
1.1.6 Применение Big Data в задачах геоакустики 27
1.2 Анализ существующих систем Geo – Big Data 29
1.3 Выводы по главе 1 42
2 РАЗРАБОТКА МЕТОДИКИ АВТОМАТИЗАЦИИ УПРАВЛЕНИЯ СБОРОМ И КОНТРОЛЯ GEO – BIG DATA 43
2.1 Построение алгоритмов обработки и анализа 43
2.2 Разработка модели автоматизации управления и контроля 44
2.3 Средства защиты информации (данных) 51
2.4 Выбор протоколов защиты данных 53
2.5 Выводы по главе 2 54
3 ОПИСАНИЕ АРХИТЕКТУРЫ И ПРОГРАММНЫХ СРЕДСТВ ПОСТРОЕНИЯ GEO – BIG DATA 56
3.1 Требования к разрабатываемой системе 56
3.2 Проектирование архитектуры системы 57
3.2 Разработка основных компонентов системы 62
3.3 Выбор используемых технологий и инструментов 68
3.4 Выводы по главе 3 73
4 ПРОГРАММНЫЕ ОБЕСПЕЧЕНИЯ СИСТЕМЫ УПРАВЛЕНИЯ СБОРОМ, ХРАНЕНИЯ И КОНТРОЛЯ BIG DATA В ЗАДАЧАХ ГЕОАКУСТИКИ 74
4.1 Разграничение прав доступа к системе 74
4.2 Организация хранения геофизических данных и результатов их обработки 86
4.3 Интерфейсы для предоставления доступа к сторонним системам по средствам REST API 96
4.5 Защита данных в системе 100
4.6 Форматы представления геофизических данных 101
4.7 Средства графической визуализации данных и результатов 103
4.8 Перспективы развития и дальнейшие направления исследования 105
4.9 Выводы по главе 4 106
ЗАКЛЮЧЕНИЕ 107
СПИСОК ИСПОЛЬЗУЕМЫХ ИСТОЧНИКОВ 108

Весь текст будет доступен после покупки

Большое число областей применения геоинформационных систем (ГИС) предполагает непрерывное накопление данных. Необходимость фиксировать состояние наблюдаемого объекта или явления порождает интенсивный поток разнородных по природе данных на продолжительных интервалах времени. Срок хранения полученных сведений во многих случаях не ограничен и сдерживается исключительно техническими возможностями архивирования информации. Базы данных ГИС по этой причине соответствуют современным представлениям о больших данных (Big Data), поскольку имеют значительный объем, который непрерывно растет, разнородны по форматам представления и обладают ценностью, определяющейся достоверным отображением объектов, явлений и событий реального мира [30].
Автоматизация управления сбором и контроля больших данных (Big Data) в задачах геоакустики позволит ускорить процесс обработки и анализа огромных объемов информации, полученной с помощью различных геоакустических приборов. Такие системы позволят исследователям быстрее обрабатывать данные, выявлять закономерности и предсказывать различные явления, что в свою очередь способствует развитию науки и практическому применению результатов исследований.

Весь текст будет доступен после покупки

1 СОВРЕМЕННЫЕ СОСТОЯНИЯ ПРОБЛЕМЫ ПОСТРОЕНИЯ БАЗЫ ХРАНЕНИЯ BIG DATA В ГЕОАКУСТИКЕ (GEO – BIG DATA)
Современное развитие информационных технологий и возрастание объемов данных, генерируемых в различных отраслях промышленности, включая геоакустические исследования, требует эффективных методов обработки, управления и хранения больших объемов данных, известных как Big Data. При этом использование Big Data в геоакустике предоставляет новые возможности для анализа и интерпретации геологических данных, что в свою очередь способствует повышению эффективности.
Для успешной реализации проектов по геоакустическим исследованиям необходимо разработать системы автоматизации управления сбором и контроля базы хранения Big Data, обеспечивающие высокую точность анализа данных, их быструю обработку и надежное хранение.
Для того чтобы разработать такие системы необходимо применять современные методы и технологии, такие как облачные вычисления, распределенные системы хранения данных, технологии SQL и многие другие. Также важным аспектом является разработка интерфейсов и инструментов для визуализации и анализа данных, что позволит исследователям и инженерам получать более полное представление о геофизических процессах.
В данной главе будут рассмотрены основные теоретические аспекты автоматизации управления сбором и контроля базы хранения Big Data в геоакустике.

1.1 Понятие Geo - Big Data и их особенности
Geo-Big Data — это крупные объемы данных, которые содержат геофизическую информацию или данные о местоположении. Эти данные могут быть собраны с помощью геоинформационных систем, специальных устройств и других источников. Они могут включать в себя информацию о транспортных потоках, климатических условиях, экологии, геопространственном моделировании и других аспектах.
Несмотря на частоту, с которой данный термин употребляется в обсуждениях современных компьютерных технологий, у него отсутствует единое общепризнанное определение. Большинство используемых определений термина большие данные можно отнести к одному из трех основных классов [4].
Атрибутивные определения. Данный класс определений берет свое начало от 4Vs – определения, предложенного в 2011 г. работниками International Data Corporation (IDC), одного из пионеров и лидеров в области исследований больших данных и их влияния на современные компьютерные технологии.
Чтобы являться большими данным по атрибутивному определению, данные должны обладать четырьмя ключевыми свойствами:
Объем
(Volume) – Большие данные есть генерируемые или хранимые данные таких объемов, с которыми стандартное ПО не может справиться за удовлетворительное время. Объем является основным критерием, в соответствие с которым те или иные данные относят к большим данным.
Разнообразие
(Variety) – Большие данные есть данные со значительным разнообразием в своих источниках и своей природе.
Скорость накопления
(Velocity) – Большие данные есть такие данные, объемы которых растут с чрезвычайно-большими скоростями.

Весь текст будет доступен после покупки

1 A foreign function library for Python// Python Documentation URL: https://docs.python.org/2/library/ctypes.html, (дата обращения: 2023).
2 A.Crow, S. Aerni, H. Farinas, R. Radhakrishnan, G. Muralidhar, Data Science How To: Massively Parallel, In-Database Image Processing URL: //https://blog.pivotal.io/big-data-pivotal/features/ data-science-how-to-massively-parallel-in-database-image-processing-part-1(дата обращения: 28.04.2023)
3 Baca M. Introduction to Metadata. - 2016. ISBN-10: 1606064797 https://www.amazon.com/Introduction-Metadata-Third-Murtha-Baca/dp/1606064797/
4 Big Data: аналитика и решения. // URL: http://statsoft.ru/products/Enterprise/big-data.php (дата обращения 17.09.2022).
5 C. Modi, Flat Datacenter Storage URL: //http://www.ece.eng.wayne.edu/~sjiang/ECE7650-winter-15/topic4B-S.pdf (дата обращения:11.04.2022)
6 C. Yang, C. Yen, C. Tan, S. R. Madden, Osprey: Implementing MapReduce-Style Fault Tolerance in a Shared-Nothing Distributed Database URL: http://db.csail.mit.edu/pubs/OspreyDB.pdf (дата обращения: 15.04.2022)
7 D. Laney 3D Data Management: Controlling Data Volume, Velocity, and Variety //META Group Inc. File 949. 2001.
8 Data is the new oil in the digital economy. https://www.wired.com/insights/2014/07/data-new-oil-digital-economy/
9 Davy Cielen, Arno D. B. Meysman, and Mohamed Ali. Introducing Data Science. Big data, machine learning, and more, using Python tools https://www.manning.com/books/introducing-data-science

Весь текст будет доступен после покупки