Личный кабинет

Дипломная работаПрограммирование

Готовая работа №130559 от пользователя Успенская Ирина

Разработка модели данных для обработки big data в высоконагруженных информационных системах

Name: Разработка модели данных для обработки big data в высоконагруженных информационных системах
Price: 3050.00 RUB

3 050 ₽

Файл с работой можно будет скачать в личном кабинете после покупки

Страниц: 122

Год написания: 2025

Успенская Ирина

Сообщить о нарушении авторских прав

Гарантия безопасной покупки

Уникальность текста выше 50%

Возможность снять с продажи

Не подходит эта работа?

Укажите тему работы или свой e-mail, мы отправим подборку похожих работ

содержание

Введение 2
Глава 1. Теоретические аспекты модели данных в архитектуре информационной системы 6
1.1. Описание архитектуры модели данных 6
1.2. Методы моделирования информационной системы 7
1.3. Хранилище столбцов 13
1.4. Описание элементов разрабатываемой модели данных 15
1.4.1. Промежуточная область загрузки данных 15
1.4.2. Область хранения оперативных данных 16
1.4.3. Транспортная область 17
1.4.4. Настроечные таблицы 18
1.4.5. Область хранения детальных данных 19
1.4.6. Витрины данных 21
1.4.7. Система контроля качества данных 23
1.5. Сравнение зарубежных и российских ETL средств 24
1.6. Аналитические представления 30
1.7. Общие способы проектирования хранилищ данных 34
1.8. Физическое проектирование хранилищ данных 47
1.9 Выводы по 1 главе 71
Глава 2. Разработка модели данных 72
2.1. Системы хранения данных 72
2.2. Настройка механизмов ETL 74
2.3. Реализация промежуточной области загрузки данных 78
2.4. Реализация области хранения оперативных данных 86
2.5. Реализация транспортной области 91
2.6. Реализация настроечных таблиц 93
2.7. Реализация области хранения детальных данных 95
2.8 Реализация витрин данных 97
2.9. Реализация системы контроля качества данных 99
2.10. Система оповещений 105
2.10. Выводы по 2 главе 109
Глава 3. Тестирование разработанной модели данных 110
3.1. Нагрузочное тестирование 110
3.2. Тестирование стабильности 112
Выводы по 3 главе 114
Заключение 115
Список сокращений и условных обозначений 117
Список терминов 118
Список литературы 119
Приложение А 120
Приложение Б 121

Весь текст будет доступен после покупки

Показать еще текст

ВВЕДЕНИЕ

В настоящее время разработка и обслуживание большинства сервисов и приложений требуют надежной и масштабируемой инфраструктуры, способной обрабатывать большое количество одновременно поступающих запросов. Высоконагруженные системы обрабатывают большие объемы данных и тем самым создают ценность для бизнеса. Обратная сторона заключается в том, что любые сбои в работе системы и простои сервисов приводят к огромным финансовым потерям для компаний. Поэтому ИТ-инфраструктура должна в первую очередь обеспечивать бесперебойную работу высоконагруженных систем и их устойчивость к пиковым нагрузкам. Основными проблемами в высоконагруженных проектах являются большой объем данных, сложность и скорость изменений.
Ключевой элемент высоконагруженных систем — это хранилище данных, представляющее собой предметно-ориентированный, интегрированный, изменяющийся во времени набор данных для поддержки процесса принятия решений. Хранилище данных — это система, используемая для интеграции, хранения и обработки данных из часто разнородных источников данных, дающая лицам, принимающим решения, многомерное представление ситуации. Интеграция этих данных достигается с помощью трехфазного процесса: извлечение, преобразование и загрузка. Процесс охватывает извлечение данных из различных источников, их преобразование путем подготовки, очистки, фильтрации, объединения, агрегации и других действий и загрузку в хранилище.

Весь текст будет доступен после покупки

Показать еще текст

отрывок из работы

Глава 1. Теоретические аспекты модели данных в архитектуре информационной системы
1.1. Описание архитектуры модели данных
В мире обработки и анализа больших данных, разработка информационной системы часто включает в себя создание многоуровневой, или многослойной, архитектуры. Эта структура состоит из ряда взаимосвязанных элементов, каждый из которых выполняет свою уникальную функцию. Для понимания и успешного проектирования крайне важно разобраться в роли и назначении каждого из этих слоев.
У этой архитектуры есть следующие преимущества:
1. Специализация: Каждый слой модели оптимизирован для выполнения своих специфических функций и задач.
2. Изоляция ошибок: Ошибки в одном слое не распространяются на другие, что в свою очередь повышает надежность всей системы в целом.
3. Доступность для разных пользователей: Различные слои могут быть доступны для разных групп пользователей в зависимости от их квалификации и потребностей.
4. Независимость. Каждая слой модели работает без ожидания завершения работы другого слоя.
В информационных системах, слои представляют собой различные компоненты с уникальной архитектурой, такие как базы данных, системы управления базами данных или файловые системы. Эти слои часто создаются с использованием разных технологий. Обычно в хранилищах данных выделяют четыре ключевых слоев:
1. Слой для консолидации данных из различных источников (STG).
2. Хранилище для операционных данных(ODS).
3. Хранилище для детальных исторических данных(DDS).
4. Слой, содержащий широкие витрины данных(CDM).

Весь текст будет доступен после покупки

Показать еще текст

Список литературы

1. Сбор, объединение и преобразование данных с помощью Power Query. 2022. [c. 128-256].
2. Справочная документация по эксплуатации программного обеспечения informatica [Электронный ресурс]. Режим доступа: https://docs.informatica.com.
3. Клеппман М.А. Высоконагруженные приложения. Питер, 2022. [c. 350-526].
4. Амиров С.Н. Особенности разработки высоконагруженных систем // International Journal of Open Information Technologies. – 2020. – № 8. – С. 37-45.
5. Программная архитектура высоконагруженных систем [Электронный ресурс] // СЕРВЕР МОЛЛ. – 2025. – URL: https://servermall.ru/blog/programmnaya-arkhitektura-vysokonagruzhennykh-sistem/?srsltid=AfmBOoqQ4iagEWvgJv5fZdcayl6Ntgy8b-KhTLResNA3d0fjsy6OdJR3 (дата обращения: 23.03.2025).
6. Что такое ETL (извлечение, преобразование, загрузка)? [Электронный ресурс] // Amazon Web Services. – URL: https://aws.amazon.com/what-is/etl/ (дата обращения: 23.03.2025).

Весь текст будет доступен после покупки

Показать еще текст

Купить и скачать работу

Разработка модели данных для обработки big data в высоконагруженных информационных системах

Почему студенты выбирают наш сервис?

Работаем круглосуточно

24 часа в сутки

7 дней в неделю

Гарантия

Возврат средств в случае проблем с купленной готовой работой

Мы лидеры

LeWork является лидером по количеству опубликованных материалов для студентов

не подошла эта работа?

В нашей базе 78761 курсовых работ – поможем найти подходящую

Ответы на часто задаваемые вопросы

Как оплатить заказ?

Чтобы оплатить заказ на сайте, необходимо сначала пополнить баланс на этой странице - https://lework.net/addbalance

На странице пополнения баланса у вас будет возможность выбрать способ оплаты - банковская карта, электронный кошелек или другой способ.

После пополнения баланса на сайте, необходимо перейти на страницу заказа и завершить покупку, нажав соответствующую кнопку.

Если у вас возникли проблемы при пополнении баланса на сайте или остались вопросы по оплате заказа, напишите нам на support@lework.net. Мы обязательно вам поможем!

Есть ли услуга безопасной покупки, и какой срок гарантии?

Да, покупка готовой работы на сайте происходит через "безопасную сделку". Покупатель и Продавец финансово защищены от недобросовестных пользователей. Гарантийный срок составляет 7 дней со дня покупки готовой работы. В течение этого времени покупатель имеет право подать жалобу на странице готовой работы, если купленная работа не соответствует описанию на сайте. Рассмотрение жалобы занимает от 3 до 5 рабочих дней.

Что означает возможность снять с продажи готовую работу ?

У покупателя есть возможность снять готовую работу с продажи на сайте. Например, если необходимо скрыть страницу с работой от третьих лиц на определенный срок. Тариф можно выбрать на странице готовой работы после покупки.

Как вернуть средства за некачественную работу?

Гарантийный срок составляет 7 дней со дня покупки готовой работы. В течение этого времени покупатель имеет право подать жалобу на странице готовой работы, если купленная работа не соответствует описанию на сайте. Рассмотрение жалобы занимает от 3 до 5 рабочих дней. Если администрация сайта принимает решение о возврате денежных средств, то покупатель получает уведомление в личном кабинете и на электронную почту о возврате. Средства можно потратить на покупку другой готовой работы или вывести с сайта на банковскую карту. Вывод средств можно оформить в личном кабинете, заполнив соответствущую форму.

Как связаться со службой поддержки, если возникли вопросы?

Мы с радостью ответим на ваши вопросы по электронной почте support@lework.net