Исследование и разработка BI системы обработки и визуализации данных на основе статистических данных stat.gov.kz

ТЕРМИНЫ И ОПРЕДЕЛЕНИЯ 6
ПЕРЕЧЕНЬ СОКРАЩЕНИЙ И ОБОЗНАЧЕНИЙ 8
ВВЕДЕНИЕ 9
1 Теоретические основы BI-систем и обработки данных 11
1.1 Понятия BI-систем 12
1.2 Статистические данные и их использование в BI-системах 18
2 Анализ обработки систем бизнес-аналитики и выявление данных 22
2.1 Сравнительный анализ BI платформ 23
3 Разработка BI-системы и обработки данных на основе реестров данных stat.gov.kz 31
3.1 Проектирование BI-системы 31
3.2 Разработка структуры хранение данных 34
3.3 Визуализация в Power BI 48
4 Тестирование и анализ разработанной BI-системы 52
4.1 Тестирование функциональности системы 52
4.2 Анализ результатов тестирования 55
4.3 Перспективы использования BI-систем 57
ЗАКЛЮЧЕНИЕ 59
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ 61
Приложение 63

Весь текст будет доступен после покупки

В мире, где данные играют решающую роль в процессе принятия решений, значимость бизнес-аналитики (BI) возрастает с каждым днем. BI-системы преобразуют массивы данных в ценную информацию, на основе которой можно делать обоснованные выводы. Разработка BI-системы на основе данных из реестров stat.gov.kz становится актуальной в свете необходимости улучшения анализа данных в Казахстане, как в государственном, так и в частном секторе. Это особенно важно в условиях увеличивающейся потребности в эффективном управлении экономическими и социальными процессами, основанном на объективных данных и статистических показателях.
В данной диссертации исследован процесс создания и использования BI-систем для анализа данных из реестров stat.gov.kz. Основное внимание уделено методам и инструментам проектирования, разработки и внедрения BI-системы, основанной на данных из указанных реестров. Предметом исследования стали методы анализа и обработки данных о заработной плате, включая среднемесячную, медианную и модальную заработную плату по регионам и секторам экономики.
Целью данного исследования является разработка эффективной BI-системы, которая обеспечит точное и оперативное предоставление информации для принятия управленческих решений на основе данных из реестров stat.gov.kz. Для достижения поставленной цели были определены следующие задачи:
­ Провести анализ требований к BI-системе
­ Спроектировать архитектуру BI-системы, включая выбор платформы и определение схемы взаимодействия между компонентами.
­ Разработать структуру хранения данных, включая нормализацию данных и создание базы данных на MS SQL Server.
­ Реализовать процессы для извлечения, трансформации и загрузки данных из реестров stat.gov.kz.
­ Создать визуализации данных в Power BI
­ Провести тестирование системы для обеспечения её корректности и эффективности.
Исследование представляет собой значимый вклад в научную область, так как в нем разработана методология проектирования и реализации BI-системы, специально адаптированной для использования данных из государственных реестров. В работе предложены подходы к нормализации данных, созданию визуализаций, которые учитывают специфические требования и особенности данных из реестров stat.gov.kz.

Весь текст будет доступен после покупки

1 Теоретические основы BI-систем и обработки данных

На сегодняшний день в информационном обществе количество данных неуклонно растет. Это требует аккуратного управления информацией для принятия обоснованных, правильных решений. В связи с этим, инструменты и методы анализа данных становятся неотъемлемыми компонентами, которые обеспечивают эффективное использование информации для стратегического и операционного управления.
Системы бизнес-аналитики (BI) являются комплексными платформами, которые специально спроектированны для сбора, обработки, анализа и представления данных. Они объединяют несколько важных функциональных элементов, включая возможности по извлечению данных из различных источников, их преобразованию, интеграции и хранению в едином хранилище. Важной частью любой BI-системы является аналитический модуль. Данный модуль позволяет проводить анализ данных с использованием различных методов, алгоритмов и статистических подходов.
Одним из главных этапов обработки данных в BI-системах является процесс извлечения, трансформации и загрузки данных, известный как ETL. Этот процесс включает в себя извлечение данных из различных источников, их преобразование и очистку, а затем загрузку в хранилище данных, готовое к анализу. ETL является неотъемлемой частью работы с данными и обеспечивает их качество и целостность.
Анализ данных в BI-системах включает в себя применение различных методов, алгоритмов и статистических подходов для выявления скрытых закономерностей, трендов и зависимостей в данных. Методы анализа данных включают машинное обучение, статистический анализ, кластерный анализ, ассоциативные правила и другие. Использование этих методов позволяет выявить важные инсайты и понять суть данных, что способствует принятию информированных решений.
Однако простой анализ данных не всегда достаточно для полного понимания ситуации. Здесь на помощь приходит визуализация данных, которая позволяет представить информацию в наглядной и понятной форме. Визуализация данных использует графики, диаграммы, дашборды и другие визуальные элементы для отображения информации, что делает ее более доступной и понятной для пользователей. Преимущества визуального анализа данных заключаются в возможности обнаружения трендов, аномалий и взаимосвязей, которые могут быть упущены при простом анализе числовых значений.
Основные принципы визуализации данных включают выбор правильного типа графика для представления данных, использование цветов, шкал и аннотаций для передачи информации, а также создание интуитивно понятного и эффективного пользовательского интерфейса. Кроме того, визуализация данных должна быть адаптивной и интерактивной, чтобы пользователи могли исследовать данные и получать нужную информацию в режиме реального времени.


1.1 Понятия BI-систем

Термин "Business Intelligence" впервые был употреблен для описания принятия решений в бизнесе на основе фактов, то есть интеллектуального принятия решений, в статье в 1958 году [1]. В 1989 году была сформулирована расширенная трактовка понятия "Business Intelligence": это системы, обеспечивающие принятие и обоснование управленческих решений на основе сбора, моделирования, интеграции, анализа и представления данных [2].
В настоящее время понятие "Business Intelligence" можно определить с различных точек зрения:
­ процесс трансформации неструктурированных, полуструктурированных, структурированных данных в информацию для принятия решений;
­ информационные системы, обеспечивающие сбор и обработку данных;
­ знание о бизнесе, полученное на основе глубокого анализа информации, обработанной и визуализированной посредством BI-систем.
Процессы информатизации охватывают все сферы нашей жизни. Деятельность людей, коллектива, компаний, во многом определяется уровнем информированности и умением работать с полученными данными. С развитием экономических отношений, появлением новых организаций и улучшением деятельности уже существующих требуется все большая аналитическая работа с информацией. Для принятия оперативных решений в сфере экономики требуется проведение анализа данных, что способствует повышению эффективности деятельности. С ростом объема информации становится сложнее обрабатывать её без специализированных программных средств. Программное обеспечение помогает организациям преобразовывать данные в знания, необходимые для принятия решений. Для накопления данных используются хранилища, а для представления знаний — инструменты бизнес-интеллекта.

Весь текст будет доступен после покупки

1) Luhn H.P. A Business Intelligence System // IBM Journal of Research and Development (Volume: 2, Issue:4, Oct. 1958), P. 314-319
2) Потапов С. Современные информационные технологии в бизнесе: лекции // Высшая ШколаЭкономики, Москва, 2016 г, – 228 с.
3) Петров Я.А., Степанов С.Ю., Сидоренко А.Ю., Глебова К.А., Business Intelligence как современный инструмент бизнес-аналитики. // Информационные технологии и системы:управление, экономика, транспорт, право. – 2020. – № 1 (37). – С. 135-140.
4) Давыдов Ю.Н., Маркин А.Л. "Бизнес-аналитика: концепции и технологии". - Москва: Инфра-М, 2015. - 256 с.
5) Багдасарян С.А., Перова М.В. Внедрение Business Intelligence / Экономика и управление в XXI веке: тенденции развития. – 2015. – No 25. – С. 245-249.
6) Слободчикова К.В., Сажнева Л.П. Анализ и тенденции развития рынка информационно-аналитических систем BUSINESS INTELLIGENCE (BI) // Международный студенческий научный вестник. – 2019
7) В. Румянцев, А. Кузнецов. "Информационные системы в экономике". - Москва: Высшая школа, 2013. - 472 с.
8) Кимбелл Р. "Хранилища данных: проектирование и внедрение". - Москва: Вильямс, 2017. - 496 с.
9) Волощук Л.А., Пахомова Т.В., Романова И.В., Слепцова Л.А., Ткачев С.И., Монина О.Ю., Рубцова С.Н. Статистика: краткий курс лекций для студентов II курса направления подготовки 38.03.02 Менеджмент // ФГБОУ ВО Саратовский ГАУ. Саратов, 2016. – 106 c.

Весь текст будет доступен после покупки