Построение модели данных многомерной информационной системы с использованием методов классификации

Введение 4
1 Глава. Методы построения многомерного анализа данных 10
1.1 Принципы OLAP 10
1.2 Информационная модель OLAP 15
1.2.1 Показатели 15
1.2.2 Измерения 16
1.2.3 Факты 23
1.2.4 Агрегация 24
1.2.5 Многомерный куб 25
1.2.6 Операции OLAP 28
1.3 Частичное заключение 33
Глава 2. Технологии разработки OLAP систем (MOLAP, ROLAP, HOLAP) 35
2.1 Типы оперативной аналитической обработки данных 35
2.1.1 МОЛАР 35
2.1.2 ROLAP 36
2.1.3 HOLAP 37
2.2 Архитектура информационных систем, спроектированных на принципах OLAP 39
2.3 Описание структуры многомерного куба в случае разреженности данных фактов 41
2.4 Частичное заключение 43
Глава 3. Способы классификации данных 45
3.1 Постановка задачи 45
3.2 Кластерной метод для описания структуры многомерного куба данных 46
3.3 Использование классификационных схем для моделирования разреженных многомерных кубов данных 50
3.3.1 Построение классификационной схемы для фрагмента предметной области 50
3.3.2 Сшивание классификационных схем 63
3.4 Частичное заключение 65
Заключение 66
Список литературы 68

Весь текст будет доступен после покупки

В последнее время исследования в области анализа и представления многомерных данных становятся одним из приоритетных направлений в развитии методов проектирования информационных систем и анализа информации. Это связано с лавинообразным ростом объема информации, который наблюдается с конца прошлого века, и необходимостью ее обработки для принятия различных управленческих решений. В настоящее время одним из наиболее перспективных способов решения такой задачи является использование технологий оперативного анализа многомерных данных.
Концепция операционного многомерного анализа данных (OLAP) впервые была предложена Эдгаром Коддом в 1993 г. [48]. На основе требований, установленных Коддом в 1995 году, был сформулирован тест под названием FASMI (Fast Analysis of Shared Multidimensional Information-быстрый анализ разделяемой многомерной информации) [92], определяющий требования к приложениям для анализа многомерных данных. Такие приложения позволяют осуществлять управление данными, управление и анализ с целью глубокого понимания информации за счет быстрого, концентрированного, интерактивного доступа к широкому спектру различных аспектов информации, полученной путем преобразования исходных, необработанных данных, отражающих реальную многомерность. предметной области, представленной с позиции пользователя. Функционал таких приложений характеризуется динамическим многомерным анализом данных, собираемых в процессе поддержки аналитической и управленческой деятельности конечных пользователей [89].

Весь текст будет доступен после покупки

1.1 Принципы OLAP

С развитием технологий и постоянными инновациями в области технических наук и бизнес-аналитики термин «технология OLAP» стал обозначать не только многомерное представление данных конечным пользователем, но и многомерное представление данных в целевой базе данных.
OLAP-кубы являются производной от OLAP-сервиса и позволяют анализировать данные любой сложности на любых временных интервалах (соответствующих измерениях). OLAP-сервис, в свою очередь, представляет собой инструмент, позволяющий анализировать большие объемы данных в режиме реального времени. Взаимодействуя с такой системой, пользователь получает множество возможностей для работы с данными: гибкий просмотр информации, получение срезов данных, их детализация, свертка, распределение, сравнение и аналитические операции. Работа с такой системой обычно ведется в определенной предметной области и ориентирована на конкретного пользователя - профессионала в области управления. Таким образом, OLAP (онлайн-аналитическая обработка) представляет собой набор концепций, принципов и требований, лежащих в основе программных продуктов, обеспечивающих аналитикам доступ к данным.
OLAP предоставляет удобные и быстродействующие средства доступа, просмотра и анализа корпоративной информации. Пользователь получает наглядную и понятную модель данных многомерных кубов, организованных в виде OLAP куба. Оси в многомерной системе координат являются атрибутами анализируемого бизнес-процесса. Как правило, время всегда является одним из измерений, другие данные в свою очередь называются измерениями и количественно описывают рассматриваемый процесс.
В зависимости от анализируемой задачи куб может иметь разную размерность (двух-, трех- и многомерную). Каждое измерение куба и гиперкуба в зависимости от поставленной задачи и размера куба может быть комплексной — простой или иерархической с установленными отношениями между ними.
Взаимодействуя с OLAP-кубами, пользователь может выполнять над кубом различные действия в процессе анализа и решения конкретной задачи: срез, вращение, консолидация и детализация. Срез данных происходит, когда куб «нарезается» поверх вложенных кубов для визуализации данных, хранящихся в кубе, часто преобразуя данные в табличные представления. Операция вращения позволяет изменить расположение измерений, отображаемых на рассматриваемой странице, а также выйти за пределы табличных и табличных измерений, заменяя друг друга. Консолидация и детализация являются противоположными операциями - консолидация относится к операции перехода от подробного представления данных к агрегированному; детализация, в свою очередь, есть операция перехода от общего представления данных к индивидуальному представлению.
Конечной целью создания кубов OLAP и взаимодействия с ними является сокращение времени обработки запросов, позволяющее получать необходимую информацию из имеющихся данных. Для выполнения определенной задачи кубы обычно содержат предварительно вычисленный набор агрегированных данных, называемых агрегациями. Это означает, что куб покрывает пространство данных, превышающее реальное пространство, — он содержит логические вычисляемые точки. Вычисление значений точек в логическом пространстве на основе фактических значений позволяет функция агрегации.
В 1993 году Эдгар Кодд [68] впервые определил и использовал термин OLAP в своей опубликованной статье. Хотя попытки создания реляционных моделей представления данных предпринимались с 60-х годов, дату публикации статьи Кодда принято считать датой внедрения технологии OLAP —оперативного анализа данных на основе многомерного представления. Главной особенностью OLAP является многомерность точного представления данных и делает механизм выбора необходимых данных доступным и интуитивно понятным для аналитика, а также позволяет говорить о возможности выполнения специальных запросов и оперативного анализа скорости получения данных [66, 79,84-85].
Как было сказано выше, термин OLAP (On-line Analytical Processing — оперативный анализ данных) впервые был опубликован в 1993 году в статье, опубликованной Эдгаром Коддом и его партнерами при поддержке компании Arbor Software (ныне Hyperion Solutions). В статье предложено 12 правил, которым удовлетворяет программный продукт класса OLAP. Поскольку эти правила, по сути, являются определением OLAP, позже оно было переработано Найджелом Пендсом, автором журнала OLAP Report ('httt)://www.olapreport.com\, после того, как оно оказалось очень трудным для понимания. В тесте FASMI (Fast Analysis of Shared Multidiversity Information — Быстрый Анализ Разделяемой Многомерной Информации) упоминался набор из 5 правил. Это определение было сформулировано в начале 1995 года и с тех пор не нуждалось в пересмотре. Дадим подробное пояснение формулировке теста FASMI с комментариями автора.
«FAST (Быстрый) означает, что система должна гарантировать, что большинство ответов пользователей будут возвращены в течение примерно пяти секунд. Самые простые запросы обрабатываются в течение секунды, и очень немногие из них занимают более 20 секунд. Недавнее исследование в Нидерландах показало, что конечные пользователи считают процесс неудачным, если через 30 секунд не было получено никаких результатов. Если система не предупреждает, что обработка данных займет много времени, то пользователь может нажать клавиши «Alt+Ctrl+Del». Даже если система предупредит, что процесс будет значительно дольше, пользователи будут отвлекаться, а качество анализа будет ухудшаться. Такую скорость непросто достичь при больших объемах данных, особенно в случаях, когда требуются специальные оперативные расчеты.

Весь текст будет доступен после покупки

1. Архипенков С. Аналитические системы на базе Oracle Express OLAP. - М.:Диалог-МИФИ, 2000. - 287 с.
2. Асламов Е.Б., Висков А.В., Фомин М.Б. Свойства аналитических измерений // 42-я Всероссийская конф. по проблемам математики, информатики, физики и химии: Тезисы докладов. Секции математики и информатики. - М.: Изд-во РУДН, 2006. - С. 30.
3. Бадмаева К. В. Методика адаптивного управления процессов проектирования и развития специализированных хранилищ данных: Автореф. дис. канд. техн. наук. - Красноярск: ИВМ СО РАН, 2009. - 23 с.
4. Барсегян А.А., Куприянов М.С., Степаненко В.В., Холод И.И. Методы и модели анализа данных: OLAP и Data Mining. - СПб.: БХВ-Петрбург, 2004. - 336 с.
5. Вдовичев Н.М. Математическая модель хранилища в проектировании систем поддержки принятия решений // Труды XI Междунар. науч.-практ. конф. «Системный анализ в проектировании и управлении». - СПб., 2007. - С. 187-191.
6. Вдовичев Николай Михайлович. Математическое и информационное обеспечение автоматизации принятия решений в социальной защите: Дис. ... канд. техн. наук: 05.13.18. Казань. 2008. - 151 с.
7. Висков А.В. Некоторые свойства измерений аналитического пространства // Информационные процессы. - 2006. - Т. 6, № 3. - С. 264-271. 8. Висков А.В. Об одном из методов разработки концептуальной объектно-ориентированной многомерной метамодели информационно-аналитической системы // Вестник РУДН. Серия "Математика. Информатика. Физика". - М.: Изд-во РУДН, 2008. - № 4. - С. 42-49.
9. Висков А.В., Фомин М.Б. Средства описания многомерных моделей данных // Вестник РУДН. Серия прикладная и компьютерная математика. - М.: Изд-во РУДН, 2003. - Т. 2, № 1. - С. 128-139.

Весь текст будет доступен после покупки