Электронная библиотека Веда
Цели библиотеки
Скачать бесплатно
Доставка литературы
Доставка диссертаций
Размещение литературы
Контактные данные
Я ищу:
Библиотечный каталог российских и украинских диссертаций

Вы находитесь:
Диссертационные работы России
Технические науки
Управление в социальных и экономических системах

Диссертационная работа:

Спандерашвили Дмитрий Викторович. Модели и алгоритмы организации темпорального хранилища данных : на примере телекоммуникационной компании : диссертация ... кандидата технических наук : 05.13.10.- Астрахань, 2006.- 141 с.: ил. РГБ ОД, 61 07-5/675

смотреть содержание
смотреть введение
Содержание к работе:

ВВЕДЕНИЕ 6

ГЛАВА 1. АНАЛИЗ МЕТОДОВ ОБРАБОТКИ ДАННЫХ 12

  1. Описание систем оперативной регистрации транзакций -OLTP 12

  2. Описание систем оперативной аналитической обработки - OLAP... 13

  3. Информация в телекоммуникационной компании 16

  4. Потоки информации в телекоммуникационной компании 23

  5. Сбор информации 28

  6. Вывод информации: типы отчетности 30

  7. Архитектуры хранилища данных 36

  1. Корпоративная информационная фабрика (CIF) 37

  2. Хранилище данных с архитектурой шины (BUS) 38

  3. Сравнение архитектур CIF и BUS 41

1.8 Выводы 43

ГЛАВА 2. ТЕМПОРАЛЬНО-МНОГОМЕРНОЕ ХРАНИЛИЩЕ ДАННЫХ 45

  1. Предпосылки применения многомерной модели 45

  2. Многомерная модель данных 47

  3. Агрегация 54

  4. Реализация многомерных моделей 57

  5. Изменения в измерениях 60

  1. Классические подходы к отслеживанию изменений в медленно меняющихся измерениях 60

  2. Изменения в иерархических измерениях 61

  1. Предпосылки применения темпорально-многомерного хранилища данных 63

  2. Формальное описание темпорально-многомернои модели данных 64

  3. Определение соответствий между структурными версиями 67

  4. Матрицы трансформации 69

  5. Определение коэффициента трансформации 71

  6. Трансформация хранилища данных 72

  7. Запросы в темпорально-многомернои модели данных 74

  1. Модель темпорального хранилища данных 75

  2. Выводы 80

ГЛАВА 3. РЕАЛИЗАЦИЯ ТЕМПОРАЛЬНО-МНОГОМЕРНОГО ХРАНИЛИЩА
ДАННЫХ 82

  1. Физическая реализация модели данных 82

  2. Переход от многомерного хранилища данных к темпорально-многомерному 85

  3. Алгоритмическая реализация трансформации куба данных 88

  4. Реализация ETL процессов 91

  5. Выводы 97

ГЛАВА 4. ВНЕДРЕНИЕ И АНАЛИЗ ФУНКЦИОНИРОВАНИЯ ТЕМПОРАЛЬНО-
МНОГОМЕРНОГО ХРАНИЛИЩА ДАННЫХ 98

  1. Диаграмма развертывания 98

  2. Программные средства реализации 100

  1. Реализация серверной логики 100

  2. Система управления БД 101

  3. Метод доступа к БД 103

  4. Организация клиентского доступа 103

  5. Защита информации 104

  1. Пример работы алгоритма трансформации данных с использованием матриц трансформации (с использованием тестовых данных) 105

  2. Внедрение 111

  3. Пример работы алгоритма трансформации куба данных (на реальных данных) 112

  4. Использование результатов в смежных областях 114

  5. Выводы 116

ЗАКЛЮЧЕНИЕ 117

СПИСОК ЛИТЕРАТУРЫ 120

ПРИЛОЖЕНИЕ 1. ОПИСАНИЕ СУЩЕСТВУЮЩИХ КОММЕРЧЕСКИХ
ПРОДУКТОВ OLAP И DATA WAREHOUSING 134

ПРИЛОЖЕНИЕ 2. СВИДЕТЕЛЬСТВО О РЕГИСТРАЦИИ ПРОГРАММЫ 139

ПРИЛОЖЕНИЕ 3. ПРИКАЗ О ВВОДЕ СИСТЕМЫ В ПРОМЫШЛЕННУЮ
ЭКСПЛУАТАЦИЮ 140

ПРИЛОЖЕНИЕ 4. АКТ ВНЕДРЕНИЯ 141

ОСНОВНЫЕ ОБОЗНАЧЕНИЯ И СОКРАЩЕНИЯ

  1. Data minig (Data minig) - добыча данных;

  2. DSS (Decision Support System) - система поддержки принятия решений;

  3. DW (Data Warehouse) - хранилище данных;

  4. EDW (Enterprise Data Warehouse) - корпоративное хранилище данных;

  5. ETL (Extract Transform Load) - извлечение трансформация загрузка;

  6. HTTP (HyperText Transfer Protocol) - протокол передачи гипертекста;

  7. JDBC (Java API for Database Acceess) - API языка JAVA для доступа к базам данных;

  8. MD(MultiDimensional) -многомерный;

  9. MOLAP (Multidimensional On-Line Analitical Processing) -OLAP системы построенные на базе многомерной базы данных;

  10. ODBC (Open Database Connectivity) - открытый интерфейс доступа к базам данных;

  11. OLAP (Online Analytical Processing) - оперативная аналитическая обработка;

  12. OLTP (Online Transactional Processing) - оперативная обработка транзакций;

  13. ROLAP (Relational On-Line Analitical Processing) - OLAP системы, построенные на базе многомерной базы данных;

  14. SSL (Sequre Socket Level) - уровень секртных сокетов;

  15. TDW (Temporal Data Warehouse) - темпорально хранилище данных;

  16. DBMS (Database Management System) - система управления базами данных (СУБД).

Введение к работе:

Актуальность темы

В течение последних лет в телекоммуникационных компаниях значительно увеличилась динамика внедрения принципиально новых услуг. По данным группы компаний ОАО «Связьинвест», представленным на рис. 1, отмечается устойчивое увеличение превалирования доли новых услуг по сравнению с традиционными.

Рис. 1. Динамика изменения соотношения традиционных и новых услуг связи в телекоммуникационной отрасли (по данным группы компаний "Связьинвест")

Процесс принятия решений, касающихся развития компании, должен опираться на достоверные и актуальные данные о деятельности компании. Существенное влияние на качество принимаемых решений имеет глубина анализа данных. Таким образом, основными задачами систем поддержки принятия решений (DSS, Decision Support Systems) является предоставление достоверных данных за наиболее продолжительный непрерывный временной интервал.

Высокие темпы внедрения новых технологий приводят к регулярным структурным изменениям в телекоммуникационных компаниях. Динамичность организационной структуры, а также постоянная модернизация и смена применяемых технологий создает определённые трудности при анализе эффективности функционирования телекоммуникационных компаний, т.к. в описанных условиях существенно уменьшается глубина анализа данных.

В большинстве крупных компаний для долгосрочного анализа, сбора и хранения данных в настоящее время внедряют системы OLAP(On-Line Analytical Processing) – системы оперативной аналитической обработки. OLAP системы на сегодняшний день можно отнести к числу наиболее динамично развивающихся сегментов рынка информационных технологий. Согласно исследованию, проведенному «The OLAP Report», которое было посвящено обзору рынка средств OLAP, оборот рынка аналитических приложений в 2005 году составил $4,9 млрд., рост по сравнению с 2004 годом достиг 13,7 процентов. Динамика роста оборота рынка OLAP-систем представлена на рис. 2.

Рис. 2. Динамика роста объемов рынка OLAP-систем (данные «The Olap Report»)

Фундаментом и, во многих случаях, составной частью OLAP систем, определяющим качественные возможности проведения анализа данных, является расширяемое, целостное хранилище данных (DW, Data Warehouse), способное не только аккумулировать данные продолжительное время, но и предоставлять OLAP системе возможность проводить анализ данных произвольных интервалов временной оси. Хранилище данных компании является одним из уровней иерархии систем, задействованных в принятии решений, представленной на рис. 3. Каждый уровень иерархии использует сервисы, предоставляемые всеми нижними уровнями.

Рис. 3. Иерархия систем, участвующих в принятии решений

Подавляющее большинство современных OLAP-систем использует в качестве логической модели данных n-мерный куб (гиперкуб). Данные в гиперкубе представлены в виде числовых значений (мер) и распределены по измерениям, которые определяют величины, описывающие данные.

При функционировании компании в элементах и структуре измерений многомерной модели данных происходят изменения: добавление, изменение, удаление, дробление и объединение элементов измерений; добавление и удаление измерений; изменения в иерархических связях элементов измерений – в случае иерархических измерений. Все эти изменения должны быть учтены, так как в анализ могут быть вовлечены как данные актуальные в момент до изменения в измерениях, так и данные актуальные в момент после изменения измерений. Несмотря на модификации в структуре и элементах измерений, информация о предыдущих состояниях измерения должна оставаться в системе и участвовать в анализе.

Увеличить глубину анализа возможно при наличии механизмов отслеживания изменений в многомерных структурах данных. Такие механизмы используются в темпоральном хранилище данных (TDW, Temporal Data Warehouse). Вопросы организации темпоральных хранилищ данных в настоящее время недостаточно освещены в научной литературе, особенно в части промышленного применения. В промышленных OLAP-системах проблема отслеживания изменений в структуре измерений также практически не решается, или решается на довольно примитивном уровне с использованием классических подходов к отслеживанию изменений в медленно меняющихся измерениях.

Большой вклад в формирование основ многомерного представления данных и классических подходов к отслеживанию изменений в измерениях внесли работы учёных: Б. Инмона (B. Inmon, США), Р. Кимболла (R. Kimball, США), Н. Пендса (N. Pendse, США), Т. Педерсена (T. Pedersen, США). Исследованиями в области темпоральных баз данных (TDB, Temporal Data Bases) занимались М. Бехлен (M. Bhlen, Германия), С. Дженсен (С. Jensen, США), Р. Снодграс (R. Snodgras). Работы по исследованию темпоральных хранилищ данных (TDW, Temporal Data Warehouse – темпаральное хранилище данных) и битемпоральных хранилищ данных (BTDW, Bi-Temporal Data Warehouse – би-темпоральное хранилище данных) ведутся в настоящий момент следующими учеными: Й. Эдер (J. Eder, Австрия), Х. Концилиа (Ch. Koncilia, Австрия), Т. Морзий (T. Morzy, Польша), Г. Коглер (H. Kogler, Австрия), однако единый подход к построению TDW пока отсутствует.

Отсутствие средства организации данных телекоммуникационной компании в условиях динамичных структурных и технологических изменений, недостаточная разработанность вопросов построения темпорального хранилища данных, отсутствие исследования полного цикла функционирования темпорального хранилища данных, включая процессы внедрения и реализации процесса ETL (Extract Transform Load – «извлечение-трансформация-загрузка»), позволяют сделать вывод об актуальности исследования данной темы.

Цель работы и задачи исследования

Целью диссертационного исследования является создание многомерной модели организации данных для системы поддержки принятия решений, позволяющей увеличить глубину анализа в условиях изменений в структуре измерений на основе разработки моделей и алгоритмов темпорально-многомерного хранения информации.

Для достижения поставленной цели необходимо решить следующие задачи:

  1. Исследовать вопросы консолидированного хранения информации телекоммуникационной компании для её удобного краткосрочного и долгосрочного анализа, произвести классификацию используемой информации;

  2. Исследовать технологии построения многомерных хранилищ данных, возможности классических подходов контроля изменений в измерениях многомерных структур данных, исследовать технологии построения темпоральных баз данных;

  3. Построить модель темпорального хранилища данных и схему базы данных, позволяющие реализовать принципы темпорально-многомерного хранения информации на основе реляционной СУБД.

  4. Разработать и реализовать в виде программной системы алгоритмы, обеспечивающие функционирование темпорального хранилища данных телекоммуникационной компании.

  5. Проверить достоверность предложенных моделей и алгоритмов на реальных и тестовых данных.

Методы исследования

При решении поставленных задач использовались методы: системного анализа, объектно-ориентированного анализа и проектирования, объектно-ориентированного программирования, теории баз данных, теории графов, методы построения и анализа алгоритмов.

Научная новизна

Результаты диссертационной работы характеризуются научной новизной:

  1. Дано формальное описание трансформации куба данных в темпоральном хранилище данных, позволяющее осуществлять трансформацию данных одной структурной версии в структуру другой структурной версии, способствуя увеличению глубины анализа;

  2. Разработана объектно-реляционная модель темпорального хранилища данных и структуры данных темпорального хранилища данных, позволяющие реализовать темпорально-многомерную модель данных средствами реляционной СУБД, а также осуществить программную реализацию темпорального хранилища данных;

  3. Разработаны алгоритмы, позволяющие решить практические вопросы функционирования темпорального хранилища данных: алгоритм перехода с существующих систем хранения информации на темпоральное хранилище данных; алгоритм трансформации куба данных; алгоритм трансформации данных в процессе переноса данных из оперативных регистрирующих систем с использованием матриц трансформации.

Практическая ценность работы

В результате диссертационного исследования разработаны структура, математическое и программное обеспечение системы хранения данных телекоммуникационной компании, обеспечивающие интегральное хранение многомерной информации, предоставляющие инструменты отслеживания многократных стохастических изменений в структуре измерений многомерной модели.

Применение предложенных методов и алгоритмов позволяет: сократить сроки анализа деятельности телекоммуникационной компании, за счёт применения централизованного хранилища информации; увеличить качество результатов анализа, на основе увеличения глубины анализа, за счет применения механизмов отслеживания изменений в структуре данных; обеспечить преемственность при миграции с существующей многомерной схемы хранения данных, на предложенную темпорально-многомерную, за счет применения механизма структурных версий.

Реализация и внедрение результатов работы

Результаты работы реализованы в программном продукте «Автоматизированная система сбора и обработки статистических данных телекоммуникационной компании» (свидетельство о регистрации №2006611990), которая внедрена (приказ о введении в промышленную эксплуатацию №34 от 01.02.2005) и используется в региональном филиале ОАО «ЮТК» «Связьинформ» Астраханской области (г. Астрахань).

Полученные научные результаты и практические методы реализации темпорально-многомерного хранилища данных обладают высокой степенью универсальности и могут быть использованы не только в рассмотренной области применения – построения хранилища данных региональной телекоммуникационной компании, но и в широком спектре сфер деятельности, требующих хранения и анализа информации за длительный период времени, а также в научно-исследовательской деятельности при исследовании вопросов построения хранения и анализа данных.

Апробация работы

Научные результаты и положения диссертационной работы докладывались и обсуждались на следующих конференциях: региональной научно-методической конференции «Информатика: проблемы, методология, технологии» (Воронеж, 2005), всероссийской научной конференции «Проблемы стратегии регионального развития» (Тамбов, 2006), международной научно-технической конференции «Инфокоммуникационные технологии в науке и технике» (Ставрополь, 2006), международной научно-технической конференции «Информационные технологии в науке, образовании и производстве» (Орел, 2006), всероссийской конференции «Фундаментальные исследования в технических университетах» (Санкт-Петербург, 2006).

Публикации

Основное содержание диссертации отражено в 9 публикациях.

Структура и объем работы

Диссертационная работа состоит из введения, четырех глав, заключения, списка использованной литературы из 127 наименований. Диссертационная работа изложена на 143 страницах машинописного текста, содержит 53 рисунка, 3 таблицы и 4 приложения.

Подобные работы
Курипта Оксана Валериевна
Модели и алгоритмы управления потенциалом трудовых ресурсов организации
Ефремов Максим Анатольевич
Модели и алгоритмы управления качеством в саморегулируемых строительных организациях
Кривенко Дмитрий Анатольевич
Модели и алгоритмы управления в системах документооборота : на примере дорожно-строительных организаций
Воденников Вячеслав Александрович
Стратегический менеджмент в компании на российском рынке (На примере нефтеперерабатывающих предприятий)
Кугушева Татьяна Вячеславовна
Разработка и адаптация процессно-ориентированной бизнес-модели страховой компанией
Мокров, Дмитрий Викторович
Разработка и исследование моделей и методов оперативного управления транспортно-экспедиторскими компаниями
Балакирев Дмитрий Анатольевич
Разработка методов и моделей, обеспечивающих процесс принятия налоговых управленческих решений в крупных компаниях
Селезнев Павел Владимирович
Разработка моделей прогнозирования для информационно-аналитической системы оценки рентабельности региональной транспортной компании
Мишутин Дмитрий Юрьевич
Модели и методы финансово-экономического планирования и управления вертикально-интегрированной нефтяной компанией
Антропов Александр Васильевич
Разработка моделей, алгоритмов и программных средств прогнозирования демографической ситуации в малых и средних городах (На примере города Рубцовска)

© Научная электронная библиотека «Веда», 2003-2013.
info@lib.ua-ru.net