Консолидация данных: сила в единстве!

Потребность в консолидации витрин и хранилищ данных стала устойчивой
тенденцией, отмечают эксперты. Такие проекты позволяют получить большую отдачу
от инвестиций в IT.

Фрагментарность и разрозненность данных — актуальная проблема для многих компаний. Сделать информацию более доступной для сотрудников компании, а также для клиентов, партнеров — стратегически важная задача. По результатам одного из недавних исследований, половина опрошенных менеджеров жаловались на то, что не имеют информации, которая им нужна для выполнения работы, а 60% руководителей признали, что им необходима возможность быстро получать необходимую информацию. То есть все больше компаний осознают важность и ценность предоставления цельных и интегрированных данных тем, кто в них нуждается. Однако решают эту задачу все по-разному.

Устойчивая тенденция

Основываясь на результатах различных исследований, сегодня можно со всей очевидностью заявить, что потребность в консолидации разрозненных хранилищ и витрин данных стала ведущей тенденцией среди организаций, желающих обновить свои возможности BI. Так, согласно исследованию Cutter Consortium, около 26% организаций уже провели или находятся в процессе консолидации своих хранилищ и витрин данных.

Консолидация — это архитектура

Уильям Мак-Найт (William McKnight), известный эксперт по информационной архитектуре корпораций, считает, что консолидация — это синоним архитектуры в настоящее время. Несмотря на десятилетия, потраченные на проекты по консолидации и использование хранилищ данных, фрагментированная информация по-прежнему доставляет массу проблем организациям. Решение проблемы Мак-Найт видит в консолидации, которая позволит сократить затраты. Во-первых, можно сэкономить значительные средства за счет уменьшения количества лишних аппаратных устройств, ПО и затрат на персонал. Во-вторых, за счет построения целостного представления о клиенте: многочисленные источниками данных о клиентах (если только они не используют MDM) редко дают целостную картину о клиентах. Консолидация, по мнению эксперта, позволяет не только покончить с чрезмерными затратами, но и позволяет организациям прийти к общему видению, что может ускорить процессы взаимодействия.

Управление мастер-данными (MDM) – это форма консолидации, по мнению Мак-Найта. MDM предоставляет данные различным системам, освобождая их от необходимости создавать эти данные самостоятельно, что может в будущем привести к разным проблемам. Однако, MDM обычно не ведет к снижению затрат с точки зрения инфраструктуры из-за низкого объема (хотя и высокого качества) информации, которой оно управляет.

В смысле сокращения затрат более эффективны хранилища данных. Однако, как считает Мак-Найт, построение хранилища данных – это продолжительный проект и поэтому даже при хорошей финансовой и управленческой поддержке неизбежно появляются независимые витрины данных.

Независимо от того, что является объектом консолидации — витрины или хранилища данных, или их комбинация — все начинается с видения архитектуры, говорит эксперт. Затем это видение претворяется в план с обозначенными сроками и ежеквартальными показателями. В то время как консолидация сама по себе может рассматриваться как проект, она редко становится объектом финансирования. Напротив, средства выделяются на различные бизнес-задачи, в то время как усилия по консолидации, которые окупаются в течение длительного периода, редко получают независимое финансирование до тех пор, пока избыточность данных не приведет к бюджетному кризису или упущению важной деловой возможности.

По мнению Мак-Найта, необходимо понимать это и вкладывать средства именно в консолидацию, которая создает долгосрочную прибыль и закладывает фундамент для будущих успехов. Проекты по консолидации требуют видения, и ни один из них не должен предприниматься без согласования с бизнес-подразделениями компании, предупреждает эксперт.

Один из возможных подходов заключается в смене платформы, но это еще не консолидация, говорит Мак-Найт. Консолидация предполагает объединение разрозненных систем. Однако, меры по смене платформы могут превратиться в проект по консолидации в будущем, когда компания, довольная новой платформой, решит извлечь преимущества из ее новых функциональных возможностей, а именно масштабируемости.

Другой тип проектов, которые представляют собой консолидацию только на уровне BI, но не на уровне данных, это виртуальная форма консолидации, которая позволяет делать интегрированные запросы системам. Это менее затратные проекты и обычно они лишь прикрывают реальные проблемы — разрозненные данные, разрозненные модели данных и не масштабируемые платформы данных.

Что же касается собственно консолидации, то Мак-Найт выделяет два подхода.

Первый часто является результатом перехода на новую платформу и заключается в переносе множества баз данных на одну платформу. Эта платформа уже может применяться в компании и до консолидации, а может быть новой.

Второй подход заключается в смене архитектуры. Смена архитектуры — это процесс слияния схем баз данных и следовательно это основной подход к сбору данных. Она может включать выбор лучших компонентов из разных моделей и/или может начинаться с нуля, с построения новой модели.

По словам Мак-Найта, можно выделить несколько методологий, которые проявляются в успешной консолидации. Успешные усилия по консолидации приводят к снижению расходов, повышению внутренней и системной эффективности.

В условиях отсутствия хорошего хранилища данных, может быть построено новое, которое будет включать функциональность и данные существующих неинтегрированных витрин данных. Нередко в этом случае учетные системы использовались не по назначению: для проведения анализа и выпуска отчетности. Фрагменты существующих моделей могут быть использованы для хранилища данных, но чаще необходимо построение новой модели данных.

Независимо от того, является ли хранилище данных новой или существующей платформой, и независимо от того, консолидируется ли 2 крупных хранилища данных или 50 небольших витрин, для успеха, по словам эксперта, необходимы следующие составляющие.

• Минимизация потери данных для пользователей и влияния операционных систем.
• Масштабируемость платформы и возможность ее расширенного использования.
• Способность противостоять сопротивлению сотрудников.
• Поддержка руководства.
• Решение реальных, измеряемых проблем.
• Лишение витрины данных, появившихся до консолидации, внимания и ресурсов.
• Достаточное время для смены архитектуры и ясная модель данных.

Концентраторы - новое слово на рынке хранилищ данных

Организации также создают множество операционных хранилищ данных, которые похожи на витрины данных в том, что они объединяют специфические данные из разных источников, но отличаются от витрин в том, что всегда хранят более «свежие» версии данных. В то время как витрины данных и операционные базы данных (ODS) полезны для отдельных групп пользователей и областей, на уровне организации в целом они могут стать источником неполной или даже конфликтующей информации. Это происходит потому, что они не связаны между собой, собирают и обрабатывают информацию из множества источников, которые могут определять данные по-разному и обновляться в разные промежутки времени. Кроме того, эти витрины данных основываются на разных системах и ПО, что требует больших усилий от IT по поддержке и увеличивает затраты.

Например, согласно результатам исследования Teradata, 59% компаний поддерживают до 30 витрин данных, а некоторые имеют 100 и более витрин. Между тем, по подсчетам специалистов, поддержка одной витрины данных обходится в 1,5-2 млн. долл. ежегодно. И от 35% до 70% этих затрат — избыточны.

Консолидация витрин данных и ODS в единое хранилище данных значительно снижает затраты - на сотни тысяч долларов в расчете на одну витрину данных — за счет избавления от лишних аппаратных устройств, ПО, инструментов, процессов и персонала. Если возникает необходимость в дополнительной информации и приложениях, централизованное хранилище данных может предоставить более быстрое и эффективное решение, нежели создание еще одной витрины данных, поскольку эти новые приложения могут использовать те данные, которые уже находятся в хранилище данных.

Другое преимущество консолидации витрин данных в том, что организация может лучше решать вопросы безопасности и отчетности. Имея все важные данные в одном хранилище, а не в разных местах и на разных платформах, можно легче обеспечить их безопасность.

И, пожалуй, самое значительное преимущество консолидации витрин данных — это достижение единого представления данных, что приводит к большей точности информации и позволяет принимать более удачные управленческие решения.

Примечательно, что объемы данных растут с такой скоростью и также быстро появляются новые типы данных, что концепция традиционного корпоративного хранилища данных (EDW), по мнению некоторых специалистов, тоже нуждается в пересмотре. Они говорят, что обычные EDW сегодня слишком сложны, их трудно внедрять, и они требуют больших усилий по настройке и поддержке.

Новая тенденция на рынке — это внедрение концентраторов данных предприятия (enterprise data hub). Этот процесс включает консолидацию IT-инфраструктуры и уменьшение числа витрин данных, а также позволяет упростить аналитику и включает управление данными и управление жизненным циклом данных. В результате появляется более гибкий и менее затратный способ предоставления информация лучшего качества.

Заключение

В настоящее время на рынке присутствуют различные способы и подходы к решению проблемы фрагментарности и больших объемов данных. В основе этих подходов лежит консолидация данных. Как именно она будет происходить, зависит от решения руководства компании и ее специфики, но важно понимать, как отмечают эксперты, что самый быстрый и экономный путь — не всегда самый правильный.

Публикации

1. Уильям Мак-Найт. Консолидация хранилища и витрин данных на единой платформе (William McKnight. Data Warehouse and Mart Consolidation to a Single Platform). 2 ноября 2010 г.
2. Алан Рэддинг. Преобразуйте свое старое хранилище данных в динамический концентратор данных (Alan Radding. Convert Your Old Data Warehouse into a Dynamic Data Hub). 30 июня, 2011 г.
3. Консолидация витрин данных и стандартизация BI: извлечение максимальной ценности из информации (Data Mart Consolidation and Business Intelligence Standardization: Getting the Most Value Out of Information). 2011 г.
4. Курт Холл. Тренды в консолидации корпоративных хранилищ данных (Curt Hall. Trends in Corporate Data Warehouse Consolidation). 2010 г.

Автор: По материалам зарубежных сайтов