Консалтинг и автоматизация в области управления
эффективностью банковского бизнеса

Журнал ВРМ World

Проблема консолидации аналитических данных - результаты исследование TDWI

Наверное, уже стало традицией знакомить читателя с работами международной организации TDWI The Data Warehousing Institute - Институт Хранилищ данных) и сегодня мы хотели бы анонсировать отчет "В поисках самой точной информации: походы к консолидированию аналитических данных" (In Search of a Single Version of the Truth: Strategies for Consolidating Analytic Silos), который был недавно опубликовал TDWI. Мы планируем подробно рассказать об этом исследовании TDWI в следующих номерах журнала Клуба знатоков DWH, OLAP, XML, а пока кратко остановимся на проблематике данного отчета.

Итак, в чем заключается проблема "консолидирования аналитических данных" и почему этот вопрос привлек внимание аналитиков TDWI?

Дело в том, что есть одно слово, которое очень точно характеризует нынешнее состояние, в котором находятся аналитические данные в крупных организациях - "эти данные фрагментированы". Так считают сотрудники TDWI и дают этим данным очень меткое название - "аналитические бункерами" (от англ. analytic silos). Они определяют их следующим образом - это независимые витрины данных (independent data mart), модель и правила которых не соответствуют другим витринам и Хранилищам данных. Эти витрины часто извлекают данные непосредственно и транзакционных систем, а не из Хранилища данных, и по определению являются несистематизированными.

По оценке TDWI, проблема с разрозненными аналитическими данными усугубляется тем, что такие данные имеют свойство быстро разрастаться. Причина разрастания связана с функционированием самого бизнеса - в большинстве компаний многие подразделения располагают полномочиями создавать новые операционные и аналитические системы, необходимые для работы. Данные, используемые в этих системах часто оказываются не согласованными с другими данными, а иногда дублируют информацию, хранящуюся в других системах. Свою, и существенную, роль в разрастание данных также играют различные бизнес-события - слияния и поглощения компаний, изменение организационной структуры.

Все это вызывает сильнейшее недовольство руководства компаний, поскольку они оказываются не в состоянии посмотреть данные, необходимые для оценки эффективности функционирования компаний. Кроме того, существование таких избыточных, несистематизированных аналитических структур является "дорогим удовольствием". Действительно, в случае, если развертываются физически разнесенные системы, когда оказываются задействованными разные средства хранения и аппаратное обеспечение, а также различные лицензии на использование пакетов программ и схемы передачи данных, такие системы могут повысить затраты на Хранилища данных (ХД) на 30-50%. Именно такую оценку дает часть опрошенных - менеджеры проектов по внедрению ХД. Консолидирование этих структур позволит сэкономить миллионы долларов в год и обеспечить быструю окупаемость инвестиций (т.е. гарантирует высокий показатель ROI).

По мнению авторов отчета, существует множество причин, почему организации вынуждены консолидировать аналитические данные. Однако, в большинстве случаев наиболее распространенная причина - необходимость наличия согласованных корпоративных данных. Практически все участники опроса охарактеризовали этот фактор как "очень весомый" и "весомый". Следом идут "уменьшение затрат и накладных расходов" (71% респондентов) и "Стандартизация различных информационных технологий" (50% респондентов).

Как показало исследование, несмотря на то, что снижение расходов является существенным основанием для консолидации данных, очень часто этим фактором пренебрегают в угоду другим стратегически более важным задачам. Так, по словам специалистов TDWI, всего лишь менее трети организаций анализируют, во что обходится поддержка независимых витрин или Хранилищ данных или их перенос в другую среду. Аналогично, менее трети подсчитывают коэффициент ROI для проекта по переводу аналитической структуры в новую среду (см. рис. 1).


Рис. 1. Оценка затрат и коэффициента ROI


В ходе исследования аналитики TDWI установили основные типы консолидируемых данных и наиболее популярные архитектуры консолидированной среды, а также выявили типичные подходы к решению данной задачи. Кроме того, удалось собрать информацию о том, во сколько обходится поддержка Хранилища и независимой витрин данных и во сколько - переход к новой среде, и таким образом, сколько средств можно сэкономить.

Следует отметить, что данный отчет, как большинство работ TDWI, "изобилует" статистическими данными - например, о стадиях реализации проектов по консолидации данных, о периоде окупаемости таких проектов, о наиболее часто используемых инструментах, применяемых для консолидирования данных.

Особый интерес данный документ, несомненно, будет представлять тем, кто собирается начать проект по консолидированию данных - так, в нем приводятся подробные рекомендации о том, как успешно реализовать такой проект.

В ходе исследования были опрошены эксперты в области технологий Business Intelligence и Data Warehouse; кроме того, сотрудники TDWI встречались с консультантами, аналитиками и организаторами исследования. Примечательно, что при обработке статистических данных голоса сотрудников компаний-поставщиков программного обеспечения не учитывались.

Большинство опрошенных (19%) являются руководителями проектов, либо главными архитекторами (17%). Более трети участников (38%) работают в компаниях с годовым доходом более 1 млрд. долларов, половина - в компаниях с доходом менее 1 млрд. (оставшаяся часть не располагает точной информацией о финансовых поступлениях). Большинство респондентов проживают в США и заняты в различных отраслях экономики, преимущественно в сфере консалтинга и финансовых услуг.