Консалтинг и автоматизация в области управления
эффективностью банковского бизнеса

Журнал ВРМ World

Хранилища данных. Развитие технологии, мнение пользователей

Недавно компания IBM провела опрос пользователей Хранилищ данных с целью выявить главные тенденции в области применения DW-технологии, независимо от используемой платформы Рассмотрим основные результаты этого исследования.

Развитие продолжается

56% участников используют Хранилище более шести лет. Только 19% применяют эту технологию менее трех лет. Хранилища — это зрелый подход и является основой поэтапного продвижения в области управления данными (data governance,DG) для множества различных фундаментальных бизнес-приложений. Развитие всего рынка обеспечивается за счет исследований и инноваций.

 В том числе таких как:

  • использование XML для неструктурированных данных,
  • разработка сложных приложений в области data mining;
  • «консультантов по проектированию» (design advisors), упрощающих работу администратора;
  • динамических Хранилищ, расширяющих горизонты применения business intelligence.

 С учетом вышесказанного клиенты должны разрабатывать Хранилища на долгосрочную перспективу, а не как разовое мероприятие в череде IT-проектов компании. То же самое можно сказать и по поводу внедрения устройств для ХД или сложных витрин данных.

Успех внедрения возрастает

Значительное количество респондентов (а точнее, более половины) утверждает, что удовлетворено работой Хранилища в контексте достижения целей, чего нельзя было сказать в 90-е годы, когда большинство Хранилищ не удовлетворяло даже минимальному набору требований. Сегодня проекты выполняются и функционируют так, как этого ожидают клиенты.

Это, конечно, не значит, что проблем не осталось. Организации, где уровень зрелости Хранилища еще достаточно низок, не справляются с выполнением соглашений об уровне сервиса, со своевременной сдачей работ и с удовлетворением клиентских требований. Но, тем не менее, ни один из участников опроса не отметил, что DW-технология потерпела в его организации крах или была «положена на полку».
Хотя неудивительно и то, что 43% респондентов заявили о широких перспективах усовершенствования технологии.

Один факт стоит тысячи мнений, если речь идет о принятии решений, а Хранилище данных как раз и обеспечивает факты.
73% опрошенных отмечают, что ХД полезно в принятии решений и выборе направления бизнес-операций. Хранилища обеспечивают прозрачность тенденций (66%), которые требуют постоянного отслеживания, а также обеспечивают цельное представление бизнеса — знаменитый «единственный источник истины» (single source of the truth). Около 56% респондентов отмечают, что Хранилище приносит ощутимую и количественно оцениваемую пользу для бизнеса.

Уровень обслуживания, эффективность и доступность Хранилищ оценивает положительно 51% участников. Практически 49% опрошенных считает, что ХД удовлетворяет многим бизнес-требованиям. Как правило DW-технологии дают широкие возможности сотрудничества и повышают качество работы персонала в целом, это отметили 32% респондентов.

В противовес перечисленным выше положительным результатам только 17% респондентов отмечают наличие отлаженного процесса администрирования данных. А значит, на пути достижения зрелости хранилища предстоит сделать еще ряд значительных шагов. В свети последнего факта, оценка бизнес-ценности Хранилища, о которой упоминают 56 %, вызывает некоторые сомнения. По крайней мере, ясно, что 41% из них не считает эту задачу приоритетной. Это довольно существенный факт, особенно с учетом значительности инвестиций, необходимых для построения и функционирования самой DW-среды. Следовательно, у компаний впереди еще очень широкое поле для деятельности, требующей большего профессионализма и ответственности.

Недостатки

Рассмотрим основные проблемы, с которыми продолжают сталкиваться компании.

Основным источником неудовлетворенности Хранилищами (51%) является недостаток данных. Результат удивительный, на первый взгляд просто странный. Оказывается, некоторые типы данных, особенно клиентские и данные о продуктах, недостаточны, и причин тому масса. Отмечается также (41%) недостаток и неадекватность нормативно-справочной информации (MDM, master data management). Далее обнаружилось, что многие организации не используют свою информацию столь эффективно, как могли бы (в плане прямого влияния на бизнес).
24% участников заявили, что Хранилище удовлетворяет не всем бизнес-требованиям. В ряде случае отмечается невысокое соотношение цены/эффективности DW-проекта, чрезмерное количество разрозненных приложений, а также несогласованные результаты.

Недостаток нормативно-справочной информации, говорит о том, что это одна из главных областей дальнейшей работы поставщиков. Ведь именно Хранилища были одними из первых систем, где была сформулирована концепция структуры и внедрения нормативно-справочных данных для поддержки принятия решений. А значит, поставщикам MDM необходимо будет обеспечивать поддержку нормативных данных как для BI, так и для транзакционных систем.

Тем временем, Хранилища продолжают влиять на другие системы: так, например, back-end ХД потребует от «предшествующей» OLTP-системы надлежащей подготовки MDM для поддержки принятия стратегических решений.

Возможности Хранилищ ограничены только изобретательностью пользователей

Хранилище обеспечивает инфраструктуру и поддержку широкого круга DS- (decision support, поддержка принятия решений) и BI-приложений. Набор бизнес-процессов, для которых Хранилище играет роль движущей силы, очень широк: начиная с фронт-офиса (клиентских и маркетинговых систем), и заканчивая бэк-офисами (сдерживание затрат, оптимизация ценообразования и множество других). Сложные приложения в области обнаружения мошенничества, планирования спроса и оптимизации цен, становятся все более распространенными и дают толчок к внедрению второго и третьего поколения ХД-систем. Компании, занимающиеся торговлей, чаще всего стремятся приобрести инструменты планирования спроса, оптимизации складских запасов и цепи поставок.

Все чаще на основе Хранилищ разрабатываются средства для решения задач соответствия нормативным требованиям (compliance), для управления кредитными и операционными рисками, а также для управления данными о клиентах. Кроме того, ХД не менее популярны в сфере здравоохранения, управления сетями, управления розничными точками, управления качеством и во множестве других областей.

Очевидно, этот список можно продолжать до бесконечности, а, следовательно, горизонты применения ХД ограничиваются только потребностями и возможностями самого бизнеса.

Лидируют в списке финансовые приложения (66% компаний отмечают использование ХД). Организациям необходимо знать, какова их финансовая ситуация, добиваются ли они нужных показателей, каков поток денежных средств и т.п.

Другие задачи, решаемые ХД, включают:

  • маркетинг и продажи;
  • CRM;
  • анализ тенденций и множество других.

 Один из фундаментальных вопросов, который призвано решить Хранилище:

  • какие клиенты покупают или используют продукт (услугу),
  • по какому каналу
  • в течение какого периода?

Взаимозависимость клиента и продукта — это базис, на котором держится доход, отражаемый в балансе компании. Если рассматривать эту информацию в контексте клиента, то мы получаем CRM-приложение (например, для обслуживания клиентов, перекрестных продаж, сокращение потерь клиентов, обнаружения и сокращения мошенничества). Если рассматривать информацию в контексте продукта, то тут сразу всплывают такие сферы, как планирование спроса, оптимизации доходов, анализ потребительской корзины, управление складскими запасами, логистика, распространение и множество других.

Архитектура Хранилищ. Противоборства следует избегать

Архитектуры Хранилищ практически так же разнообразны и гетерогенны, как и сами DW-продукты. Однако с целью исследования и обобщения можно выделить две основных архитектуры — централизованную и распределенную. Причем каждая из них может иметь две формы — согласованную и несогласованную (conformed и non-conformed).

Первая форма подразумевает согласованность с определенной моделью, которая применяется к законченной модели данных, ко всем записям, измерениям и структурам. Иначе согласованную форму можно назвать интегрированной, разделяющей общую модель, хотя и не общий экземпляр БД. 
Согласно данным опроса, примерно в равных долях используются централизованные Хранилища, а также ХД с архитектурой «звезда» — hub-and-spoke, для которой характерен один постоянный централизованный склад данных с присоединенными к нему зависимыми витринами. Однако в последнем случае возрастает количество разрозненных витрин, что усложняет использование системы. Поэтому все больше наблюдается стремление к централизации.

Виртуальное Хранилище1 — это новый подход к архитектуре. Тактически он очень удобен и важен, особенно если говорить о возможности взаимодействия (совместимости) с учетом растущих вычислительных мощностей и скорости передачи данных в сетях. Эта архитектура позволяет не учитывать базовое различие между системами, ориентированными на запросы, и системами, ориентированными на транзакции. Но данный подход требует модернизации оборудования и повышения пропускной способности сетей для решения проблем эффективности (вместо более экономичного подхода, требующего разработки и внедрения эффективной архитектуры). По мнению некоторых специалистов, такое решение может повлечь за собой появление «узких мест» в производительности, а также может оказаться неэффективным в ряде реальных клиентских сред. Согласно данным опросам, виртуальная архитектура пока еще не получила широкого признания пользователей.

В заключение можно отметить, что компании, централизованные как географически, так и по типу управления, стремятся к выбору централизованной архитектуры Хранилища, что дает им максимальную операционную эффективность и бизнес-преимущества. Для децентрализованных компаний предпочтительна распределенная архитектура, а «смешанная» организационная структура требует согласованной модели. Несоответствие организационной формы и архитектуры привело к ряду конфликтов и провалов, которых можно было бы избежать за счет согласования «формы и структуры». И многие из участников опроса уже добились этого.

Стоит упомянуть и об устройствах для хранилищ (DW appliances). Архитектурно они позиционируются как корпоративные витрины данных в конфигурации «звезда», с централизованным точечным (atomic) Хранилищем. Наблюдается нарастающий интерес к этой технологии. Одним из результатов популярности устройств становится растущая ценовая конкуренция. Очевидно, эта тенденция на руку покупателям.

Однако пока этот сегмент находится на стадии становления. Крупные поставщики стараются захватить свою долю рынка, и покупатели часто выбирают продукт известной фирмы, зная, что приобретение устройства от новой компании (пусть и предлагающей дешевую и инновационную разработку) может быть рискованным.

Публикации:

  1. Опрос по удовлетворенности Хранилищами данных, Часть 1 (The Data Warehouse Satisfaction Survey, Part 1), Лу Агоста, Марк Эндрюс, Марк Рицман (Lou Agosta, Marc Andrews, Mark Ritzmann), октябрь 2007, http://www.dmreview.com/specialreports/20071002/1093126-1.html;
  1. Опрос по удовлетворенности Хранилищами данных, Часть 2 (The Data Warehouse Satisfaction Survey, Part 2), Лу Агоста, Марио Пассалаква, Брайан МакГофф (Lou Agosta, Mario Passalacqua, Brian McGoff), октябрь 2007, http://www.dmreview.com/specialreports/20071009/1093127-1.html.


1 Виртуальное Хранилище данных (virtual data warehouse). В основе такого хранилища лежит репозиторий метаданных, которые описывают источники информации, запросы для их считывания и процедуры обработки и предоставления информации. Непосредственный доступ к последним обеспечивает ПО промежуточного слоя. В этом случае конечные пользователи фактически работают с транзакционными системами напрямую со всеми вытекающими отсюда плюсами (доступ к данным в реальном времени) и минусами (интенсивный сетевой трафик, снижение производительности OLTP-систем и реальная угроза их работоспособности вследствие неудачных действий пользователей-аналитиков); ист. — http://www.olap.ru/basic/dbms.asp