Рынок хранилищ данных открыт к инновациям

Эксперты авторитетной организации TDWI делятся своими знаниями в области
технологий операционных хранилищ данных, которые приобретают в последние годы
все большую актуальность.

Как известно, отличительная черта информационных технологий - их постоянное обновление, открытость к инновациям. Яркий пример тому – хранилища данных. Казалось бы, хранилища данных уже давно стали общепринятым подходом к управлению корпоративными данными, а сам рынок приобрел статус зрелого. Тем не менее, технологические новшества продолжают активно влиять на развитие рынка.

Совсем недавно Институт хранилищ данных (TDWI) опубликовал отчет об исследовании одной интересной тенденции – формирующем сегменте операционных хранилищ данных (operational data warehousing).

Операционные хранилища данных не являются чем-то принципиально новым. Как отмечают авторы отчета, эта технология в том или ином виде обсуждается в IT-прессе уже не менее десятка лет. И как показали результаты исследования, только 6% опрошенных не знакомы с этим понятием.

Почему же тогда эта технология попала в фокус внимания экспертов? Если вспомнить прошлогодний опрос TDWI, посвященный новому поколению платформ хранилищ данных, то только горстка его участников (17%) отметила, что их хранилища данных предоставляют функциональность для выполнения операций в режиме реального времени. При этом подавляющее большинство опрошенных (92%) заявило, что в ближайшие три года они планируют использовать такую функциональность. Более того, 75% респондентов отметило, что в течение этих трех лет намерено сменить свою платформу хранилища данных. Среди множества причин: миграция со старой платформы, модернизация архитектуры хранилища, перемоделирование структур данных – особое место занимает необходимость обеспечить в хранилище данных возможность выполнения операций в реальном времени.

Интересно, хотя большинство участников исследования и осведомлены об этой технологии, половина из них (51%) не располагает формальным названием для ее обозначения, а оставшиеся 43% употребляют целый ряд терминов: операционный склад данных (19%), операционный BI (15%), использование хранилища данных в реальном времени (12%), операционные хранилища данных (10%), активные хранилища данных (6%), использование BI в реальном времени (4%), операционная отчетность (4%), мониторинг за бизнес-активностью (2%) и другие.

Это неудивительно, так как хорошо известно, что терминологическая база – «слабое место» информационных технологий в целом и программного обеспечения в частности. Существование как минимум трех терминов для обозначения автоматизированных систем управления эффективностью бизнеса – BPM, CPM и EPM, а также ряда их «производных» уже давно набивший оскомину пример.

Отрадно, что авторы отчета приводят термин и его развернутое толкование. Технология операционных хранилищ данных предназначена для улучшения интеграции программных продуктов, которые можно разделить на две большие группы: группа операционных приложений (различные ERP-, CRM-модули, финансовые системы, пакеты программ для автоматизации торговой деятельности) и группа инструментов Business Intelligence и хранилищ данных. Данная технология позволяет достичь качественно нового уровня интеграции при обмене данными между этими группами приложений: данные могут перемещать в обоих направлениях (до применения технологии – в основном от группы операционных приложений к группе инструментов Business Intelligence и хранилищ данных), чаще, быстрее и в больших объемах. Хранилище данных является ключевым элементом, так как его база данных обрабатывает перемещаемые данные, а агрегированная информация обеспечивает исторический контекст для недавних операционных событий. Несмотря на то, что интеграционные технологии являются необходимым технологическим условием реализации операционного хранилища данных, основное его предназначение – интеграция бизнеса.

Остается только надеяться, что это определение однозначно закрепится за рассматриваемой технологией. Это важно, поскольку, как следует из отчета, более половины опрошенных (66%) заявили, что операционные хранилища данных применяется в их организации в той или иной форме. Треть опрошенных (31%) пока не имеет опыта общения с этой технологией, и лишь 3% респондентов не обладают информацией о ее применении.

Не остался без внимания экспертов TDWI и такой важный вопрос как преимущества операционных хранилищ данных. Согласно опросу, наибольшую пользу эти технологии продемонстрируют при решении задач, относящихся к зоне ответственности Business Intelligence – это улучшение бизнес-решений и стратегий (46% респондентов). Второе место, где они выгодно себя проявят, это область бизнес-операций - совершенствование результативности и исполнения задач (39% респондентов). На третьем месте совершенно очевидное преимущество - повышение «оборачиваемости данных» - 35% респондентов ожидают, что смогут получать свежие и актуальные данные.

Говоря о достоинствах операционных хранилищ данных, нельзя не упомянуть о препятствиях, с которыми придется толкнуться при их внедрении. Наиболее значимым барьером участники опроса видят их стоимость (44% респондентов), отсутствие поддержки со стороны бизнес-подразделений (31% респондентов) и неспособность существующей платформы хранилищ данных реализовать эту технологию (28% респондентов).

Как отмечалось выше, технология операционных хранилищ данных не является чем-то новым. В этой связи исследователи TDWI попытались установить, как и в каких областях применяются эти технологии. Выяснилось, что, во-первых, с их помощью можно “встраивать” данные и функции BI в работу с операционными приложениями. Так, многие пользователи могут принимать более обоснованные тактические и оперативные решения при работе с финансовыми учетными приложениями (38% опрошенных), ERP- и HR-модулямии (26% и 21% опрошенных, соответственно). Во-вторых, можно улучшить удерживание существующих заказчиков и привлечение новых. В этом случае задействованными оказываются CRM-системы (36% опрошенных), различные программы для автоматизации работы call-центов (31% опрошенных), управления маркетинговыми кампаниями (20% опрошенных) и торговой деятельностью (14% торговой деятельности). Наконец, обычные аналитические приложения могут получать данные из хранилища данных в режиме реального времени или в течение дня. Такими приложениями являются программные продукты для обнаружения случаев мошенничества (19% опрошенных), прогнозирования спроса (18% опрошенных) и управления рисками (14% опрошенных).

Очень интересные данные были выявлены при изучении такого параметра операционных хранилищ данных как частота загрузки. Оказалось, что ежедневное обновление данных остается нормой с 2007 года. Более того, стало известно, что более частые загрузки – несколько раз в течение рабочего дня – пока являются редкостью. В целом практика загрузки данных не претерпела существенных изменений за последние три года (см. рис. 1).

 

Рис. 1. Ответ на вопрос: какой процент данных в вашем хранилище обновляется в каждом из указанных интервалов (по данным TDWI, 2010 год)

Еще один параметр, характеризующий любое хранилище данных, а не только операционное, это его способность обрабатывать нагрузку. Под нагрузкой в TDWI понимают выполнение различных запросов, формирование структур данных, загрузку данных, а также выполнение операций с данными в самой базе данных. По мнению TDWI, следует выделять два типа нагрузки: базовую и вторичную. В первом случае хранилище оптимизировано для выпуска стандартных отчетов, расчета показателей эффективности и выполнения OLAP-анализа. Во втором случае речь идет о продвинутой аналитике (не OLAP!) и передаче или обработке данных в режиме реального времени.

Как выяснилось в ходе опроса, в большинстве компаний (58% респондентов) корпоративное хранилище данных поддерживает только базовый тип нагрузки и только в трети (35% респондентов) – помимо базовой и вторичную нагрузку.

Очевидно, что вторичная нагрузка может значительно повлиять на выбор архитектуры операционного хранилища данных. Результаты опроса позволили выделить следующие три возможных архитектурных решения:

• Корпоративное хранилище данных. 24% опрошенных заявили, что внедренное у них корпоративное хранилище данных поддерживает оба типа нагрузки, в том числе связанную с задачами операционного хранилища данных. А 25% опрошенных признали, что этот подход, по их мнению, является предпочтительным, что позволяет отнести его к хорошо принятому в IT-сообществе.
• База данных, отдельная от корпоративного хранилища данных. По оценке TDWI, этот метод также можно считать хорошо устоявшейся практикой. 22% респондентов уже его используют, а 36% опрошенных отнесли его к предпочтительному.
• Корпоративное хранилище данных и отдельная база данных. Как показал опрос, гибридный подход также широко распространен - 23% опрошенных его уже используют, а 24% опрошенных назвали предпочтительным.

В заключении стоит отметить, что отчет TDWI содержит немало реальных примеров применения технологии операционных хранилищ данных в компаниях. Так, например, поучительным является успешная история внедрения этой технологии в крупном американском банке. Для получения необходимой операционной отчетности и выполнения анализа банку потребовалось ежедневно загружать до двух миллиардов записей, получаемых из десяти регионов. Применение технологии операционных хранилищ данных позволило сократить время обновления данных до восьми часов.

Автор: По материалам зарубежных сайтов