Подходы к созданию федеративных Хранилищ данных

В статье рассматриваются способы и методы федерализации данных. Обсуждаются
ключевые факторы, существенные для создания федеративных Хранилищ; на
конкретных примерах демонстрируется, как работают подобные структуры.

В предыдущей статье было рассказано о современных проблемах интеграции информации в крупных корпорациях. В предлагаемом ниже материале обсуждаются способы и методы федерализации данных как одного из путей решения проблемы интеграции.

Федеративное корпоративное Хранилище данных - это подходящее интеграционное решение для многих крупных организаций, в которых существует внутренняя автономия подразделений.

Осуществлять или нет федерализацию?

Не существует однозначного ответа на вопрос о том, что требуется для проектирования и создания структуры, которая способна поддерживать интеграцию информации на основе Хранилища данных. Для одних компаний подходящим решением может стать единое Хранилище, а для других - федеративная модель. Но очень важно на самых ранних стадиях понять, какая именно модель является наиболее подходящей для той или иной организации.

Каждая компания, решая для себя вопрос о создании федеративного Хранилища, должна иметь в виду следующие ключевые факторы.

1. Внутренняя организация компании и требования бизнеса.
   Один из доводов в пользу федерализации может быть косвенно связан со структурой организации. Но иерархическая внутренняя структура еще не означает, что федерализация автоматически окажется наилучшим решением. Принципиальным фактором является степень делегированной или местной автономии. Обычно это тесно связано с уровнем местного контроля над данными. Если пользователи на места привыкли контролировать и осуществлять изменения на локальном уровне, тогда федерализация является подходящим решением.
   Опыт также показывает, что если структура организации включает высокий уровень местной автономии, то в конце концов все требования, которые изначально были установлены едиными, начинают отличаться. Подход, связанный с созданием единой структуры, в такой ситуации не годится, поэтому очень важно с самого начала выбрать такую архитектуру, которая сможет с ней справиться.
   
2. Степень расхождения моделей бизнес-данных.
   Это одни из самых важных критериев для принятия решения об использовании федерализации для интеграции информации. Например, если двум частям организации требуются различные классификации продуктов, то обе эти классификации могут быть включены в одну модель. Некоторые компании размещают до 20 классификаций в одной модели. Но здесь есть свои ограничения. Если увеличение числа различий становится системным, то в конце концов единое Хранилище станет неуправляемым. Как показывает опыт, именно это обстоятельство было причиной неудач многих проектов, направленных на создание традиционных Хранилищ данных по специальным заказам.
   Глобальные структурные расхождения - это еще один довод в пользу федерализации. Например, если одно подразделение компании общественного питания работает напрямую с потребителями, а другое - только с дистрибьюторами, то контекст и структура транзакций будут очень сильно отличаться, что затруднит их совмещение в одной модели данных.
   
3. Степень расхождения содержимого данных.
   Часто одно бизнес-подразделение не использует данные другого подразделения при принятии решений относительно своего бизнеса. Но при этом могут существовать некоторые общие справочные данные, например, общая корпоративная классификация потребителей. Если очевидно, что каждому потенциальному члену федерации необходимы все данные о транзакциях и все справочные данные, то лучше остановиться на создании единого Хранилища данных.
   
4. Количество источников данных.
   Это также очень важный фактор. Если существует один основной источник данных, то их фильтрация для загрузки в отдельные Хранилища увеличит объем работы. Но если данные размещены в локальных источниках, то федерация оказывается более подходящим решением.

Решение относительно использования федеративного подхода должно приниматься на основе анализа этих факторов. Общее правило состоит в том, что чем больше степень автономности подразделений компании, тем более уместным будет федеративный подход.

Архитектурные возможности

Существует много архитектурных возможностей для интеграции с помощью федеративного подхода. Но в любом случае общий дизайн должен основываться на требованиях организации и процессов бизнеса, как это рассмотрено выше.

Существует три основных типа федерализации: по географическому признаку, по областям бизнеса и функциональная федерализация. В первом случае члены федерации выражают требования бизнеса каждого географического региона, например, Северной Америки, Азии, Европы, или отдельных стран.

Федерализация по областям бизнеса означает, что члены федерации представляют отдельные сферы бизнеса. Функциональный подход к федерализации строится на основе различных бизнес-функций, таких как продажи, финансы, маркетинг и цепи поставок. Концептуально все три подхода похожи, но реальный дизайн может существенно отличаться, поскольку предоставление полномочий работает по-разному в каждом из этих сценариев.

Помимо этого, возможно и использование единого физического Хранилища данных.

Единое физическое корпоративное Хранилище данных

На первый взгляд возможность использования единого Хранилища данных кажется привлекательной. Крупное единое Хранилище лучше всего работает в том случае, когда степень автономности подразделений невелика и существуют строгие управленческие принципы для включения в состав компании новых местных отделений.

Недостатками такого подхода являются задержка производительности и ограничения пропускной способности. Встает проблема создания надежной системы, которая должна поддерживать очень крупные массивы данных и в то же время обеспечивать изменчивый спрос на доступ к данным. Необходимо также обеспечивать баланс между удовлетворением незапланированных запросов и поддержкой постоянно меняющихся справочных данных. Наконец, нужно, чтобы система обладала достаточно мощными вычислительными ресурсами для обслуживания всех этих потребностей.

Сейчас уже существуют технологии для решения этих проблем, которые в основном направлены на увеличение вычислительных ресурсов. Но стоимость этого достаточно велика. Во-вторых, такие системы представляют определенный риск, поскольку весь бизнес зависит от одного Хранилища. Наконец, крупные монолитные системы требуют специальной настройки. Это непростая задача, особенно когда со всех концов сложной организации непрерывно поступают запросы, зачастую конфликтующие друг с другом. Разумная стратегия агрегирования и проектирование с использованием витрин данных могут отчасти облегчить эти проблемы, но настройка системы, направленная на удовлетворение всех требований крупной организации, тем не менее остается очень сложной задачей.

Типы федераций

Альтернативным способом интеграции информации является широкая федерализация на основе одной из трех существующих моделей и с учетом критериев, рассмотренных выше.

Все эти модели, по сути, являются вариантами географической федеративной архитектуры.

Любой глобальный бизнес, такой, например, как компания Shell, имеет серию региональных Хранилищ данных, которые являются членами федерации второго уровня. В случае крупных стран может существовать федерация первого уровня с бизнес-подразделениями, работающими в каждой стране. Например, в случае с Shell отдельные Хранилища данных поддерживают общие справочные данные в центральной модели, а затем распределяют их в региональные и местные отделения с регулярными интервалами. На местах эти общие справочные данные добавляются к уже существующим и изменяются, если это необходимо.

Аналогичный подход был использован компанией Unilever в Азии. Их задачей было использовать свободную федерацию для сбора и агрегирования данных о продажах в регионе для каждой страны в отдельности.

Эта компания создавала федерацию на основе бизнес-функций (продажи и маркетинг), которые считались приоритетными направлениями. В общей форме схема такой федерации показана на рис. 1. При необходимости федерация может быть расширена за счет других бизнес-функций, таких как финансы и цепи поставок. Здесь также использовалось создание стандартной модели со стандартным ключевым набором справочных данных и возможностями для местных расширений.

Рис. 1. Федерация на основе бизнес-функций (например, продажи и маркетинг)

Если Хранилище данных для одной страны или функциональной области оказывается по каким-то причинам недоступным, то это наносит меньший ущерб бизнесу, чем потеря всей информационной системы, поскольку такие индивидуальные Хранилища представляют только часть федерации.

Если часть бизнеса продается, то не приходится "выуживать" соответствующую информацию из единого корпоративного Хранилища, а можно достаточно легко извлечь нужные данные или просто передать содержимое локального Хранилища. Поддержка единого Хранилища данных не является невыполнимой задачей, но использование федерализации позволяет "разделить риски" за счет того, что исчезает зависимость от одной технической платформы.

Публикации

Дэвид Уэддингтон (David Waddington). Архитектурный подход к интеграции информации: обзор проблемы федеративных Хранилищ данных. (An Architected Approach to Information Integration - Federated Enterprise Data Warehousing Overview).

Автор: По материалам зарубежных сайтов