Администрирование данных. Цели и задачи. Роль в бизнес-проектах

Представляем читателю результаты исследования компании TDWI, посвященного
администрированию данных (data governance — DG). В материале рассматриваются
основные задачи DG, связанные с управлением данными, их качеством, интеграцией,
доступом к информации и ее использованием в различных проектах.

Понятие администрирования данных (data governance — DG) появилось совсем недавно и пока еще только развивается, и для него еще сложно дать точное определение. Каждая организация применяет DG по-своему, иногда в качестве самостоятельного проекта для решения локальной задачи, а иногда в рамках всей информационной среды компании. Администрирование данных охватывает целый ряд технологий, IT-систем и процессов, а также вовлекает различных специалистов в области бизнеса.

Исследовательская компания TDWI дает следующее определение: администрирование данных обычно выполняется комиссией из руководителей и представителей различных подразделений, которая разрабатывает и проводит в жизнь правила и процедуры доступа, использования и технического управления данными во всей организации.

Главными целями DG являются повышение качества, устранение несогласованности, широта совместного использования информации, управление изменениям в применении данных, соответствие внутренним и внешним требованиям и стандартам. Если выражаться кратко, то DG — это организационная структура, которая наблюдает за использованием данных (в широком смысле) и применением их в качестве корпоративного ресурса.

Если данные выходят за рамки организации, то задача их администрирования становится обязательной, вне зависимости от того, что происходит — совместной использование информации среди различных бизнес-подразделений или публикация данных для клиентов, партнеров, аудиторов и регулятивных органов.

Администрирование данных базируется на 4 составляющих, это — люди, правила, процедуры и процесс.

Люди занимаются разработкой правил, решая, какие данные требуют администрирования, к каким данным можно разрешить доступ и какие данные могут быть так или иначе использованы. Процедуры — обеспечивают структуру пересмотра и реагирования на запросы на разрешение доступа и изменения данных.

Люди, правила и процедуры образуют законченный DG-процесс, который направлен на решение корпоративных задач. Его суть состоит не в администрировании данных напрямую, но в контроле того, как осуществляется доступ и использование данных через различные бизнес-проекты, а также в контроле инфрастуктуры управления данными.

Остановимся подробнее на задачах DG.

Роль в различных проектах и внедрениях

Администрирование данных напрямую связано со множеством проектов и программных решений внутри организации. Причина в том, что многие технологии (BI, CRM, прогнозирование и подготовка отчетности и проч.), прежде всего, отталкиваются от данных. Кроме того, правила и процедуры, установленные в результате администрирования влияют на все виды деятельности, в том числе на управление качеством, интеграцию, на разработку Хранилищ, MDM и проч.

В результате опроса пользователей компании TDWI удалось выявить те IT-проекты, которые могут больше всего выиграть от внедрения администрирования данных:

• По мнению 88% опрошенных, главными кандидатами на использование технологии DG являются BI-проекты. И это, в общем-то, понятно, так как многие бизнес-пользователи получают корпоративные данные через отчеты и другие средства, генерируемые BI-системами. BI-проекты требуют качественных и контролируемых данных, в том числе для формирования отчетов. Кроме того, часто встает вопрос о происхождении данных. Именно качество отчетных данных, а также контроль их поступления из различных источников часто является важной задачей администрирования.
• На втором месте (66%) — выполнение регулятивных требований. Сегодня практически все бизнес- и IT-подразделения затронуты проблемой выполнения регулятивных норм и поддержки конфиденциальности информации. Все регулятивные требования подразумевают контроль за использованием информации, поэтому администрирование данных здесь очень важно.
• Преобразования бизнеса (business transformation) влекут за собой существенные изменения в структуре корпорации, в том числе и в согласовании IT-систем и организационных подразделений. Администрирование позволит сократить риски преобразований и направить изменения на четко заданные цели.
• Если говорить о практике управления данными (data management) в компании, то очевидно, что большинство ее составляющих должно быть согласовано с администрированием.
  Средства управления качеством данных часто нацелены лишь на физические данные, тогда как качество нормативно-справочной информации и метаданных также нуждается в улучшении. Поэтому комитеты, занимающиеся администрированием данных, часто затрагивают задачи MDM.
  Сегодня очень активно развиваются проекты интеграции. Это актуально для аналитических данных (наполнения Хранилищ), операционных данных (консолидации баз данных), а также данных разных компаний (совместное использование информации с партнерами). Здесь администрирование направлено как на ограничение доступа к данным в этих проектах с целью выполнения регулятивных требований, так и на расширение доступа к множеству источников и целевых баз. Администрирование также способствуют обмену стандартами и процедурами передачи информации.
  По мнению участников опроса TDWI интеграция данных (83%), качество данных (82%), управление нормативно-справочной информацией и метаданными (75 и 74%), технология DWH (56%) существенно выиграют за счет наличия у компании развитой системы DG. 

Преимущества и препятствия

Чтобы выявить преимущества, которые может дать администрирование данных, компания TDWI провела специальное исследование.

Лидирует в списке качество данных (data quality — DQ). 60% респондентов считают, что средства администрирования позволяют существенно повысить качество данных, поскольку содержат специальные компоненты, предназначенные для решения этой задачи. О качестве нормативно-справочной информации и метаданных высказалось не столь значительное количество респондентов (23 и 20 % соответственно), что говорит о большей заинтересованности пользователей в качестве физических, нежели семантических данных.

На втором месте стоит согласованное определение данных (consistent data definitions) (58%), которое подразумевает грамотное документирование.

«Данные как корпоративный ресурс» (52%) и принятие решений на основе данных (38%) также названы среди лидирующих преимуществ администрирования. Кроме того, в ряду важнейших факторов перечислены: совместное использование информации (22%), прозрачность деятельности (20%).

Среди прочих отмечены и возможности администрирования, способствующие выполнению нормативных требований (адекватное использование данных — 33% и надежность использования — 25%) и поддерживающие безопасность и конфиденциальность информации.

26% пользователей отметили важность поддержки взаимодействия (collaboration) и преобразований бизнеса (business transformations) — 17%.

Три столпа DG

Все администрирование опирается на три основных задачи, или три столпа - соответствие регулятивным требованиям, интеграция и преобразования. Они же являются наиболее актуальными задачами DG, и в зрелой корпоративной среде непосредственно связаны друг с другом.

Чаще всего проекты DG начинаются именно с задачи выполнения регулятивных требований. Как правило, компания начинает с выполнения внутренних правил, затем переходит к законодательным требованиям (например, Basel II), к обеспечению регулятивной отчетности и безопасности данным. Выполнение всех этих требований означает ограничение количества людей и приложений, имеющих доступ к данным и возможности использования.

Комиссия по администрированию решает, каким образом каждое из требований отражается на организации, и описывает свои решения в виде правил и процедур использования данных. Если требуется создание регулятивной отчетности, то поддержка качества отчетности становится приоритетной задачей для DG. Очевидно, что соответствие требованиям, DG и управление качеством данных связаны очень тесно и чаще всего входят в единый проект во множестве компаний.

С другой стороны, некоторые организации начинают DG с множества задач интеграции приложений и технологий. Задачи совместного использования данных часто ставят вопрос расширения доступа к данным и интеграции. Цель бизнес-интеграции заключается в обеспечении информацией таких проектов, как BI, CRM и проч. Совместное использование данных позволяет принимать более качественные решения, расширять взаимодействие с клиентами и партнерами и т.п.

Комиссия по администрированию данных поможет в интеграции данных за счет разработки процедур доступа одной организации к данным другой организации. Проекты по созданию Хранилищ и интеграции клиентских данных часто страдают от недостаточно высокого качества информации. В этой ситуации DG обеспечивает процедуры по повышению качества данных, поступающих из различных источников, в том числе операционных приложений. Комиссия DG может установить внутренние стандарты обмена, а также инфраструктуру интеграции данных.

Множество бизнес-преобразований, особенно реорганизаций, слияний и поглощений, приводят к значительным изменениям в использовании данных и во владении данными (data ownership).

Вне зависимости от того, насколько меняется компания при реогранизации, основным преимуществом DG в этой ситуации является механизм управления изменениями. Согласно исследованиям TDWI, изменения в управлении данными и в бизнес-процессах происходят наиболее безболезненно, если комиссия по DG вовремя вносит свои корректировки и добивается поэтапного проведения преобразований по всем бизнес-подразделениям. Поддержка бизнес-преобразований и интеграции положительно сказывается на соответствии нормативным требованиям, и наоборот.

Роль программного обеспечения

В настоящий момент полноценных средств автоматизации для администрирования данных немного. Цели и задачи DG частично решаются различными инструментами управления данными (data management — DM).

По мнению специалистов TDWI в ближайшие два года ожидается рост количества пакетов этого класса и расширение их функциональности в связи с тем, что многие потенциальные пользователи уже сегодня готовы сформулировать свои требования, а поставщики инструментов DM расширяют свои возможности, чтоб охватить весь спектр DG-задач.

Рассмотрим основные компоненты программной системы, предназначенной для реализации задач DG.

Одним из главных требований к администрированию данных со стороны пользователей является управление семантическими данными (метаданными и нормативно-справочной информацией). Семантические данные позволяют построить репозиторий администрируемых данных и определить их значение. Семантика может быть расширена до задания множества атрибутов, таких как: владельцы данных, источники, преобразования, цели, конфиденциальность и проч. Управление метаданными и нормативно-справочной информацией строится на основе инструментов интеграции и инструментов управления качеством. Кроме того, существуют средства, предназначенные для обнаружения межсистемных бизнес-правил и метаданных, а также для поиска исключений и аномалий. Их нельзя назвать инструментами администрирования как таковыми, однако они вносят существенный вклад в автоматизацию DG. 

Репозиторий семантических данных

Управление семантическими данными является главным приоритетом и одновременно фундаментом, на котором базируется семантическая инфраструктура, а именно репозиторий семантических данных. Любой MDM-проект свой репозиторий. Это актуально для случаев когда семантическое решение является самостоятельным или работает в рамках большой системы (например ERP или CRM). Репозиторий может быть разработан на базе специальных средств (и предназначен именно для метаданных, ориентированных на объектный тип данных) или на базе реляционной СУБД.

Вне зависимости от формы, репозиторий очень важен, так как является центральным определяющим источником семантических данных. Даже если исходно он планируется для специфической цели (например, для управления метаданными), то впоследствии пользователи или поставщики могут расширить его до других функций (например, для нормативно-справочной информации, физических данных, проектной документации, функций взаимодействия и проч.). В некоторых случаях создается несколько репозиториев, которые приходится координировать.

Как правило, набор инструментов включает средства интеграции, средства управления метаданными и нормативно-справочной информации, качества данных, профилирования, мониторинга. Постепенно все эти пакеты должны перерасти в единые платформы, поддерживающие весь спектр DG. 

Специальные продукты для администрирования данных, предназначенные именно для DG, пока встречаются очень редко. По мнению TDWI, всплеск разработок в этом направлении еще только ожидается.

Очень часто пользователи помещают все администрируемые данные в единую базу. Иногда для этой цели служит Хранилище, которое гарантирует безопасность и конфиденциальность информации. ХД поддерживает операции с нормативно-справочной информацией. Недостаток такого подхода состоит в том, что необходимо проводить интеграцию и синхронизацию больших объемов сложных данных. В качестве альтернативы может служить операционной склад данных.

В ряде случаев используется «корпоративный репозиторий данных» (enterprise data repository — EDR), включающий в себя целый набор баз — Хранилищ, витрин, операционных складов и семантических репозиториев.

В этом случае EDR содержит целый набор разнообразных исходных данных, многомерных кубов, метаданных, нормативно-справочной информации и даже неструктурированных сведений (например, тексты на естественном языке). На сегодняшний день большинство EDR и других баз для администрирования данных разрабатываются на заказ и строятся на основе СУБД.

Публикации:

1. Стратегии администрирования данных. Помощь в выполнение нормативных требований, интеграции и в преобразованиях. (Data Governance strategies. Helping your organization comply, transform, and integrate), май 2008 г, Филипп Рассом (Philip Russom), http://www.bitpipe.com/detail/RES/1211309584_788.html.

Автор: По материалам зарубежных сайтов