Управление данными как активом предприятия: качество данных и бизнес-результат

Ольга Морозова, эксперт Intersoft Lab, специально для «Финансового директора» рассказала, в чем состоят сложности с оценкой качества данных и как системно подойти к управлению качеством данных, и привела в качестве примера опыт Банка «Санкт-Петербург».

Данные давно уже принято считать важным активом предприятия, к ним нередко применяют такие эпитеты как «новая нефть» или «золотоносная жила». Причем это очень быстро растущий актив. Объем только структурированных данных ежегодно увеличивается на 40%. Если же рассматривать все данные, включая неструктурированные (данные социальных сетей, интернет-источников, а также данные сгенерированные автоматически), то их ежегодный рост оценивается примерно в 80%.

Но всегда ли этот актив эффективно используется? Какую цену предприятия платят за ошибки в данных? Как корректно оценить качество данных и выстроить эффективную систему управления качеством данных? Существуют ли удачные примеры реализации такой системы в российской практике?

Немного статистики

В 2015 году компания Experian, провела масштабное исследование, охватившее 1239 предприятий США, Франции, Австралии, Германии, Испании и Нидерландов.Исследование показало, что более 97% организаций страдают от частых ошибок в контактных клиентских данных. 83% признают, что недополучают доходы  из-за низкого качества и неполноты данных, и, если качество данных было на высшем уровне, бизнес смог бы увеличить доход в среднем на 15%.

О невысоком уровне зрелости процессов управления данными свидетельствует и тот факт, что только 35% компаний управляют данными централизованно, а более половины (57%) выявляют ошибки в данных пост-фактум, после того как об этом сообщили сотрудники или клиенты. И хотя большинство организаций используют какое-либо технологическое решение для контроля, подготовки и очистки, почти треть компаний (29%) до сих пор проверяют и очищают свои данные «вручную». 77% CIO справедливо рассматривают данные в качестве стратегического актива, который не до конца используется в организации.

Аналитики Гартнер установили, что плохое качество данных является основной причиной провала 40% бизнес-инициатив. Качество данных также влияет на операционную эффективность, способность управлять рисками и гибко реагировать на внешние факторы, ошибки в данных снижают производительность труда в среднем на 20%.

Более того, по мере перехода к автоматизированным процессам именно качество данных становится фактором, лимитирующим качество всего процесса. Показано, что ошибки в данных на 10% снижают эффективность ИТ.

Как трактовать и измерить качество данных?

Качество данных – это свойство данных удовлетворять предъявляемым к ним требованиям. Причем в соответствии с базовыми принципами качества данных (определяется стандартами серии ISO/TS 8000, ГОСТ Р 56214–2014/ISO/TS 8000-1:2011) понятие качества данных затрагивает только те данные, которые участвуют в принятии какого-либо управленческого решения. Качественные данные предотвращают повторение дефектов и сокращают избыточные расходы.

Традиционные определения качества данных фокусируется на каких свойствах данных как:

• Полнота
• Точность
• Своевременность предоставления
• Происхождение

Стандарт ISO/IEC25012:2008 существенно расширил перечень характеристик качества данных, включив в него характеристики, зависящие от компьютерной системы (эффективность, доступность, переносимость, восстанавливаемость, конфиденциальность и др.). Десять из пятнадцати характеристик качества данных являются системно зависимыми, что подчеркивает важность выбора правильного инструмента для управления качеством данных.

Для объективной оценки качества данных используются метрики. Это могут быть как непосредственно измеряемые по определенным правилам базовые показатели, так и более сложные комбинированные метрики, рассчитываемые на основании средневзвешенных значений базовых показателей.

Примерами таких метрик могут являться показатели доступности данных, показатели корректности данных, показатели стоимости обеспечения качества, показатели стоимости исправления ошибок.

Для применения метрик должны существовать правила проверки, формализующие порядок измерения и расчета показателей. Но одних метрик и правил недостаточно, для получения ощутимого эффекта, влияющего на финансовые показатели организации, необходим системный подход к управлению качеством данных.

Системное управление качеством данных

Управление качеством данных опирается на три элемента: организационная структура, процессы и инструменты управления качеством данных.

Организационная структура обеспечивает распределение ролей и ответственных за процессы работы с данными. Крупные компании все чаще говорят о выделении роли информационного директора CDO (Chief Data Officer) и организации подчиненной ему службы CDO. Информационный директор управляет распределенной структурой данных на предприятии, служба CDO обеспечивает оперативный оборот данных, ведет мониторинг любых действий с данными, а также контролирует использование информационных активов компании.

Процессы управления качеством данных (в соответствии с ГОСТ Р 56215—2014 и ISO/TS 8000-150:2011) делят на три группы:

• процессы выполнения операций над данными,
• процессы непрерывного контроля качества данных
• процессы повышения качества данных.

Процессы выполнения операций над данными включают управление структурой данных в рамках организации в том числе с учетом применения данных в распределенных системах, разработку и конструирование схемы данных, выполнение операций над данными (создание, поиск, удаление, обновление).

Процессы непрерывного контроля качества нацелены на идентификацию ошибок данных и включают планирование качества, определение метрик качества и правил проверки, регламентацию процессов оценки данных по заданным критериям.

Процессы повышения качества данных должны обеспечить исправление ошибок в данных и устранение причин их возникновения.

И наконец, третий элемент – это инструменты управления качеством данных. На рынке представлен широкий арсенал инструментальных систем для работы с данными. Это и продукты класса Data Quality, системы управления мастер-данными, специализированные решения для работы с клиентской аналитикой, многочисленные интеграционные платформы с богатым арсеналом ETL-инструментов, отраслевые решения.

Контроль качества данных традиционно выполняется после извлечения данных из источника перед размещением их в хранилище данных в ходе так называемого ETL-процесса[1]. Этот процесс, как правило, предполагает, как выполнение ряда системных проверок данных (контроль целостности, непротиворечивости, корректности заполнения атрибутов), так и выполнения дополнительных бизнес-проверок (контроль сходимости остатков и оборотов, соответствие лицевых счетов балансовым и т.п.). В ходе ETL-процесса могут выполняться также операции по обогащению и классификации данных, что увеличивает ценность данных для последующего анализа. Результаты выполнения ETL-процедур протоколируются, проблемы с данными анализируются и исправляются. Использование специализированных решений класса Data Quality упрощает настройку процедур контроля, облегчает контроль за результатами процесса. Как правило, такие решения предоставляют специальные графические средства, которые отражают такие характеристики качества данных, как полнота, согласованность, связность, точность, целостность и отсутствие дубликатов. Такие решения поставляют как зарубежные, так и отечественные ИТ-компании. В отличие от западных поставщиков, российские вендоры все чаще предлагают более бюджетные решения для управления качеством данных. Так компания Intersoft Lab разработала специальный модуль оценки качества данных в составе платформы хранилищ данных «Контур». Модуль обеспечивает сбор информации о показателях качества данных, накапливаемых в ХД, а также информации о фактах устранения дефектов в данных. Пользователям предлагаются инструменты для анализа показателей качества данных в различных аналитических разрезах, в том числе анализ динамики изменения качества данных, а также анализа трудозатрат на устранение дефектов в данных ранжированных по типам ошибок, филиалам, исполнителям, периодам и другим аналитическим разрезам.

Пример из отечественной практики управления качеством данных

На сегодняшний день большинство проектов, в которых затрагиваются вопросы контроля качества данных, связаны с построением корпоративных хранилищ данных (ХД) или с внедрением аналитических приложений, в том числе приложений для управления рисками, взаимоотношениями с клиентами, получения отчетности. Наиболее показательным в этом смысле является пример финансовой отрасли, в которой исключительно высоки требования к качеству клиентской аналитики и требования к качеству отчетности, предоставляемой регулятору.

Более того, ЦБР законодательно определил требования к качеству данных информационных систем, применяемых для расчёта величины кредитного риска на основе внутренних рейтингов.

Заместитель председателя Правления ПАО «Банк «Санкт-Петербург» Павел Филимоненок поделился опытом решения проблемы качества данных в Банке «Санкт-Петербург» в комментарии, опубликованном на сайте Ассоциации Российских Банков: «Мы прекрасно понимали, что стоимость обеспечения качества всегда ниже стоимости исправления ошибок. Мероприятия по обеспечению качества данных были инициированы в рамках проекта построения корпоративного ХД и завершились созданием пока еще редкой в российской практике службы качества данных. Сегодня эта служба успешно функционирует в составе департамента информационных технологий. Отлажены регламентные процедуры отслеживания и исправления ошибок. Обеспечен полный и регулярный контроль данных во всех ИС, поставляющих данные в ХД. Эксперимент по развертыванию службы качества данных завершился успешно во многом благодаря организационно-технологической помощи поставщика ХД - компании Intersoft Lab, обеспечившей технологическую поддержку процессов проверки и обогащения данных. Что мы получили в итоге? Существенно снизилось количество ошибок в данных. Показательно, что в одном только кредитном портфеле количество видов ошибок снизилось в 15 раз. Полностью исключены серьезные ошибки, влияющие на финансовые показатели. Возросло доверие пользователей к данным ХД, а вместе с ним и качество управленческих решений. Т.е. выстроена эффективная система управления качеством данных, работающая в интересах всех подразделений.»

Таким образом, внедрение практик управления качеством данных на предприятии увеличивает ценность корпоративных данных, как актива, пригодного для поддержки достижения бизнес-целей.

[1] Extraction-Transform-Load

Автор: Ольга Морозова, эксперт компании Intersoft Lab, к.т.н., доцент кафедры «Бизнес-информатика» Финансового университета при Правительстве Российской Федерации

Источник: FD.ru