Качество данных: борьба за доверие

Как показывают данные опросов, проект по управлению данными - удел
профессионалов, знающих специфику этой сферы деятельности. Эксперты подробно
объясняют, чем проекты по обеспечению качества данных и подготовки отчетности
отличаются от других проектов.

Повышение качества данных - одна из важнейших задач для большинства компаний, от решения которой зависит успешность многих других аспектов ее деятельности.

Откуда берутся проблемы

Многочисленные банкротства и сложности, испытываемые компаниями в течение последних нескольких лет, привели к принятию новых законов и ужесточению требований со стороны контролирующих органов. Приведение корпоративной отчетности в соответствие с этими требованиями легло тяжким бременем на руководителей компаний и финансовых менеджеров.

Контролирующие и правительственные учреждения часто требуют от компаний предоставления данных в целом ряде отчетов, касающихся самых разных аспектов деятельности компании. В результате, многие компании сталкиваются с тем, что данные, необходимые для предоставления такой отчетности, создаются и хранятся в целом ряде разных систем внутри компании. Они могут храниться в файлах, базах данных и хранилищах данных, а также в электронных таблицах. Данные в этих системах могут создаваться разными способами. Они могут появляться в компании в виде файлов, прикрепленных к сообщениям электронной почты, могут вводиться с клавиатуры или мобильных устройств клиентами, партнерами или служащими, которые находятся внутри или вне компании и т.д. У многих компаний при этом нет возможностей проверять или оценивать качество этих данных. Каждая система имеет свою логику оценки этих данных, которая отличается от других систем. В некоторых случаях данные вообще могут не оцениваться. Другими словами, нет никакой гарантии, что все данные, поступающие через разные каналы в эти системы, проверены, правильны и заслуживают доверия.

Как отмечает Майк Фергюсон (Mike Ferguson), аналитик и консультант, управляющий директор Intelligent Business Strategies Ltd., это приводит к тому, что многие сотрудники создают свои собственные базы данных в электронных таблицах, которым они доверяют. Затем они отправляют их своим коллегам, создавая таким образом новые версии данных и еще большую неопределенность в отношении правильности данных. В результате нет никаких гарантий, что финансовые отчеты, составленные на основе этих данных и представляемые руководству или акционерам, содержат правильные и точные цифры. То же самое можно сказать и об отчетах для контролирующих органов и правительственных организаций. Несоответствия могут возникать даже в рамках хранилищ данных, которые предназначены для интеграции данных. Фергюсон выделяет следующие причины этого:

• Недостаток инвестиций в инструменты качества данных, необходимые для развития хранилища данных.
• Изолированная разработка витрин данных разными командами, которые не координируют свои усилия и не сотрудничают.
• Отсутствие единой терминологии и определений для одних и тех же данных, используемых в различных витринах данных и инструментах BI.

Изолированное развитие разных финансовых витрин данных в различных подразделениях может вести к тому, что эти витрины будут использовать разные названия для одних и тех же данных, разные формулы для расчета одних и тех же показателей при использовании разных инструментов BI и разных преобразований в рамках ETL-процессов при выполнении предварительных вычислений одних и тех же показателей для различных витрин. Еще хуже, когда одно и то же наименование, но разные формулы применяются разными подразделениями при использовании одного и того же BI-инструмента. Это означает, что пользователи не будут понимать, что показатели в их отделе вычисляются иначе, чем в другом. Это приведет к тому, что после интеграции BI-инструментов с аналитическими приложениями в корпоративном портале источник проблемы будет окончательно потерян, и пользователи просто не смогут понять, откуда берется показатель, который они видят. И они даже не будут понимать, что здесь какая-то проблема, предупреждает Фергюсон.

Учитывая вышесказанное, неудивительно, что многие финансовые менеджеры с осторожностью относятся к задаче подготовки обязательной отчетности, часто полагаясь на данные одной системы или на данные электронных таблиц и личные базы данных. Без контроля качества данных во всех каналах, через которые данные входят в организацию и перемещаются между системами, неудовлетворительное качество данных становятся проблемой при подготовке отчетности. Проблемы с точностью данных, их полнотой и интегрированностью могут:

• привести к дополнительным расходам, задержкам при подготовке отчетности и нарушению требований контролирующих органов;
• подставить под сомнение точность показателей в отчетах, что приведет к аудиту и возможным наказаниям, если данные окажутся неправильными;
• вызвать несоответствие результатов отчетов отдельных подразделений общей отчетности;
• привести к принятию неверных решений и действий.

Очевидно, что несоответствие требованиям контролирующих органов ведет к значительным неблагоприятным последствиям. И это не только штрафы и другие наказания. Страдает репутация компании, отношения с инвесторами и лояльность клиентов. Все это может быть поставлено под угрозу из-за плохого качества данных. Нет никакого смысла делать все возможное для составления отчетов, сдавать их в срок и в нужных форматах, если данные в них некорректны. Данные должны вызывать доверие, а его можно получить только посредством тщательного контроля за качеством данных в компании.

Повышение качества - удел профессионалов

Исследование Международной ассоциации по качеству данных и информации (International Association for Information and Data Quality, IAIDQ) выявило важную тенденцию на рынке. Многие респонденты заявили, что улучшение качества данных должно стать отдельной профессией. Как показал опрос, проведенный среди 1087 специалистов, работающих в сфере улучшения качества данных и информации:

• Усилия по улучшению качества данных в первую очередь направлены на приведение отчетности в соответствие с требованиями регулирующих органов и борьбу с рисками (39,7% респондентов), затем идут снижение затрат (29% респондентов) и увеличение прибыли (15% респондентов).
• Улучшение качества данных остается для многих проблемой, только 10% респондентов оценили усилия по улучшению качества в своей организации как очень успешные, 46% - как успешные.
• Почти половина опрошенных согласилась с тем, что очень важно (49%) или важно (43%) выделить деятельность по улучшению качества данных/информации в качестве отдельной профессии.
• Практически все (92%) респонденты отметили, что для достижения этой цели важна доступность сертификации специалистов.
• 43% опрошенных указали, что наибольшая выгода сертификации в том, что она способствует повышению уровня знаний и мастерства в управлении информацией и качеством данных.

В целом результаты опроса еще раз подтвердили, что представители как общественных, так и частных организаций во всем мире понимают, что успешность во многом зависит от качества информации и данных. И голоса в пользу профессиональной сертификации подтверждают это.

Управление данными и управление другими проектами - в чем отличие?

Дон Стеффен (Don Steffen), один из основателей и партнер консалтинговой фирмы AmberLeaf Partners, обращает внимание на то, что проект по интеграции и выпуску отчетности имеет серьезные отличия от управления другими проектами.

Во-первых, план такого проекта очень зависит от потоков входящей информации и отчетности, подготавливаемой на основе хранилище данных. При планировании проекта по управлению данными необходимо учитывать время, которое может быть потрачено на решение непредвиденных ситуаций. Например, могут возникнуть задержки, связанные с неготовностью исходных данных. Если возникает такая задержка, нужно иметь какие-то другие задачи, решением которых можно занять сотрудников.

Интеграция и взаимодействие с системами подготовки на основе хранилищ данных также важны для успешности проекта. Информация, полученная от этих систем, о качестве данных и формате должна быть должным образом обработана. Время, необходимое для этого, должно быть учтено при планировании проекта. Нужно учитывать все эти вопросы и заложить в проект время на их рассмотрение. Разработка отчета не зависит от успеха интеграции данных, а только от наличия завершенной модели данных. Создание и тестирование отчетов на модельных данных может помочь выявить потенциальные недостатки модели, прежде чем будет завершена разработка процессов извлечения, преобразования и загрузки. Не нужно ждать, пока будет закончена работа по интеграции данных, для того чтобы начать подготовку отчета.

Другой важный документ для менеджера такого проекта - это матрица требований и функциональности. Она нужна для того, чтобы отслеживать, в каких частях приложения реализуются требования. Этот документ составляется при помощи технических специалистов.

Также нужно отводить приемлемое время для решения одноразовых задач, таких как загрузка приложения или его начальная настройка. Решение этих задач требует немало времени.

Важно устанавливать контрольные точки и проводить еженедельные (или даже чаще) совещания и представлять отчеты с тем, чтобы определить риски до того, как они превратились в проблему. В проекте по интеграции данных риски обычно включают задержку в получении исходных данных, проблемы с качеством данных, вопросы производительности и изменения требований. Даже если проблему качества данных не всегда легко обнаружить, ее нужно диагностировать и задокументировать.

Другой фактор успеха - контроль изменений. Когда собраны все требования к проекту, достигнуто согласие относительно его масштаба, выделены необходимые ресурсы, менеджеру остается лишь осуществить его в указанные сроки. Однако если возникает потребность что-то изменить в процессе реализации проекта, это приведет к изменению в графике или ресурсах. Если эти изменения не отслеживаются должным образом, возникает риск нарушения целостности проекта.

После завершения проекта его руководитель должен, во-первых, обсудить его результаты с ключевыми сотрудниками, которые над ним работали. Анализ успехов и того, что можно было бы сделать лучше, дает возможность в будущем усовершенствовать выполнение проекта.

Заключение

Повышение качества данных - масштабный проект, требующий согласованности усилий и сотрудничества в работе с данными в компании в целом. Недостаток инвестиций, отсутствие координации усилий, недоверие сотрудников - все это может легко свести на нет работу по улучшению качества данных. А это поставит под удар всю компанию. Все больше компаний понимают это. Об этом, в частности, свидетельствует тенденция к выделению деятельности по улучшению данных в качестве отдельной профессии. Тем более, что проект по управлению данными имеет свои особенности, учесть которые может только специалист.

Публикации

1. Майк Фергюсон. Управление, риск и приведение в соответствие: создание данных, вызывающих доверие, для корпоративной отчетности (Mike Ferguson. Governance, Risk and Compliance Series: Creating Trusted Data for Enterprise Compliance). Август 2010 г.
2. Работа специалиста по качеству данных/информации (The Job of the Information/Data Quality Professional). Январь 2011 г.
3. Дон Стеффен. В чем отличается управление проектом по интеграции данных (Don Steffen. What is Different about Data Integration Project Management?). 2010 г.

Автор: По материалам зарубежных сайтов