Качество данных – условие успеха

В статье обсуждаются некоторые аспекты корпоративных программ по улучшению
качества данных, практика их внедрения и существующие
препятствия.

Качество данных и точная информация оказывают критическое влияние на процесс принятия решений, поэтому вопрос его обеспечения является достаточно острым и с каждым годом приобретает всё большую актуальность для организаций во всём мире. Весной 2012 года Международная ассоциация качества данных и информации (International Association for Information and Data Quality, IAIDQ) и сотрудники Арканзасского Университета в Литтл-Роке (University of Arkansas at Little Rock) провели исследование, целью которого было выяснение методов, опираясь на которые организации управляют качеством информации и данных. Результаты основываются на опросе представителей из различных отраслей экономики.

Эффективность мероприятий по обеспечению качества данных

Хорошим показателем зрелости организации является эффективность мероприятий по обеспечению качества данных. 46.1% респондентов заявили, что она находится на удовлетворительном уровне (то есть некоторые поставленные цели достигаются). Приятным открытием стало то, что 21.7% респондентов выбрали оценку «хорошо» (достигнуто большинство целей) и 2.2% - «отлично» (достигнуты все цели). С другой стороны, 20% респондентов оценивают свои мероприятия по обеспечению качества данных как неудовлетворительное, то есть достигаются лишь некоторые поставленные цели, а 6.5% выбрали оценку «плохо», считая, что не добились практически ничего.

Признание информации и данных стратегическим активом значительно распространилось по сравнению с 2008 годом. На тот момент с этим положением были согласны 58% участников опроса, 17% придерживались нейтральной точки зрения и 25% категорически отрицали. Сегодня же 70% респондентов признают, что данные являются стратегическим активом, 17.5% по-прежнему сохраняют нейтралитет, а не согласны с этой точкой зрения лишь 12%.

Основные препятствия

Участники опроса подтвердили, что сталкиваются с множеством препятствий улучшению качества данных. Опрашиваемые чаще всего выбирали следующие варианты в качестве основных проблем (в порядке убывания значимости):

• Отсутствие подотчётности и ответственности за качество данных (55.4%)
• Избыток разрозненной информации (51.8%)
• Неосведомлённость о масштабах проблем качества данных (51.4%)
• Отсутствие общего понимания значения термина «качество данных» (50.2%)

Все предопределённые варианты вопросника также собрали многочисленные голоса. Кроме того, в дополнение к перечисленным проблемам, респонденты представили несколько своих вариантов:

• Отсутствие ресурсов (в том числе и персонала) для решения вопросов качества данных, стоимость введения эффективной программы обеспечения качества данных, сопутствующие затраты на соответствующий инструментарий и автоматизацию.
• Устаревшие политики, планы и процедуры.
• Отсутствие ориентированных на потребителя правил обеспечения качества данных.
• Отсутствие понимания своего влияния на качество со стороны сотрудников, отвечающих за получение данных.
• Недостаточная информированность о воздействии частых организационных изменений на контекстный смысл и удобство использования активов данных.
• Мнение, что качество данных - это исключительно бизнес-проблема, которая не может быть решена с помощью ИТ-специалистов.

Вопросы терминологии

Участники опроса назвали термин «Управление качеством данных» как наиболее часто используемый для определения мероприятий по обеспечению качества данных. Слову «данные» было отдано предпочтение перед словом «информация» в 70% случаев. Кроме того, респонденты предложили такие термины как «управление корпоративными данными», «управление основными данными», «информационная архитектура», «качество данных», «целостность данных» и «управление качеством». Некоторые участники признали, что в организации нет устоявшегося определения, поскольку на данный момент отсутствуют какие-либо достижения в области обеспечения качества данных. Прочие отметили, что в их организации используется несколько терминов, в связи с отсутствием последовательной системы управления данными и информацией.

Способы оценки влияния качества данных на бизнес

Выяснилось, что для оценки влияния качества данных на бизнес только финансовые показатели использовали лишь 14% респондентов. Некоторые участники опроса признали, что не имеют никаких процедур для проведения подобной оценки. Кроме того, респонденты поделились следующими применяемыми методами:

• ·         Кадры, необходимые для решения проблемы (единицы или человеко-часы)
• ·         Полное время, требующееся на выполнение клиентских запросов
• ·         Аудит данных
• Пороги качества данных
• Количественные показатели данных, такие как % точности
• Рейтинги удовлетворённости клиентов
• Жалобы клиентов
• Репутационный риск
• Клиническая безопасность
• Ключевые показатели эффективности, использующиеся для оценки клиентом цели в соглашении об уровне обслуживания
• Дефекты

«Качество» данных?

В своей статье «Некоторые мысли о качестве данных» (Some thoughts about data ‘quality’) Клаус Фельш (Klaus Felsche), директор по аналитике австралийского департамента по вопросам гражданства и иммиграции, озвучил свой взгляд на то, как следует интерпретировать термин «качество данных».

По мнению эксперта, «качество» является качественной, а иногда и эмоциональной оценкой того, насколько имеющиеся данные пригодны для аналитики. «Некоторые опускают руки и забрасывают все попытки заставить данные работать уже после беглого взгляда на имеющуюся информацию - говорит Клаус. - Я склонен отказаться от слова «качество», поскольку оно принижает возможности квалифицированных аналитиков и сложного программного обеспечения и приводит менеджеров к предвзятому суждению о том, что возможно, а что – нет». По его словам, гораздо конструктивнее рассмотреть вопрос о том, насколько имеющиеся данные поддерживают процессы с допустимой точностью. Другими словами – достаточно ли данные ценны, чтобы являться пригодными.

Клаус Фельш делится еще одним интересным наблюдением. Данные редко собираются непосредственно для аналитиков. Как правило, приходится иметь дело с данными, собранными для поддержки бизнес-процессов. Даже если потребности в аналитике учитываются на начальных стадиях проекта, к моменту, когда надо получать данные, чтобы предоставлять отчеты, выясняется, что задаваемые вопросы не предполагались, когда определялась структура данных.

Таким образом, перед аналитиками формулируется двойное задание. Во-первых, аналитик пытается строить модели, учитывающие проблемы, связанные с необходимостью обеспечить допустимо высокую точность информации исходя из имеющихся данных; во-вторых, он формирует список данных, который позволит расширить процесс, если бы данные были бы доступны. Этот список может быть представлен руководству, чтобы учитываться при будущих модернизациях систем. Необходимо убедиться в наличии бизнес-процесса, способного превращать предложения аналитиков в последующее совершенствование системы, или создать таковой.

Публикации

1. Отчёт IAIDQ "Текущая ситуация в сфере качества данных". (The State of Information and Data Quality 2012 Industry Survey& Report) ноябрь 2012 г.
2. Клаус Фельш. Некоторые мысли о "качестве" данных. (Klaus Felsche. Some thoughts about data ‘quality’) 16 июля 2012 г.

Автор: По материалам зарубежных сайтов