В течение многих лет специалисты в области качества данных в крупных организациях чувствовали себя аутсайдерами, поскольку все их предостережения о негативном влиянии некачественных данных на бизнес оставались без должного внимания руководства. Как правило, предпринимались одноразовые меры по улучшению качества данных в рамках отдельных проектов, но концепция качества данных в рамках целого предприятия была далека от всеобщего признания. Однако в последние три-пять лет, как отмечают аналитики Forrester Research, наблюдается значительный рост интереса к использованию лучших методик и технологий по улучшению качества данных в разных организациях. Что же послужило причиной того, что отношение к качеству данных изменилось?
Эксперты считают, что в основе лежит осознание того, что многие проекты по построению хранилищ данных, внедрению приложений по управлению эффективностью бизнеса и инструментов бизнес-аналитики дают результаты ниже ожидаемых. Причина одна и та же: недоверие пользователей к получаемым данным. В то же время немалую роль сыграл экономический спад 2008 года, который поставил перед руководителями организаций вопрос: как еще можно снизить издержки, уменьшить риски и выполнять требования регуляторов? Ответом стали инвестиции в повышение качества данных наряду с повышением эффективности управления данными.
Спрос на инструменты по улучшению качества данных остается высоким: наблюдается как существенный рост, так и тенденция к сближению рынка инструментов качества данных со средствами управления нормативно-справочной информацией. Компании самых разных размеров и из разных сфер бизнеса признают важность высококачественной информации и критическую роль качества данных в управлении информацией и руководстве предприятием.
Понимание того, что управление качеством данных неотделимо от других смежных областей - BPM, BI и других, приводит к тому, что многие производители ПО заключают партнерские соглашения друг с другом. Компании предлагают самый широкий спектр функциональности: анализ качества данных, профилирование и мониторинг, базовые операции по очистке данных, стандартизацию, синтаксический анализ (парсинг), устранение дублирующихся записей и обогащение данных.
По данным Gartner, рынок инструментов качества данных уже в конце 2009 года оценивался в 727 млн. долларов и, согласно прогнозам, в течение ближайших четырех лет будет расти на 12% ежегодно. Это результат значительного внимания, которое организации уделяют различным проектам, связанным с данными. Вместе с тем для большинства организаций эта область деятельности достаточно новая, и многие компании, пытающиеся реализовать проекты по улучшению качества данных, сталкиваются с разными проблемами.
Джей Бурланд (Jay Bourland), специалист компании PBBI, занимающейся управлением данными, не удивлен результатами опроса. "По моему опыту, нет ничего необычного в том, что людям не нравятся грязные данные, но они не понимают, как изменить ситуацию", - говорит он.
Низкое качество данных может принести организации серьезные финансовые убытки. Например, один из респондентов заявил, что его компания потеряла около 20 млн. фунтов стерлингов: часть товаров компании, хранившаяся на складе, не была продана из-за того, что товары просто "потерялись" в системах компании.
Филипп Ховард (Philip Howard), директор по исследованиям консалтинговой компании Bloor Research, отмечает, что низкое качество данных может привести к более плачевным результатам, чем просто финансовые потери для компании. Если европейские компании не будут уделять больше внимания качеству данных, Европа окажется далеко позади американских и азиатских компаний, предостерегает Ховард. По его мнению, низкое качество данных и проблемы конкурентоспособности - это "симптомы одной болезни".
Есть и другой аспект, связанный с проблемой качества данных - соответствие новым требованиям государственной отчетности. С этим столкнулись многие компании в секторе финансовых услуг в Великобритании. К примеру, банки должны теперь подавать большее число отчетов, основанных на "чистой" и последовательной информации. Разумеется, это отразилось на IT-бюджетах компаний: если раньше на составление отчетности уходило около 15% бюджета IT-отдела, то сейчас расходы возросли до 20-25%. Такую оценку дает Рейчел Хант (Rachel Hunt), банковский аналитик компании IDC. "Дело в том, что данные в большинстве компаний хранятся в разных приложениях и обрабатываются различными системами, не всегда связанными между собой, и соответственно получение нужной информации занимает очень много времени" - так комментирует эту ситуацию аналитик. Она также считает, что затраты на приведение данных в соответствие с требованиями регуляторов "как правило, крайне недооценены".
Согласно отчету Forbes Insights (аналитического подразделения Forbes) "Управляя информацией в компании: перспективы для лидеров" ("Managing Information in the Enterprise: Perspectives for Business Leaders"), проблемы, вызванные низким качеством данных, обходятся большинству опрошенных компаний более чем в 5 млн. долларов ежегодно.
По мнению специалистов, первый важный шаг, который может сделать компания, чтобы решить эти проблемы - это признать, что проблемы с данными существуют и затем определить, в чем именно они заключаются.
Ни у кого нет совершенных данных. Компании всех размеров и направлений деятельности испытывают проблемы с данными. Процессы сбора данных могут дублироваться, что приводит к неоправданным расходам. Некачественные данные могут неверно информировать тех, кто принимает решения, что также скажется на финансовом состоянии компании.
Несмотря на то, что убытки от низкокачественных данных легко установить и оценить, стоимость мер по улучшению качества данных установить гораздо сложнее. Дело в том, что зачастую не существует одной, ясно обозначенной цели, которая может быть достигнута, а результат измерен. В большинстве случаев выгода от управления информацией в компании достигается повседневным уменьшением ошибок в решениях компании и конечных производственных усовершенствованиях (например, повышении производительности труда).
По мнению авторов отчета, это расстроит IT-менеджеров, привыкших к проектам с четко прописанным бюджетом. Но учитывая общий консенсус относительно стратегической ценности информации и признания неприемлемости высоких затрат из-за низкого качества данных, эффективные руководители могут помочь IT и другим отделам определить и решить ключевые вопросы, связанные с качеством данных.
Свои выводы по каждой проблемной области составители отчета сопроводили рекомендациями, здесь и ниже они даны в виде списка.
В ходе опроса Forbes Insights выяснилось, что руководители бизнес-отделов имеют более низкое мнение о качестве данных, чем сотрудники IT. Примечательно, что респонденты из отделов, непосредственно работающих с данными (финансовый, продаж и маркетинга), ниже всего оценивают качество данных. Среди основных проблем они называли противоречивость данных и их несогласованность (40%). С другой стороны руководители IT-подразделений демонстрируют технический подход, называя среди главных проблем дублирование данных (38%) и миграцию данных (38%).
Эти расхождения могут осложнить работу по улучшению качества данных, поскольку будет нелегко достигнуть соглашения, на чем именно следует сфокусировать свои усилия. Руководители и их отделы будут стараться продвигать те решения, которые наилучшим образом решают их специфические проблемы, чем те, которые касаются организации в целом.
Рекомендации Forbes Insights:
Рекомендации Forbes Insights:
Рекомендации Forbes Insights:
Примечательно, что руководители финансовых отделов, продаж и маркетинга называют своим приоритетным проектом бизнес-аналитику (BI), не понимая при этом, что управление интеграцией данных, качеством данных и НСИ - проекты, используемые для поддержки BI-решений.
Большинство организаций планируют увеличить бюджетные расходы на проекты по управлению информацией, несмотря на экономические трудности.
Рекомендации Forbes Insights:
В целом тенденции развития рынка в 2010 году показали, что все больше компаний осознают стратегическую важность управления данными и их качеством и понимают, что пренебрежение этим направлением деятельности обойдется компании намного дороже, чем затраты на внедрение подобных проектов. Также стало очевидно, что одна из главных проблем в реализации проектов по управлению информацией заключается не в поиске средств на него, а в людях и процессах.
Как показал опрос Forbes Insights, большинство организаций увеличат или оставят на прежнем уровне бюджеты на программы по управлению информацией предприятия. Эта тенденция подтверждает стратегическую важность управления информацией. Более всего вырастет бюджет на проекты по управлению качеством данных (так заявили 34% респондентов), на втором месте - внедрение хранилищ данных (29%), на третьем - бизнес-аналитика (27%).