- 31 января 2011 г.
Данные и информация - борьба за качество
В статье, основанной на наблюдениях и оценках исследовательских компаний
Gartner, Forrester Research и Forbes Insights, рассматриваются основные
проблемы, с которыми сталкиваются компании в процессе реализации проектов по
улучшению качества данных, и даются практические советы по их решению.
В течение многих лет специалисты в области качества данных в крупных организациях чувствовали себя аутсайдерами, поскольку все их предостережения о негативном влиянии некачественных данных на бизнес оставались без должного внимания руководства. Как правило, предпринимались одноразовые меры по улучшению качества данных в рамках отдельных проектов, но концепция качества данных в рамках целого предприятия была далека от всеобщего признания. Однако в последние три-пять лет, как отмечают аналитики Forrester Research, наблюдается значительный рост интереса к использованию лучших методик и технологий по улучшению качества данных в разных организациях. Что же послужило причиной того, что отношение к качеству данных изменилось?
Спрос на качество растет
Эксперты считают, что в основе лежит осознание того, что многие проекты по построению хранилищ данных, внедрению приложений по управлению эффективностью бизнеса и инструментов бизнес-аналитики дают результаты ниже ожидаемых. Причина одна и та же: недоверие пользователей к получаемым данным. В то же время немалую роль сыграл экономический спад 2008 года, который поставил перед руководителями организаций вопрос: как еще можно снизить издержки, уменьшить риски и выполнять требования регуляторов? Ответом стали инвестиции в повышение качества данных наряду с повышением эффективности управления данными.
Спрос на инструменты по улучшению качества данных остается высоким: наблюдается как существенный рост, так и тенденция к сближению рынка инструментов качества данных со средствами управления нормативно-справочной информацией. Компании самых разных размеров и из разных сфер бизнеса признают важность высококачественной информации и критическую роль качества данных в управлении информацией и руководстве предприятием.
Понимание того, что управление качеством данных неотделимо от других смежных областей - BPM, BI и других, приводит к тому, что многие производители ПО заключают партнерские соглашения друг с другом. Компании предлагают самый широкий спектр функциональности: анализ качества данных, профилирование и мониторинг, базовые операции по очистке данных, стандартизацию, синтаксический анализ (парсинг), устранение дублирующихся записей и обогащение данных.
По данным Gartner, рынок инструментов качества данных уже в конце 2009 года оценивался в 727 млн. долларов и, согласно прогнозам, в течение ближайших четырех лет будет расти на 12% ежегодно. Это результат значительного внимания, которое организации уделяют различным проектам, связанным с данными. Вместе с тем для большинства организаций эта область деятельности достаточно новая, и многие компании, пытающиеся реализовать проекты по улучшению качества данных, сталкиваются с разными проблемами.
Низкое качество данных - это не только убытки
Согласно данным опроса, проведенного в Европе и Северной Америке аналитической компанией The Information Difference, треть опрошенных оценила качество данных в своих организациях как очень низкое. При этом только 37% опрошенных имеют проекты, связанные с улучшением качества данных, а 63% респондентов даже не пытались подсчитать потери, возникающие в связи с низким качеством данных.Джей Бурланд (Jay Bourland), специалист компании PBBI, занимающейся управлением данными, не удивлен результатами опроса. "По моему опыту, нет ничего необычного в том, что людям не нравятся грязные данные, но они не понимают, как изменить ситуацию", - говорит он.
Низкое качество данных может принести организации серьезные финансовые убытки. Например, один из респондентов заявил, что его компания потеряла около 20 млн. фунтов стерлингов: часть товаров компании, хранившаяся на складе, не была продана из-за того, что товары просто "потерялись" в системах компании.
Филипп Ховард (Philip Howard), директор по исследованиям консалтинговой компании Bloor Research, отмечает, что низкое качество данных может привести к более плачевным результатам, чем просто финансовые потери для компании. Если европейские компании не будут уделять больше внимания качеству данных, Европа окажется далеко позади американских и азиатских компаний, предостерегает Ховард. По его мнению, низкое качество данных и проблемы конкурентоспособности - это "симптомы одной болезни".
Есть и другой аспект, связанный с проблемой качества данных - соответствие новым требованиям государственной отчетности. С этим столкнулись многие компании в секторе финансовых услуг в Великобритании. К примеру, банки должны теперь подавать большее число отчетов, основанных на "чистой" и последовательной информации. Разумеется, это отразилось на IT-бюджетах компаний: если раньше на составление отчетности уходило около 15% бюджета IT-отдела, то сейчас расходы возросли до 20-25%. Такую оценку дает Рейчел Хант (Rachel Hunt), банковский аналитик компании IDC. "Дело в том, что данные в большинстве компаний хранятся в разных приложениях и обрабатываются различными системами, не всегда связанными между собой, и соответственно получение нужной информации занимает очень много времени" - так комментирует эту ситуацию аналитик. Она также считает, что затраты на приведение данных в соответствие с требованиями регуляторов "как правило, крайне недооценены".
Согласно отчету Forbes Insights (аналитического подразделения Forbes) "Управляя информацией в компании: перспективы для лидеров" ("Managing Information in the Enterprise: Perspectives for Business Leaders"), проблемы, вызванные низким качеством данных, обходятся большинству опрошенных компаний более чем в 5 млн. долларов ежегодно.
Качество данных и эффективность
Отчет наглядно продемонстрировал, что немногим компаниям удается избежать проблем с качеством данных. Ричард Вест (Richard West), президент компании Peachtree Data Inc., которая занимается очисткой маркетинговых списков рассылок для многих компаний и обрабатывает более 1 млрд. записей в месяц, отмечает, что даже самые безупречные бренды, с которыми работает его компания, имеют проблемы с качеством данных: от 5 до 7% записей о каждом новом покупателе неправильны.По мнению специалистов, первый важный шаг, который может сделать компания, чтобы решить эти проблемы - это признать, что проблемы с данными существуют и затем определить, в чем именно они заключаются.
Ни у кого нет совершенных данных. Компании всех размеров и направлений деятельности испытывают проблемы с данными. Процессы сбора данных могут дублироваться, что приводит к неоправданным расходам. Некачественные данные могут неверно информировать тех, кто принимает решения, что также скажется на финансовом состоянии компании.
Несмотря на то, что убытки от низкокачественных данных легко установить и оценить, стоимость мер по улучшению качества данных установить гораздо сложнее. Дело в том, что зачастую не существует одной, ясно обозначенной цели, которая может быть достигнута, а результат измерен. В большинстве случаев выгода от управления информацией в компании достигается повседневным уменьшением ошибок в решениях компании и конечных производственных усовершенствованиях (например, повышении производительности труда).
По мнению авторов отчета, это расстроит IT-менеджеров, привыкших к проектам с четко прописанным бюджетом. Но учитывая общий консенсус относительно стратегической ценности информации и признания неприемлемости высоких затрат из-за низкого качества данных, эффективные руководители могут помочь IT и другим отделам определить и решить ключевые вопросы, связанные с качеством данных.
Свои выводы по каждой проблемной области составители отчета сопроводили рекомендациями, здесь и ниже они даны в виде списка.
- Оцените состояние качества данных, начиная с элементов, имеющих высокий приоритет (данные о поставщиках, клиентах, материалах или продукции). Соответствует ли качество этих данных вашим ожиданиям?
- Оцените, как ошибочные или сомнительные данные влияют на способность вашей компании принимать разумные, взвешенные решения.
- Определите, во сколько обходятся затраты, связанные с качеством данных. Начните с изучения одной бизнес-задачи/процесса (например, предоставление информации по продукту посредникам или создание записи о клиенте в CRM-системе).
- Определите влияние вопросов, связанных с данными, на текущие аналитические или учетные системы (BI или ERP). Выясните, что помогает сотрудникам в этих областях делать свою работу, с какими препятствиями они сталкиваются и как их преодолевают.
IT и другие отделы: разность представлений
В то время как руководители IT и других отделов согласны, что в организации существуют проблемы с информацией, у них разные представления о том, где и почему эти проблемы существуют. Эти разногласия могут помешать в процессе улучшения качества данных.В ходе опроса Forbes Insights выяснилось, что руководители бизнес-отделов имеют более низкое мнение о качестве данных, чем сотрудники IT. Примечательно, что респонденты из отделов, непосредственно работающих с данными (финансовый, продаж и маркетинга), ниже всего оценивают качество данных. Среди основных проблем они называли противоречивость данных и их несогласованность (40%). С другой стороны руководители IT-подразделений демонстрируют технический подход, называя среди главных проблем дублирование данных (38%) и миграцию данных (38%).
Эти расхождения могут осложнить работу по улучшению качества данных, поскольку будет нелегко достигнуть соглашения, на чем именно следует сфокусировать свои усилия. Руководители и их отделы будут стараться продвигать те решения, которые наилучшим образом решают их специфические проблемы, чем те, которые касаются организации в целом.
Рекомендации Forbes Insights:
- Создайте комитет по управлению данными и поощряйте активное участие в работе комитета представителей всех отделов.
- Вовлекайте ключевых лиц предприятия в определение того, где существуют проблемы с качеством данных и как можно расставить приоритеты.
- Старайтесь не концентрировать внимание на "совершенном" качестве данных, фокусируя внимание на целостности и использовании информации.
Кто владеет данными?
Организации борются с естественными барьерами между пользователями из бизнес-отделов и профессионалами по управлению данными из IT-отделов. Первые рассматривают информацию и управление ею как свою прерогативу. Вторые, не оспаривая этого, исходят из того, что системы управления данными и информацией находятся в их ведении. В результате возникает разделение на два противоборствующих лагеря, особенно когда речь заходит о качестве данных. Результаты опроса ясно это показали. Около четырех пятых руководителей IT-отделов считают, что они ответственны за качество данных, в то время как более половины руководителей бизнес-подразделений думают, что ответственность несут те, кто вводит и использует данные. Подобная неопределенность во взглядах, кто отвечает за данные, становится главным препятствием в процессе реализации программы управления информацией в компании. При этом каждая из указанных групп винит другую в возникновении проблемы. Выход из данной ситуации только один - сотрудничество между отделами. Каждый сотрудник отвечает за правильность вводимой информации в разных системах. IT-специалисты отвечают за доступность, полноту и конфиденциальность этой информации.Рекомендации Forbes Insights:
- Обсуждайте вопросы управления данными и меры, необходимые для достижения баланса между IT и другими отделами в проектах по управлению данными.
- Рассмотрите вопрос о том, чтобы оценивать эффективность менеджера в зависимости от степени его участия в проектах по управлению информацией.
- Ясно и четко расписывайте ответственность и отчетность во всех областях управления данными.
Знание и сотрудничество
Без тесного сотрудничества между IT и бизнес-отделами реализация проектов по управлению информацией становится весьма проблематичной. Данные исследования показали, что во многих организациях топ-менеджеры зачастую не знают о многих программах по управлению информацией, которые реализуются в компании. Например, по словам IT-менеджеров, 51% компаний проводили у себя проекты по управлению качеством данных. Но только 25% руководителей знали об этом. Поощрение сотрудничества в области качества данных в компании может улучшить ситуацию в целом.Рекомендации Forbes Insights:
- Знают ли менеджеры бизнес-отделов о проектах по управлению информацией? Включите их в состав комитета по управлению данными. Объясните им, как качество информации влияет на деловые операции. Пусть они осознают свою ответственность.
- Удостоверьтесь, что IT-отдел информирует бизнес-отделы об успехах в развитии проектов по улучшению информации.
Управление информаций сегодня
Несмотря на перечисленные проблемы, многие компании (45% опрошенных) реализуют проекты по управлению информацией, а 31% в настоящее время работает над их внедрением. И это неудивительно, что интеграция данных, управление качеством данных и управление НСИ входят в число важнейших проектов, внедряемых как часть программы по управлению информацией предприятия.Примечательно, что руководители финансовых отделов, продаж и маркетинга называют своим приоритетным проектом бизнес-аналитику (BI), не понимая при этом, что управление интеграцией данных, качеством данных и НСИ - проекты, используемые для поддержки BI-решений.
Большинство организаций планируют увеличить бюджетные расходы на проекты по управлению информацией, несмотря на экономические трудности.
Рекомендации Forbes Insights:
- Посмотрите, как вы распределяете средства на управление информацией.
- Какие шаги предпринимает ваша организация для извлечения информации из неструктурированных данных?
- Выясните, где создаются мастер-данные, как они управляются и как много контроля требуется на локальном уровне.
- Оцените эффективность, с которой ваши сотрудники могут найти документы, связанные с бизнес-процессами, за которые они отвечают.
Заключение
В целом тенденции развития рынка в 2010 году показали, что все больше компаний осознают стратегическую важность управления данными и их качеством и понимают, что пренебрежение этим направлением деятельности обойдется компании намного дороже, чем затраты на внедрение подобных проектов. Также стало очевидно, что одна из главных проблем в реализации проектов по управлению информацией заключается не в поиске средств на него, а в людях и процессах.
Как показал опрос Forbes Insights, большинство организаций увеличат или оставят на прежнем уровне бюджеты на программы по управлению информацией предприятия. Эта тенденция подтверждает стратегическую важность управления информацией. Более всего вырастет бюджет на проекты по управлению качеством данных (так заявили 34% респондентов), на втором месте - внедрение хранилищ данных (29%), на третьем - бизнес-аналитика (27%).
Публикации
- Трейси Колдвелл. Новые правила УФУ направляют усилия по управлению качеством данных в банках (Tracey Caldwell. New FSA rules push financial data quality management efforts at banks). 26 июля 2010 г.
- Трейси Колдвелл. Низкое качество данных: во что обходятся грязные данные организациям Соединенного Королевства? (Tracey Caldwell. Poor data quality: what is dirty data costing U.K. organizations?). Апрель 2010 г.
- Управляя информацией в компании: перспективы для лидеров. Forbes Insights. ("Managing Information in the Enterprise: Perspectives for Business Leaders"), 2010 г.
- Роб Карел. Forrester Wave: платформы качества данных для предприятий (Rob Karel. The Forrester Wave: Enterprise Data Quality Platforms). Октябрь 2010 г.
Автор: По материалам зарубежных сайтов