Инструменты обеспечения качества данных: рынок растет, проблемы остаются

По данным аналитиков, спрос на инструменты обеспечения качества данных
растет, они стали доступнее для бизнес-пользователей.

Рынок инструментов обеспечения качества данных растет и развивается, о чем свидетельствуют результаты исследований. Все больше компаний проявляют интерес к этим программным продуктам и реализуют программы по повышению качества данных. Однако далеко не всем удается добиться успеха, и эксперты объясняют, почему.

Устойчивый рост и слияние

Как показали результаты исследования компании Gartner "Magic Quadrant for Data Quality Tools”, спрос на инструменты обеспечения качества данных остается высоким, при этом акцент делается на решения, поддерживающие программы управления данными, MDM-инициативы и усилия по модернизации приложений. Одна из основных тенденций на рынке, как выявил отчет, - слияние инструментов обеспечения качества данных с инструментами интеграции данных и диверсификацию моделей внедрения этих инструментов.

При этом наблюдается сближение рынка со смежными рынками инструментов интеграции данных и MDM-приложений. Эксперты объясняют это тем, что растет спрос на расширение возможностей управления данными.

Согласно полученным результатам, компании разных размеров и направлений деятельности признают важность высококачественных данных и критическую роль качества данных в управлении информацией. В связи с этим они проявляют повышенный интерес к использованию инструментов и технологий улучшения качества данных.

По оценке экспертов Gartner, в настоящее время на рынке представлен широкий ассортимент специализированных инструментов для решения самых разных проблем качества данных на разных уровнях. Эти инструменты предлагаются разными компаниями, крупными и небольшими, они существуют как в виде отдельных решений, так и как часть более крупных пакетов ПО.

Примечательно, что многие поставщики программных продуктов, относящихся к смежным рынкам ПО, таким как инструменты интеграции данных и MDM-решения, рассматривают функциональность, обеспечивающую качество данных, как фундаментальный компонент, который должен присутствовать в их продуктах. В результате отмечается рост числа соглашений о сотрудничестве между поставщиками MDM-решений, инструментов интеграции данных и качества данных. Это является ярким свидетельством того, что качество данных лежит в основе многих направлений деятельности, связанных с управлением данными.

По итогам 2010 года объем рынка инструментов обеспечения качества данных был равен приблизительно 800 млн. долларов, что на 12,6% выше по сравнению с 2009 годом. Согласно прогнозам, рынок будет ежегодно расти на 16% в течение следующих пяти лет. Среди отраслей наиболее существенный рост был зафиксирован среди финансовых институтов, государственных учреждений, предприятий телекоммуникационной отрасли и розничной торговли. Эксперты отмечают, что в 2011 году к ним присоединится и здравоохранение.

Кроме того, большинство компаний вкладывают значительные средства в проекты по обеспечению качества данных, которые выполняются силами сотрудников самой компании и поэтому редко фиксируются подобными исследованиями. Это, в свою очередь, дает возможность для последующей модернизации этих решений с помощью комплексных инструментов обеспечения качества данных, отмечают эксперты Gartner.

Также интересно то, что поставщики, предлагающие более широкие возможности в области обеспечения качества данных, наблюдают рост интереса к своим продуктам, несмотря на то, что 2010 год показал большой спрос на узкоспециализированные решения – предназначенные для стандартизации/проверки и согласования адресных данных. В целом поставщики предлагают в настоящее время широкий набор возможностей, начиная от анализа качества данных, профилирования и мониторинга основными операциями по очистке данных (парсинг, стандартизация и согласование) и заканчивая обогащением данных.

Кроме того, опрос выявил сближение и интеграцию технологий. Сегодня поставщики предлагают больше функциональности в рамках небольшого числа отдельных продуктов — большинство поставщиков консолидировали базовую функциональность по обеспечению качества данных в единую платформу, и только профилирование данных остается единственным основным функциональным компонентом, который обычно продается как отдельный продукт.

В сторону большей доступности

В то же время исследование Gartner показало, что возможности специализированных дополнений (такие как поддержка глобальных имен и адресов, базы знаний и инструментальные панели для показателей качества данных) довольно широко распространены и их число увеличивается по мере того, как поставщики приспосабливают свои ценовые модели к потребностям потенциальных покупателей. В частности, все больше поставщиков рассматривают бизнес-подразделений заказчиков как своих потенциальных потребителей, добавляя функциональность, которая доступна сотрудникам с меньшими техническими знаниями. Это согласуется с важной тенденцией, которую зафиксировал опрос: наблюдается изменение спроса, связанное с тем, что все больше компаний стремятся позволить тем, кто управляет данными: бизнес-аналитикам и другим сотрудникам бизнес-отделов - участвовать в процессе обеспечения качества данных.

Как и новички на рынке, так и те, кто на нем уже долго, предлагают технологии, концентрирующиеся на анализе качества данных, внедрении элементов управления качеством данных, мониторинге текущего состояния качества данных и гибкости в обращении с разными областями данных.

Также показательно, что рыночный спрос смещается в направлении мультидоменного использования (то есть в разных предметных областях), поскольку все больше компаний заявляют, что их усилия по улучшению качества данных больше не связаны с какой-то одной предметной областью. Они ищут мультидоменные технологии, оценивая возможные варианты на рынке. Как показали результаты опроса, около 40% респондентов активно работают над улучшением качества данных во многих предметных областях, наиболее часто это касается данных о клиентах/контрагентах и продуктах/сырье и материалах. В то время как большая часть активности в этих сферах связана с мастер-данными, значительный процент респондентов отметили, что они применяют инструменты обеспечения качества данных также и по отношению к транзакционным данным в этих областях.

О поставщиках

Исследование показало, что на рынке представлены самые разные поставщики, которые по-разному подходят к возможностям средств обеспечения качества данных. Крупные поставщики приложений и технологий рассматривают качество данных как дополнительный элемент в своем продуктовом портфолио. Инструменты обеспечения качества данных у них все чаще становятся частью комплексного предложения, включающего смежные продукты (инструменты интеграции данных и MDM-решения), что также свидетельствует о сближении рынков инструментов интеграции данных и качества данных.

Небольшие компании (с годовым доходом меньше 100 млн. долларов) предлагают инструменты обеспечения качества данных как отдельные решения и, как отмечают специалисты, могут пострадать от изменения экономических условий и увеличения конкурентного давления со стороны крупных поставщиков.

Человеческий фактор

 Элиот Кинг (Elliot King), ученый и бизнесмен, занимающийся информационными технологиями, комментируя результаты, полученные Gartner, обращает внимание, в первую очередь, на значительный рост рынка, который, по его мнению, обусловлен как прежним опытом использования BI и управления мастер-данными, так и появлением новых инициатив, например, проектов по управлению информацией. Также Кинг отмечает, что проекты по обеспечению качества данных выходят за пределы той узкой сферы, к которой существовали прежде. Компании находят новые способы использования этой технологии в рамках организации.

Примечательно, что Кинг, основываясь на отчете IDC, отмечает проблему, которая при всей своей очевидности, до сих пор не осознана многими компаниями: чем лучше подготовлены специалисты в области качества данных, тем более эффективные программы по улучшению качества данных компания сможет реализовать. В своем исследовании IDC изучала сотрудников, занимающихся качеством данных. Представители первой группы обучались обеспечению качества данных в течение 24 часов, представители второй - 16 часов. В результате сотрудники из первой группы выполняли поставленные задачи на 50-90% быстрее.

Как пишет Кинг, многие компании, несмотря на рост интереса к средствам обеспечения качества данных, по-прежнему испытывают трудности с разработкой понятных программ. По данным Forrester, из респондентов, работающих в компаниях, где уже используются инструменты обеспечения качества данных и имеются профессионалы в этой области, лишь 12% оценивают проекты по обеспечению качества данных как зрелые. А 49% опрошенных охарактеризовали возможности своих компаний в этой сфере как низкие или очень низкие.

Кинг обобщает сложившуюся на данный момент ситуацию следующим образом. Компании начинают уделять больше внимания обеспечению качества данных, но им предстоит преодолеть долгий путь, прежде чем оно станет неотъемлемой частью их организационной структуры.

Самый большой грех

Элиот Кинг пишет, что даже те компании, которые планируют улучшить качество своих данных, совершают ошибки при реализации этих проектов. При этом некоторые из них могут привести к печальным последствиям. Эксперт выделяет следующие ошибки, которые часто встречаются при внедрении проектов по обеспечению качества данных.

• Поиск одного ответа на все вопросы. Нужно понимать, говорит Кинг, что улучшение качества данных — сложный процесс, в котором задействованы люди, процессы и продукты. Никакой отдельный элемент технологии не сможет решить все проблемы разом.
• Концентрация на эффективности вместо качества. Многие компании закрывают глаза на проблемы с данными, поскольку конечные результаты их устраивают. Например, если кампания прямого маркетинга дала неплохие результаты, то компания может закрыть глаза на низкое качество списков рассылки.
• Предположение, что исходные данные точны. Большинство компаний получают данные из разных источников. Безопаснее будет исходить из предположения, что данные из каждого источника страдают несогласованностью, советует Кинг.
• Реагирование вместо упреждения. Слишком часто, пишет эксперт, компании дожидаются, пока некачественные данные приведут к нарушению важного процесса, и только после этого начинают решать проблему. По словам эксперта, в сфере качества данных самый большой грех — игнорировать проблему и не принимать никаких мер. Также Кинг обращает внимание на удивительный, с его точки зрения, факт – совсем немногие компании имеют сотрудников, специально и постоянно занимающихся решением вопросов, связанных с качеством данных. В отсутствии таких специалистов – корень большинства проблем, считает эксперт.

Недостаток автоматизации

Недавний опрос, проведенный компанией Dynamic Markets, выявил, что 23% британских компаний по-прежнему управляют клиентскими данными вручную, а 42% используют электронные таблицы для выявления проблем с данными. «Если ваша стратегия по качеству данных находится в Excel, тогда удачи! - говорит Джоел Карри (Joel Curry), управляющий директор QAS Experian. - Слишком много людей пытаются решать проблемы с качеством данных вручную. Это все равно, что использовать лопаты и плуги вместо тракторов в сельском хозяйстве. Excel не предназначен для использования в качестве инструмента обеспечения качества данных; это просто электронная таблица».

Публикации

1. Тед Фридман, Андреас Биттерер. «Магический квадрант для инструментов обеспечения качества данных» (Ted Friedman, Andreas Bitterer. Magic Quadrant for Data Quality Tools). 29 июля 2011 г.
2. Элиот Кинг. Основные тенденции в сфере качества данных (Elliot King. Key Trends in Data Quality). 21 июля 2011 г.
3. Элиот Кинг. Самый большой грех – грех недосмотра (Elliot King. The Biggest Sin is the Sin of Omission). 8 июля 2011 г.
4. Брайан Маккенна. Повышению качества данных препятствует отсутствие автоматизации (Brian McKenna. Data quality improvement impeded by lack of automation). 12 августа 2011 г.

Автор: По материалам зарубежных сайтов