Консалтинг и автоматизация в области управления
эффективностью банковского бизнеса

Журнал ВРМ World

Понятие "Качество данных" и его значение для информационных технологий

Что такое качество данных

Качество данных (или качество информации) можно определять по-разному. В данном случае мы будем определять это понятие как информацию, полностью соответствующую требованиям потребителя. Более детально это понятие можно определить как процесс компоновки информации (включающей имена, адреса реальной и электронной почты, телефонные номера, коды комплектующих, SSN и SKU, в логически согласованном порядке), очистки и усовершенствования данных, а также объединения соответствующих записей с целью устранения дублирования элементов.

Различие между программным обеспечением, обеспечивающим качество данных, и ETL-решениями

В самом простом понимании программное обеспечение ETL (extract, transform, load - "извлечь, преобразовать, загрузить") выполняет следующее: извлекает записи/поля из одного источника данных, конвертирует данные в новые форматы и загружает этих данных в место назначения. Программное обеспечение, обеспечивающее качество данных, в свою очередь, работает исключительно с содержимым отдельных записей, обеспечивая их точность, актуальность и согласованное представление. Следует заметить, что существует партнерство поставщиков-лидеров рынка ETL и ведущих разработчиков систем обеспечения качества данных, результатом которого являются полнофункциональные, целостные и простые решения.

Реализация решений в области качества данных на предприятии

Существует несколько способов реализации на предприятии решения по обеспечению качества данных. Какими бы ни были требования конкретного решения, в любом случае покупатели предпочитают выбирать поставщика, предлагающего быструю реализацию своего решения в рамках уже существующей на предприятии архитектуры. Некоторые возможности реализации (связь с решениями третьих фирм, интеграцию с приложениями пользователя, пакетное решение или Интернет-доступ) можно получить у поставщика сервиса приложений (application service provider, ASP).

Когда и как следует интегрировать средства обеспечения качества данных в проект

Средства обеспечения качества данных должно интегрироваться везде, где данные вводятся, загружаются, обрабатываются или обновляются. Обеспечение качества данных должно быть встроено в начальные фазы проектов электронного бизнеса, CRM, BI и ERP. Многие проекты уделяют внимание качеству данных слишком поздно - когда данные уже находятся в репозитории или в том случае, когда проект уже потерпел неудачу. Не встраивая средства обеспечения качества данных в каждой точке соприкосновения информации с потребителем, как в клиентской, так и в серверной части, предприятие обрекает себя на огромные затраты времени и средств для очистки данных.

Значение качества данных для CRM, ERP, BI/Хранилищ данных и промежуточных приложений

Необходимо тщательно рассмотреть унаследованные системы предприятия и качество данных, содержащихся в каждой из них. Одна система может содержать более надежные данные, чем другая. Некоторые могут хранить данные в желаемом формате, а статистика может поступать извне. Целью проектов CRM, ERP, BI/Хранилищ данных и промежуточного программного обеспечения является сбор данных из различных систем для использования в различных подразделениях предприятия для различных целей, и в итоге повышение эффективности работы компании. Точность данных исключительно важна для анализа, прогнозирования и построения отношений с клиентами. Даже если каждая из систем, поставляющих данные для нового проекта, содержит лишь небольшой процент "плохих" данных, при их объединении, этот процент растет по экспоненциальному закону.

Интеграция решения в области качества данных с другими программными приложениями

Решения в области обеспечения качества данных могут полностью интегрироваться с решениями в области CRM, ETL, ERP или BI так, что конечный пользователь только выиграет, получив целостную полнофункциональную систему, не требующую обучения персонала работе с различными программными продуктами и позволяющую сократить время внедрения. Процесс обработки данных, имеющийся на предприятии, не должен преобразовываться для соответствия новому решению. Благодаря интеграции и стратегическому партнерству имеется возможность выбрать наиболее подходящее решение. Но следует иметь ввиду, что решение вовсе не обязательно должно быть полностью интегрированным. Некоторые поставщики предлагают инструменты, легко интегрируемые силами специалистов предприятия, и часто такие автономные решения оказываются наиболее эффективными для конкретных проектов.

Для cистем реального времени требуются решения в области обеспечения качества данных, также предназначенные для работы в реальном времени. Это могут быть специализированные пакеты программного обеспечения, предназначенные для высокоскоростной обработки транзакций, или, вероятнее всего, онлайновые системы с возможностью удаленного доступа (например, предлагаемые ASP). Системы реального времени могут обеспечивать интерфейсную очистку и проверку допустимости, а также обогащение данных для сайтов, центров обработки заказов и других точек ввода данных. Предложенные в прошедшем году рядом поставщиков онлайновые решения встретили широкое признание у Интернет-торговцев.

Асинхронные/пакетные системы могут работать либо на клиентском рабочем месте, являющемся источником данных, либо с помощью асинхронных процессов на централизованном сервере. Для многих компаний такая регулярная очистка данных является существенным компонентом управления взаимоотношениями с клиентами.

Обработка интернациональных данных

Для построения отношений с вашими клиентами по всему миру в первую очередь необходимо иметь точное единое представление о том, кто, собственно, они такие. Качество данных о клиентах на международном уровне может быть во многом аналогично его обеспечению в рамках одной страны. Следует просто обратить внимание на поставщиков, чьи продукты позволяют идентифицировать названия стран, форматировать и стандартизировать адреса, исправлять утраченные адреса и присваивать почтовые индексы каждой стране. Определение адреса исключительно важно и для эффективной работы с потребителем. Поэтому необходимо убедиться, что ваше программное обеспечение содержит возможности перевода на региональные языки для многоязычных стран, а также полного распознавания диакритических знаков. Хорошее средство обеспечения качества данных позволяет работать с потребителями по всему миру.

Стоимость решений в области качества данных

Понимание различных аспектов, связанных с потребностями клиентов и их значением для предприятия (т.е. моделей совершения покупок, предпочтений и демографических вопросов) является прямым следствием реализации решения, обеспечивающего качество данных. Без такого понимания клиентов анализ доходов и проекты неточны, маркетинговые кампании менее эффективны, а бизнес-решения основываются на недостаточных данных. И хотя каждое решение в области обеспечения качества данных требует определенных затрат на приобретение лицензии, эти затраты можно рассматривать как инвестиции в будущий рост прибылей предприятия.

Простота обслуживания решения в области качества данных

Как только решение в области обеспечения качества данных реализовано, оно не должно требовать сложного и постоянного обслуживания. Как только оно реализовано и сконфигурировано, обслуживание как правило требуется исключительно в случае получения нового релиза или принятия решения об изменении приложения или бизнес-правил. Для уменьшения затрат на установку новых релизов следует выбирать решения, легко сохраняющие и преобразующие ваши бизнес-правила.

Преимущества реализации решений в области качества данных

Самым большим выигрышем от реализации таких решений является уверенность в точности ваших данных. Но, кроме того, решение в области обеспечения качества данных позволяет также:

  • Управлять данными о потребителях, содержащимися в различных форматах в отдельных базах данных.
  • Консолидировать множество тождественных друг другу данных по одному и тому же потребителю, поступающих из разных унаследованных источников, и создавать единое представление о потребителе.
  • Помогать организациям создавать и поддерживать успешные отношения с потребителем.
  • Обеспечивать информацией по качеству данных - когда угодно, где угодно и на любом устройстве - для помощи предприятиям в деле улучшения понимания и обслуживания клиентов.
  • Усовершенствовать управление знаниями и бизнес-анализ (business intelligence) с помощью более надежной и точной информации.
  • Обеспечивать всевозможные оперативные и аналитические приложения предприятия чистыми и надежными данными, поступающими по разветвленным информационным каналам.

Усовершенствование приложений электронной коммерции с помощью обеспечения качества данных

Качество данных важно для любого бизнес-сайта. На самом деле невнимательность клиентов и ошибки, возникающие благодаря человеческому фактору, являются исключительно важным моментом в проведении надежных транзакций электронного бизнеса. Решения для обеспечения качества данных в этой области помогают компаниям очищать клиентские данные в реальном масштабе времени (в точке ввода данных), что гарантирует надежность и точность информации, собранной в онлайновом режиме, до момента ее ввода в базу данных. В зависимости от потребностей вашего бизнеса и выбранного поставщика программного обеспечения можно реализовать данную технологию в рамках систем вашего предприятия или организовать доступ к ней через ASP в требуемом режиме. Кроме того, большинство поставщиков программного обеспечения предлагают знакомые интерфейсы, включая ActiveX (COM), Java, Perl, C++, MS/SQL Extended Stored Procedures или прямые XML-соединения, позволяющие минимизировать затраты на интеграцию и разработку.

Могут ли традиционные средства обеспечения качества данных работать с информацией, не относящейся к их целевым данным

Лидеры в области поставки таких средств могут работать с информацией, отличной от привычных для них имен и адресов клиентов. Эти приложения по обеспечению качества данных могут работать с адресами электронной почты, телефонными номерами, датами, SKU, идентификационными номерами клиентов, номерами аккаунтов и различными определяемыми пользователем полями. Многие продвинутые решения позволяют пользователю определять правила и шаблоны, специфические для его собственных данных и внутренних бизнес-правил.