Кто виноват в низком качестве данных?
Не задумывались, почему за качество данных (КД) в банковских ХД повсеместно отвечает ДИТ, возможности которого в решении этого вопроса изначально ограничены?
Ответ не порадует: это просто удобный для всех способ уклониться от решения проблем с КД, получив в лице ДИТ мальчика для битья. Чем плохо? И делать ничего не надо, и виноватый уже назначен.
Давайте разберемся, как ДИТ может повлиять на КД:
- Локализовать ошибку в данных самостоятельно или с привлечением разработчика ХД.
- Если проблема обнаружена на стороне ETL-процесса, то исправить ее своими силами или силами подрядчика, если ETL сопровождается.
- Если ошибка локализована на стороне источника данных, то либо «приставить костыли» к ETL для ее исправления (если это возможно), либо сообщить владельцу источника данных о необходимости устранить выявленные погрешности и наладить процесс.
ВСЁ.
Поскольку ДИТ сам является обслуживающим подразделением, то его влияние на исправление ошибок в источниках, где как раз и сосредоточено большинство проблем с данными, ограничено: проинформировали, обозначили проблему и ушли в режим ожидания. Проходят месяцы, претензии к КД и запросы на их исправление продолжают висеть и множиться, а недоверие к ХД и негатив в адрес ДИТ - расти.
По опыту, ситуацию удается сдвинуть с мертвой точки, если в нее вмешивается внутренний заказчик ХД в банке. Действенный способ инициировать вовлечение внутреннего заказчика в диалог ДИТ и владельцев проблемных систем – наглядно показать связь его бизнес-проблем с КД в источниках, желательно с указанием фамилий конкретных ответственных за исправление данных. В ХД «Контур» накопить такую статистику «с пофамильной ответственностью» и фиксацией плановых и фактических сроков исправления ошибок в данных, допущенных просрочек и прочих полезных доказательств влияния конкретных персоналий на КД, позволяет специальный модуль оценки качества данных. Это - рабочее место инженера по КД, который чаще всего является сотрудником ДИТ.
Кому-то покажется, что выглядит такая статистика как донос на владельцев проблемных зон техпроцесса подготовки данных. Но угроза ее передачи заинтересованному бизнес-заказчику ХД совершенно точно становится действенным стимулом для исправления ошибок и совершенствования различных этапов технологии подготовки данных. В такой ситуации цель явно оправдывает средства.
Заинтересовало решение? Обращайтесь, проведем для вас презентацию модуля оценки качества данных.