- 2012
Проблема качества данных требует комплексного подхода
Экспертный комментарий В. Чаусова к публикации в журнале NBJ разъясняет, какие организационные и технологические меры предпринимает Intersoft Lab для обеспечения надлежащего качества данных в ХД.
(Комментарий эксперта к статье Оксаны Дяченко «Business Intelligence. При некорректном учете плохое качество данных может "съедать" до 10 % прибыли банка»)
Подготовка данных, а именно обеспечение их качества – отправной этап любого проекта внедрения BI-системы. Замечу, что часто под BI понимают инструменты, предназначенные для формирования различной отчетности. На мой взгляд, корректнее рассматривать BI в широком смысле, как рекомендует аналитики Forrester Research, т. е. говорить об инфраструктуре, охватывающей всю цепочку превращения «сырых» данных в значимую информацию. В этом случае в BI включает как ETL-инструменты, так и корпоративное ХД – хранилище данных, на основе которых выпускается отчетность и выполняется анализ.
Такой подход позволяет комплексно решать проблему качества данных и четко определять «зоны ответственности» каждого элемента этой цепочки. Чтобы оценить состояние данных в учетных системах, специалисты Intersoft Lab проводят предпроектное обследование и разрабатывают комплекс технологических и организационных мер по их улучшению.
В качестве организационных мер может быть предложено создание регламентов работы с оперативными системами для персонала банка, передача ответственности за отдельные участки работы по проверке данных и повышению их качества конкретным банковским подразделениям и пр.
Среди технологических мер можно назвать доработку учетных систем банка. В ряде случаев мы рекомендуем банкам использовать промышленные ETL-платформы, позволяющие извлечь из ХД максимальное количество проверок и перенести их к источникам данных, а также повысить скорость загрузки. Это особенно важно, если речь идет о значительном объеме данных, загружаемых в розничное ХД. Кроме того, в решении проблемы помогут интерфейсы для контроля качества данных, предусмотренные в системе «Контур» производства Intersoft Lab. В ходе загрузки в ХД выверяется целостность и корректность атрибутики информационных объектов, далее проводится сверка первичных данных бухучета и сделок (более 80 проверок). Финальная стадия – проверки разных прикладных областей. Так, для обеспечения корректности формирования аналитических витрин о клиентах одной из проверок является сверка движения по портфелю депозитов физических лиц с суммарными остатками по субсчетам депозитов физических лиц по операциям пролонгации. Я назвал лишь один пример, а таких проверок разных прикладных областей не одна сотня!
Результат – уверенность, что при решении задач по клиентской аналитике, подготовке управленческой и регулятивной отчетности банк использует корректные данные.
Автор: В. Чаусов