Консалтинг и автоматизация в области управления
эффективностью банковского бизнеса

Публикации

Bankir.ru

К вопросу о построении хранилищ данных

Представленные в моем предыдущем выступлении вопросы были условно объединены тематикой «управления доходностью банка». В этот раз вопросы будут более «технические», связанные с построением собственно хранилища данных, условиями его внедрения и возможностями по доработке и сопровождению ИТ-решений на базе ХД.

Не буду напрасно утомлять читателя общими словами, а перейдем непосредственно к вопросам.

Вопрос: С чего вы рекомендуете начинать внедрение хранилища данных?

Ответ: По нашему опыту, не стоит сразу браться за автоматизацию трансфертных доходов и расходов или построение тяжелых форм отчетности, например, 0409117, 0409118, 0409125 и т. п., или тех же обязательных нормативов. Для решения подобных задач нужны данные, подготовка которых связана с большими трудозатратами. Мы рекомендуем подход «от простого – к сложному». На первом этапе загружаем данные Главной книги банка и строим на них, например, публикуемые формы обязательной отчетности, управленческий баланс и отчет о прибылях и убытках по управленческой отчетности. Затем, по мере загрузки и выверки данных по сделкам, мы можем автоматизировать более сложные формы обязательной отчетности, детализировать управленческий учет данными по сделкам, автоматизировать трансфертное управление ресурсами и т. д. Таким образом, решая задачи постепенно, мы разбиваем проект на сравнительно небольшие (2–4 месяца) этапы, по завершении которых банк получает вполне конкретный результат.

Вопрос: Чем обуславливаются сроки внедрения решения?

Ответ: Сроки внедрения зависят в первую очередь от процедур (технических и организационных), направленных на обеспечение качества данных. Причем здесь речь идет не только о данных в самом ХД, но и о тех, которые находятся в исходных учетных системах. Этот большой комплекс работ является по сути подготовительным этапом к формированию того или иного вида банковской отчетности, и, как показывает опыт, именно подготовительный этап «отъедает» самый большой кусок работ по проекту. Однако без обеспечения должного качества данных в отчетах будут «просто какие-то цифры», весьма далекие от конкретных значений конкретных показателей. Качество данных – это отдельный и очень сложный вопрос, в котором в единый сложный узел завязаны и ошибки в учетной политике банка, и разрывы данных при изменении учетной политики, и нехватка данных в учетных системах банка, и многое другое. Мы поднимали этот вопрос еще несколько лет назад, но, увы, с тех пор мало что изменилось, и сегодня в своих проектах нам приходится сталкиваться с теми же старыми проблемами. Разумеется, за эти годы специалисты Intersoft Lab разработали и отладили для осуществления контроля качества данных целый ряд механизмов, однако их настройка под условия конкретного кредитного учреждения по-прежнему остается индивидуальной и нередко требует значительного времени.

Вопрос: Какие существуют механизмы в системе для обеспечения качества данных?

Ответ: В системе предусмотрено несколько блоков контроля качества данных. Начиная с этапа загрузки данных в область временного хранения (Stage Area), на котором осуществляется контроль поступления данных и проверяется их полнота, и заканчивая проверкой данных на уровне отдельных приложений. Такими проверками являются, например, контроль обязательности и правильности заполнения клиентского менеджера для управленческого учета, контроль наличия номера корсчета в счетах, входящих в форму 0409603 и другие.

Вопрос: С какой целью был осуществлен перевод хранилища данных на СУБД Oracle? Что вы от этого выиграли?

Ответ: Перевод хранилища на платформу Oracle преследовал сразу несколько целей. Основные из них:

  • уменьшение размера базы данных;
  • повышение скорости загрузки данных;
  • повышение скорости классификации данных внутри ХД;
  • введение историзации всех данных в ХД.

В результате полного перепроектирования хранилища в 2008 году была выпущена новая версия «Контура» – 3.1. Она построена на СУБД Oracle и соответствует всем указанным выше требованиям. Версия 3.1 поддерживает полную историзацию всех данных в ХД, что, в частности, дало возможность легко модифицировать методологию подготовки любой отчетности и просматривать рассчитанные данные на любую дату именно на основе тех правил расчета, которые действовали на эту дату. При этом существенно сократился размер самой базы, за счет введения специализированных банков данных и значительно возросли скорости загрузки данных и выполнения классификации объектов внутри ХД. Сейчас раскраска нескольких миллионов проводок управленческой аналитикой занимает всего лишь 5–6 минут.

Вопрос: Есть ли какие-то требования, применяемые к СУБД хранилищем данных?

Ответ: Да, есть. Это поддержка технологии Partitioning, которая позволяет загружать данные в конкретную партицию таблицы, что существенно увеличивает скорость загрузки и позволяет избежать «конкурентности» при загрузке данных в ХД.

Вопрос: Могут ли пользователи системы – сотрудники бизнес-подразделений и специалисты ДИТ банка самостоятельно дорабатывать систему?

Ответ: Разумеется! Система изначально проектировалась таким образом, чтобы конечные пользователи могли самостоятельно адаптировать ее под свои требования. В частности, в системе предусмотрены механизмы построения аналитических выборок и динамических интерфейсов. Аналитическая выборка – это средство создания произвольного запроса к базе данных без применения средств разработки. Код запроса при этом формируется автоматически. Динамический интерфейс предоставляет пользователям системы возможность самостоятельно создавать необходимые им дополнительные интерфейсы. Связка аналитических выборок и динамических интерфейсов дает широкие возможности по модификации системы. Например, аналитическая выборка позволяет помимо простых запросов строить запросы параметризируемые, и в ходе этого процесса автоматически порождается некая параметризируемая процедура. В дальнейшем ее можно прикрепить к созданному пользователем динамическому интерфейсу, а потом, работая с ним, пользователь сможет вводить необходимые ему данные (параметры запроса), которые будут переданы в запрос, построенный при помощи механизма формирования аналитических выборок.

Вопрос: Кому лучше доверить администрирование и сопровождение хранилища данных в банке?

Ответ: Обычно эта работа поручается банковским технологам – специалистам достаточно сведущим как в ИТ-сфере, так и в вопросах подготовки различных видов отчетности. Обладая достаточно широкими знаниями в разных областях, технологи фактически выступают в роли связующего звена между бизнес-департаментами и ИТ-службами банка и способствуют налаживанию взаимопонимания между ними, что является основой для совместной продуктивной работы. Поскольку для эффективного использования ХД требуется участие как менеджеров бизнес-подразделений, так и ИТ-специалистов банка, то назначение технологов ответственными за сопровождение хранилища данных мы считаем наиболее логичным и правильным решением.