Как оптимизировать ETL-процесс: из опыта построения хранилища данных в Примсоцбанке и банке «Левобережный»

Кейс проекта создания корпоративного хранилища данных в ОАО СКБ Приморья «Примсоцбанк» и ОАО «Банк "Левобережный"».

Создание корпоративного хранилища данных (ХД) -- масштабный и долгосрочный проект. Его важнейшая составляющая -- организация обмена данными с учетными системами, т. е. построение инфраструктуры ХД. Реализация инфраструктурного проекта предполагает разработку ETL-решения. Аббревиатура ETL (Extract, Transform, Load, извлечение, преобразование, загрузка) обозначает один из основных процессов в управлении ХД, включающий извлечение данных из внешних источников, их трансформацию и очистку, а также загрузку в ХД. От организации ETL-процесса зависит, какие бизнес-выгоды сможет извлечь банк при эксплуатации ХД.

На примере проекта для одного из лидеров финансового рынка Дальнего Востока ОАО СКБ Приморья «Примсоцбанк» и крупнейшего банка Сибирского региона ОАО Банк «Левобережный» рассмотрим, какие преимущества может получить банк от применения промышленных интеграционных инструментов при построении инфраструктуры ХД.

Цели проекта

Проект создания единой системы класса Business Performance Management (управление эффективностью бизнеса) для Примсоцбанка и банка «Левобережный» стартовал в октябре 2010 г.

Перед банками стояла задача унифицировать процессы управления и подготовки отчетности, повысить их технологический уровень. Для ее достижения в рамках проекта планировалось создать единое для двух банков ХД, которое станет основой для автоматизации комплекса ВРМ-задач, в том числе подготовки отчетности перед Банком России, управленческой отчетности, бюджетирования и других управленческих процессов. Для реализации проекта была выбрана платформа «Контур» от компании Intersoft Lab.

Архитектура решения

Ядро внедряемого решения -- ХД «Контур» на СУБД Oracle (Рис. 1). Данные в ХД собираются из учетных модулей АСБ IBSO и RBS. Для автоматизации процессов подготовки отчетности, планирования и бюджетирования будут внедрены BPM-приложения платформы «Контур».

Рис. 1. Целевая архитектура BPM-системы

Для реализации инфраструктурного проекта по организации обмена данными между системами было решено использовать промышленную интеграционную платформу Informatica PowerCenter. С ее помощью необходимо было создать высокотехнологичное ETL-решение, которое будет поддерживать прямую и обратную связь с учетными модулями. В рамках проекта было развернуто два ХД: основное -- в банке «Левобережный» и дополнительное, тестовое -- в Примсоцбанке (Рис. 2). Применение на этом этапе ХД на двух площадках позволило отладить ETL-процессы каждого банка и заложить качественную инфраструктуру обмена данными для будущей единой BPM-системы. Два экземпляра ХД будут существовать параллельно до окончательного сближения управленческих и отчетных методологий в банках.

За счет внедрения интеграционной платформы была оптимизирована разработка ETL-процессов. Решение по сбору данных бухгалтерского учета было развернуто и протестировано для работы в режиме промышленной эксплуатации в двух банках всего за 9 дней. Сначала наладили процедуры загрузки и выверки данных для ХД «Левобережный», на что ушло 7 дней. Затем всего за 2 дня такие же процедуры были доработаны для ХД Примсоцбанка. Это очень высокие показатели скорости и продуктивности настройки ETL-процесса, особенно если учесть, что в подобных проектах организация сбора данных в ХД занимает до 80 % трудозатрат.

Выгоды от использования интеграционной платформы

От реализации ETL-решения зависит, какой запас производительности и какие интеграционные возможности будет иметь система. Экономия на инструментах интеграции может привести к длительным срокам разработки процессов выгрузки и загрузки данных, рискам снижения производительности ETL-процессов при увеличении объемов данных, ограничению функциональности.

Опыт построения ХД компании Intersoft Lab, в частности проект в Примсоцбанке и банке «Левобережный», подтверждает эффективность применения интеграционных инструментов для организации ETL-процессов. Применение промышленной интеграционной платформы позволяет банкам получить следующие выгоды:

• Повышение скорости и продуктивности разработки ETL-процессов. Если в проектах не используются специальные инструменты интеграции, то на автоматизацию процессов обмена данными между ХД и источниками может уходить до нескольких месяцев. Применение платформы Informatica PowerCenter в проекте Примсоцбанка и банка «Левобережный» позволило подготовить и протестировать ETL-решение в режиме промышленной эксплуатации за минимальное время -- 9 дней.
• Разгрузка учетных систем и ХД. Наполнение ХД всегда сопряжено с выполнением трансформаций данных и расчетов. Интеграционная платформа позволяет перенести ресурсоемкие и логически сложные операции по обработке данных на стадии ETL-процесса, и тем самым разгрузить транзакционные системы и ХД. Так, в проекте на сторону платформы Informatica PowerCenter были перенесены операции сторно и ежедневный расчет остатков, что позволило не загружать ритейловую систему RBS и снять задачу перезагрузки данных в ХД из «прошлых периодов».
• Обеспечение качества данных в ХД и учетных системах банков -- их полноты, непротиворечивости и достоверности. Интеграционная платформа автоматизирует выполнение межсистемных проверок данных в ХД и источниках, помогает оперативно выявлять ошибки в данных на уровне АБС и ХД, а также ошибки ETL-процесса. В рамках проекта был реализован целый комплекс проверочных процедур, запускаемых как на этапе загрузки данных в ХД, так и после него. В момент загрузки выполняются типовые процедуры проверки полноты и корректности атрибутов первичных данных, проверка уникальности объектов (исключение дублирования) и другие проверки. После загрузки проводятся следующие сверки данных в источниках и ХД «Контур»: остатков и оборотов по лицевым счетам в ХД и АБС INSO (ежедневно); остатков и оборотов по субсчетам в ХД и в модуле RBS (ежемесячно или по запросу); в ХД «Контур» детальных данных из модуля RBS со сводными данными в АБС IBSO (ежедневно); сходимости итоговых балансов в АБС IBSO с соответствующими рассчитанными данными в ХД (ежедневно) и др. Применение интеграционной платформы позволяет оперативно выполнять межсистемные сверки. При этом осуществляется анализ, позволяющий установить, по каким счетам получены недостоверные данные.
• Актуализация данных о результатах ETL-процесса. Интеграционная платформа поддерживает обратную связь ХД с источником данных, что необходимо для передачи в учетную систему информации о результатах ETL-процесса. В проекте с помощью Informatica PowerCenter настроена передача в исходные системы информации о результатах загрузки данных в ХД, в том числе об обнаруженных ошибках в первичных данных, которые требуют исправления в учетных системах. На основании переданной информации в учетной системе выполняется разметка объектов данных, нуждающихся в корректировке, и их постановка на повторную перезагрузку. Обратная связь осуществляется в режиме, обеспечивающем максимальную локализацию проблем и уведомление администратора.
• «Самодиагностика» ETL-решения. Созданное для Примсоцбанка и банка «Левобережный» ETL-решение способно контролировать качество своей работы. Дополнительная диагностика ETL-процесса по загрузке первичных данных обеспечивается за счет выполнения сверок агрегатов в ХД (остатков и оборотов счетов, рассчитанных по загруженным данным) с агрегатами в АБС. Расхождение в сводных данных ХД и АБС могут свидетельствовать об ошибках на уровне ETL-решения.

Применение промышленной интеграционной платформы в инфраструктурном проекте банка «Левобережный» и Примсоцбанка позволило создать ETL-решение, оптимизирующее все процессы межсистемного обмена данными и обработки данных, а также заложило основу для дальнейшего развития системы и получения бизнес-выгод от эксплуатации ХД.

Автор: Intersoft Lab

Источник: Банковские технологии, 2011, № 6