- 2002
Секреты внедрения корпоративного Хранилища данных
В статье рассказывается об использовании тиражных систем для построения хранилищ данных. Статья основана на реальных фактах, а именно - на практике внедрения системы "Контур Корпорация", которое удалось выполнить за 2,5 месяца в АКИБ "УкрСиббанк".
Тема Хранилищ данных (ХД) стала одной из самых популярных в сфере автоматизации банков. Технология ХД позволяет решать множество задач из области управления банком - контроля, консолидации бухгалтерской и управленческой отчетности, управления активами, пассивами, финансового планирования и многие другие. На страницах журналов регулярно публикуются статьи, раскрывающие структуру ХД, описываются задачи, решаемые с их применением и, в то же время, редки статьи, посвященные практике их внедрения и эксплуатации. Это не случайно, поскольку внедрение корпоративных ХД - очень сложный и затратный процесс. Западная статистика показывает, что это весьма непростая и долгая работа: 60-80% проектов по созданию ХД оказываются незавершенными, если принимать во внимание расхождение поставленных целей и достигнутых результатов. Складывается впечатление, что их построение может длиться годами. Сами разработчики пока поддерживают общепринятое мнение о том, что построение ХД - всегда индивидуальный проект, а следовательно, невозможно заранее объективно оценить сроки и затраты до момента успешного завершения.
На наш взгляд, эта ситуация некоторым образом напоминает время 10-15-летней давности, когда различные организации в бывшем СССР решили автоматизировать свою деятельность в соответствии с собственным представлением о разумном и необходимом. Многочисленные НТО и НТЦ с энтузиазмом "изобретали велосипед" "под заказ" конкретной организации, за неимением тиражной системы. Лишь спустя годы, пройдя ряд успехов и неудач и выбрав узкую специализацию на рынке автоматизации, небольшая часть компаний, имевших в своем штате команду программистов, смогла создать действительно тиражные решения, сроки внедрения которых стали укладываться в понятие разумного.Насколько уместна в данном случае приведенная аналогия? Лишь частично. Действительно, для успешного внедрения ХД необходимо тиражное решение. Если ХД, как и любая другая автоматизированная система, не прошло определенное количество успешных внедрений, то сложно вообще говорить о разумных сроках. В то же время, поскольку оно является основой для построения системы подготовки принятия решений, то есть специализированной АБС для высшего и среднего менеджмента банка, то и требования к ее внедрению более жесткие, чем для классической АБС.
Именно этим вопросам - что такое тиражное ХД, и как его можно быстро внедрить - посвящена данная статья. Она основывается на реальных фактах, а именно - на практике внедрения системы "Контур Корпорация", которое удалось выполнить за 2,5 месяца в АКИБ "УкрСиббанк". Этот опыт, как нам кажется, будет интересен многим. В рамках этого проекта была выполнена доработка и инсталляция системы, загрузка данных бухгалтерского учета из АБС Головного банка и всех филиалов за 2 года, переход к ежедневной загрузке данных. В результате сотрудники Головного банка получили доступ к консолидированным данным бухучета. В то же время внедрение ХД явилось только первым этапом сотрудничества банка и компании. В планах уже предусмотрены следующие этапы работ: освоение сотрудниками банка аналитических возможностей системы, загрузка данных из других учетных систем (помимо АБС), реализация на базе системы принятой в банке методики бюджетирования и финансового планирования.Выбор системы для построения ХД
Первым фактором, определяющим успех быстрого внедрения ХД, является выбор системы, на которой оно строится. Важнейшими характеристиками системы являются:
- хранение информации в виде, пригодном для оперативного анализа;
- наличие эффективных средств сбора информации.
При выборе в первую очередь необходимо уделять внимание технологиям работы с данными. Обычно под проектированием и созданием ХД понимается использование case-средств, позволяющих описать структуру баз данных и сгенерировать таблицы для их хранения. Это рабочее место проектировщика и программиста. В системе "Контур Корпорация" этого нет: ХД создает технолог, а не программист. Он оперирует объектами прикладной области - счета, карточки клиентов, договора и т.д., описывая в дизайнере ХД только атрибуты и структуру прикладных объектов, а не структуру таблиц. Таким образом, именно технологом, хорошо понимающим предметную область, создается словарь метаданных - единая база знаний для генерации таблиц хранения данных, процедур их обработки, интерфейсов просмотра и редактирования, процедур и форматов загрузки. В этом и заключается первое условие экономии времени при внедрении системы.
Экономия достигается за счет применения стандартизованного формата для сбора данных из систем автоматизации банка. Это важно, поскольку независимо от выбранной технологии всегда требуется разрабатывать специальные программы - "адаптеры" для каждой функции каждого приложения, обеспечивающие выгрузку передаваемых данных. Эти "адаптеры" оперируют внутренним представлением данных конкретного приложения. Для обеспечения технологичного взаимодействия "адаптеров" приложений с ХД целесообразно принять "межмодульный" формат представления данных, который позволяет разрабатывать универсальные "адаптеры" к приложениям, способные "стыковаться" не с одним, а с множеством Хранилищ и приложений. Стандартизация - проверенный способ сокращения затрат на разработку и сопровождение процедур выгрузки. Система "Контур Корпорация" обладает таким стандартом - это язык "Dynamic XML". Шаблоны XML-документов автоматически создаются на основании метаданных, созданных технологом банка. На их основе выгружаемые из АБС и других систем автоматизации банка данные поступают в ХД в едином формате. Шаблоны XML-документов оформляется в виде "Альбома форм" межмодульного формата передачи данных, утверждаются в качестве части стандарта предприятия и, как следствие, являются законом для всех прикладных систем, эксплуатируемых в банке.Организация процесса внедрения ХД
Вторым важнейшим фактором, позволяющим внедрить ХД в кратчайшие сроки, является организация работ.
В АКИБ "УкрСиббанк" создано Управление методологии работы банка (далее Управление), призваное аккумулировать передовые знания и опыт в области организации и автоматизации работ всех подразделений и объединять не только автоматизаторов, но и специалистов по организации бухгалтерского учета и финансовой отчетности. Выступая в качестве посредника между конечными пользователями и поставщиками новых технологий, в т.ч. информационных, сотрудники Управления способствуют выбору лучших решений и снижению естественного сопротивления персонала при внедрении новых технологий.В банке существует общепринятая технология выбора и внедрения информационных систем:
- изучение решений, представленных на рынке;
- формирование команды специалистов;
- непосредственное осуществление проекта.
Именно так и было выполнено внедрение системы "Контур Корпорация".
Изучение системы для построения ХД
При проведении тендера на поставку системы бизнес-планирования и бюджетирования изучались и системы построения ХД.
До принятия окончательного решения о приобретении системы силами Управления было проведено ее полномасштабное тестирование и пилотное внедрение стандартной версии. Оно преследовало цель изучения характеристик системы, возможность построения ХД и решения на его основе одной из управленческих задач - финансового планирования и бюджетирования.Пилотное внедрение системы заняло около 6 недель, были выполнены:
- установка и настройка системы силами Управления при поведении консультаций специалистами компании Intersoft Lab;
- проверка работоспособности процедур выгрузки данных из АБС и их загрузки в ХД, а также алгоритмов проверки данных на этапе выгрузки и загрузки;
- тестирование технологии выверки загруженных данных средствами системы;
- тестовая выгрузка данных из АБС Головной конторы банка за один месяц и загрузка этих данных в ХД. При этом проводилась оценка скорости загрузки данных;
- выпуск и проверка основных отчетов как из интерфейса системы, так и из OLAP-клиента системы;
- тестирование технологии построения пользовательских интерфейсов, отчетов, планов счетов и показателей, бюджетных планов;
- исследование быстродействия системы при одновременной работе с базой данных нескольких пользователей с разными правами доступа и контроле безопасности данных;
- разработка тестовой модели бюджетирования, проверка алгоритмов расчета плановых и фактических значений, расчет аллокаций и трансфертов;
- проверка работы формульного аппарата для расчета бюджетных планов;
- тестирование технологии бюджетного планирования;
- тестирование механизма расчета агрегированных и консолидированных значений планов счетов и бюджетных планов.
Тщательное изучение системы позволило специалистам Управления не только объективно сделать выбор, но и изучить основные приемы по ее внедрению и эксплуатации, отработать процедуры взаимодействия с сотрудниками компании-разработчика. Таким образом, еще до начала внедрения в банке была создана команда, знакомая с системой и способная эффективно управлять процессом ее внедрения. Это, несомненно, позволило существенно сократить время на внедрение, а трудозатраты, понесенные банком на этапе тестирования, в дальнейшем многократно окупились.
Формирование команды участников процесса внедрения системы
С целью повышения эффективности работы была образована группа внедрения, в которую вошли как представители банка (администратор БД, 2 аналитика, менеджер проекта, помощник менеджера), так и сотрудники компании (аналитик, менеджер отдела крупных проектов, менеджер проекта). Роли между специалистами банка и компании были распределены следующим образом:
Банк:- формирование требований по дополнительной настройке и доработке системы в соответствии с требованиями Национального банка Украины и особенностями учетной политики АКИБ "УкрСиббанк";
- согласование технических заданий на выполнение настроек системы специалистами компании;
- выполнение первоначальной загрузки данных в ХД и обеспечение ежедневной загрузки;
- проверка работоспособности основных функций системы на реальных данных;
- приемка выполненных работ.
- анализ требований банка и разработка технических заданий на дополнительную настройку и доработку системы;
- выполнение настроек системы на основании технических заданий, передача их в банк;
- консультирование специалистов банка по технологии выгрузки данных из АБС и загрузке данных в ХД.
При дружеских отношениях между всеми участниками проекта, взаимоотношения между банком и компанией регулировались на основе жесткого планирования работ и контроля сроков их исполнения. Это обеспечило деловую, конструктивную атмосферу в команде, что также явилось одним из факторов быстрого внедрения системы.
Планирование работ
Составленный детальный план-график и бюджет, включающие не только этап внедрения системы, но и последующие работы, был разбит на этапы, в соответствии с которыми, банк осуществлял платежи.
С одной стороны, поэтапная оплата давала возможность банку частично контролировать риски, с другой - наличие такого плана-графика давало обеим сторонам четкое представление о дальнейших совместных действиях и ожидаемых платежах. Резко сократилось время, затрачиваемое внутри банка на согласование и оплату каждого этапа.План-график четко определял цели и границы выполнения работ. Для этапа внедрения - обеспечение сбора в корпоративное ХД первичной бухгалтерской информации из филиалов банка (счета, карточки клиентов, документы, проводки и т.д.). Эту информацию планировалось использовать для расчета фактических значений по бюджетным статьям на этапе внедрения системы финансового планирования и бюджетирования.
Внедрение системы
Внедрение системы началось с подготовки программно-аппаратной платформы, требования к которой были сформированы еще на этапе тестирования. Планировалось, что в ХД будет собираться информации о деятельности филиалов в объеме не менее 10 млн. документов в год, их хранение - около 5 лет, а с системой будет одновременно работать около 20 пользователей.
Расчеты показали, что для сервера базы данных ХД необходим 4-х процессорный сервер с соответствующим объемом оперативной и дисковой памяти. Новые рабочие станции для пользователей системы не понадобились - мощностей существующих компьютеров оказалось достаточно. Подготовка программно-аппаратной платформы заняла несколько дней и заключалась в следующем:- установка на сервере базы данных системного программного обеспечения и MS SQL с рекомендованными разработчиками системы настройками;
- установка на сервере и рабочих станциях компонент системы.
Все работы по подготовке программно-аппаратной платформы выполнялись сотрудниками банка. Далее следовал самый продолжительный этап внедрения - адаптация системы к требованиям учетной политики банка и законодательства Украины. Он занял около 1,5 мес.
Следует отметить, что все работы были выполнены дистанционно - общение членов команды из банка и компании осуществлялось по электронной почте и телефону. Работы были построены следующим образом:- Банку был передан документ "Альбом форматов", содержащий описание XML-форматов данных, собираемых в ХД, а также описание технологии выгрузки данных из систем автоматизации филиалов и Головной конторы банка. Этот документ стал основой части стандарта предприятия и позволил сформировать единые требования ко всем источникам информации. В соответствии с ним разрабатывались процедуры выгрузки данных из АБС.
- Сотрудники банка сформулировали и передали в компанию требования АКИБ "УкрСиббанк" и Банка Украины в части состава атрибутов клиентов, счетов, документов, нормативно-справочной информации и т.д., необходимых для подготовки Технического Задания на настройку системы. Согласование всех вопросов было выполнено за неделю.
- Специалистами компании были проведены дополнительные настройки в словаре метаданных ХД и процедурах выгрузки данных для адаптации ХД к украинскому плану счетов, установленным Национальным банком правилам бухгалтерского учета и специфике учетной политики банка. Также специалисты компании разработали несколько OLAP-отчетов на основе предоставленных банком выборок - для анализа загружаемых данных.
- После тестирования настройки были выгружены в XML-файл специальной структуры, который был отправлен в банк по электронной почте. При загрузке файла в систему "Контур Корпорация" выполненные настройки автоматически изменили структуру таблиц, логику процедур загрузки и обработки данных в ХД, установленном на сервере банка.
Ввод в эксплуатацию системы состоялся после выполнения сотрудниками банка двух операций:
- загрузки в ХД архивов всех филиалов банка за 2 года, что составило около 9 млн. документов;
- перехода к ежедневной загрузке данных сначала - из Головной конторы банка, а затем и всех филиалов.
Загрузка архивов в ХД включала следующие этапы:
- проверка и исправление данных в АБС;
- выгрузка данных из АБС в "межмодульный" формат;
- загрузка данных из "межмодульного" формата в ХД.
Работа по внедрению выполнялась не только силами рабочей группы. Она была распределена также между различными подразделениями банка. Члены рабочей группы принимали непосредственное участие в проверке, исправлении и выгрузке данных из АБС только Головного банка. Ответственность за проверку и выгрузку данных филиалов была целиком возложена на них самих.
Загрузка данных Головного банка была выполнена первой. После того, как был накоплен достаточный опыт и выявлены наиболее типичные ошибки, Управление провело семинар для начальников отделов автоматизации филиалов. На семинаре были представлены само ХД и план работ по загрузке данных филиалов, порядок взаимодействия с рабочей группой, программы, используемые для проверки и выгрузки данных из АБС, порядок их использования, описание типичных ошибок и правила их исправления и т.д. После чего филиалы приступили к работе. Выгрузка данных проводилась не одновременно, а с интервалом в несколько дней, что позволило рабочей группе уделять особое внимание тому филиалу, который делал только первые шаги и сталкивался с наибольшими трудностями.Следует особо отметить тот факт, что работа по проверке и выгрузке данных выполнялась как силами подразделений автоматизации, так и силами бухгалтерии. Специальным распоряжением по банку ответственность за проверку и выгрузку данных из АБС возлагалась на главных бухгалтеров и начальников отделов автоматизации. Эта мера позволила четко разграничить зоны ответственности. Служба автоматизации отвечала за запуск программ проверки и выгрузки данных, а также за предоставление протоколов проверки для бухгалтерии. Бухгалтерия отвечала за исправление данных в АБС.
Опыт внедрения показал, что основная часть работы может выполняться дистанционно. Разработчики работали в офисе банка 4 полных рабочих дня. За это время были выполнены работы по настройке и демонстрации многопоточной загрузки данных, а также загружены данные 3-х филиалов за месяц. В свою очередь технологи банка приезжали в офис компании на несколько дней для ознакомления с системой, обсуждения ее возможностей и обучения.Итоги
Чуть больше двух месяцев понадобилось специалистам банка, чтобы установить корпоративное ХД, произвести выверку данных в АБС филиалов, загрузить все архивные данные за 2 года из АБС Головного банка и филиалов и перейти к ежедневной загрузке данных. Корпоративное ХД было внедрено и подготовлено для построения на его основе различных систем поддержки принятия решений.
Достижению подобного результата способствовали:- выбор предметно-ориентированного ХД, технологические особенности которого позволяют быстро адаптировать его к национальным и внутрибанковским особенностям бухгалтерского учета и используемой в банке АБС;
- предшествующее внедрению детальное ознакомление с ХД (в виде тестирования или пилотного внедрения) высококвалифицированными сотрудниками банка, которые затем вошли в состав команды внедрения;
- создание единой команды внедрения из сотрудников банка и компании-разработчика, установление истинно партнерских отношений между банком и компанией и товарищеских отношений внутри команды;
- совместная разработка детального план-графика и бюджета всей совокупности работ, связанных с внедрением и освоением ХД. Включение этой задачи в бизнес-план банка;
- подход банка к внедрению ХД как к общебанковской задаче. Привлечение к работе по внедрению не только IT-подразделений, но и других, в первую очередь - бухгалтерии;
- распределение работы между различными подразделениями, работу которых координирует и контролирует команда внедрения;
- необходимое обучение всех сотрудников банка, задействованных в проекте.
Автор: А.Дроботенко, Т.Яковлев
Источник: Банки и технологии, 2002, № 3