Публикации

Intersoft Lab в СМИ - истории успеха клиентов, интервью и мнения экспертов компании, обзоры рынка CPM

Хранилище данных для Мострансгаз

Требование законодательства по обязательному расчету налогов и формированию отчетов только в головном предприятии корпораций на основе данных, собранных из всех филиалов, поставили перед специалистами ООО «Мострансгаз» нетривиальную проблему консолидации, решить которую можно было только с помощью централизованного хранилища данных.

Основная сфера деятельности входящего в состав Газпрома предприятия ООО «Мострансгаз» — транспортировка газа по сетям высокого давления. История «Мострансгаз» начинается с первого в России магистрального газопровода Саратов — Москва, построенного в 1946 году. Сегодня «Мострансгаз» поставляет природный газ потребителям 19 областей Европейской части России, обеспечивает транзит газа на внутреннем рынке и в страны ближнего и дальнего зарубежья. В предприятие входит 40 филиалов, со своими обособленными подразделениями.

Предпосылки создания Хранилища

Ежемесячно администрация предприятия собирает десятки форм отчетности, как общих для предприятия, так и специфических для разных служб аппарата и вышестоящей организации. Источником данных для всех этих форм являются первичные учетные системы филиалов. Напрашивается простое и логичное решение: вместо отчетов собирать в аппарат предприятия данные первичных систем и получать необходимую отчетность в центре, освободив сотрудников филиалов от ручного заполнения различных форм отчетности.

Идея возникла более двух лет назад при анализе консолидированных данных бухгалтерского учета, формируемых в отраслевой системе сбора бухгалтерских показателей. Была предпринята попытка самостоятельной разработки системы сбора и анализа данных, которая в ограниченном объёме функционирует до сих пор. Система позволяет собирать из филиалов данные бухгалтерского учета (проводки с аналитикой, сальдовые остатки, картотеку основных фондов, складские запасы). Тестовая эксплуатация системы подтвердила востребованность этой информации различными службами предприятия, однако система не получила развития ввиду ее большой трудоемкости разработки и поддержки.

В 2002 году вступили в действие изменения Налогового кодекса, предписывающие, что декларация по налогу на прибыль может быть рассчитана только в Головном предприятии на основе данных собранных из всех филиалов. Данная, сама по себе нетривиальная задача, осложнилась широким спектром видов деятельности ООО «Мострансгаз» — их десятки. Стало ясно: предприятию требуется методическая проработка концепции хранилища и внедрение адекватной автоматизированной системы.

Постановка задачи была выполнена специалистами «Мострансгаза» совместно с аудиторской компанией ФБК. Была разработана методика налогового учета и отчетности, включающая десятки форм регистров налогового учета, инструкции по их заполнению, алгоритмы расчетов вычисляемых показателей. На этапе выполнения постановочной части работ еще не был сделан выбор системы, способной реализовать все требования; только после завершения разработки методики был проведен анализ существующих систем и объявлен тендер.

Методика описывала ведение трех уровней налоговых регистров: аналитические, содержащие перечень хозяйственных операций, подлежащих налогообложению; синтетические, аккумулирующие суммы доходов и расходов филиала; сводные, содержащие суммы доходов и расходов всего предприятия. Каждый регистр представлял собой сложную Excel таблицу, состоящую из клеток для заполнения и расчетных клеток. Постановка задачи для хранилища состояла в реализации формализованного алгоритма последовательной агрегации данных — из аналитических регистров должны вычисляться синтетические, а из синтетических сводные регистры.

Предполагалось, что на первом этапе сотрудники филиалов будут вручную заполнять таблицы аналитических регистров (возможно в Excel), а далее в некоторой автоматизированной системе будут выполняться агрегация и консолидация данных. На следующих этапах требовалось обеспечить автоматическую выгрузку первичных данных для заполнения аналитических регистров из учетных систем. Рассчитанные синтетические регистры предполагалось вручную вводить в уже существующую в предприятии систему расчета распределения налогов и печати налоговой декларации и справок. Таким образом, потенциальная система должна была обеспечить поддержку следующих функций:

  • ручное заполнение аналитических или синтетических регистров;
  • экспорт данных из различных учетных систем филиалов;
  • сбор данных из филиалов и загрузка в центральную базу;
  • выполнение расчетов синтетических и сводных регистров;
  • автоматический и визуальный контроль данных;
  • печать отчетов.

Система должна была обеспечить технологичность, высокую скорость расчетов (выполнение в течение одного рабочего дня нескольких итераций расчета сводных регистров по 40 филиалам), возможность сопровождения и модификации системы силами сотрудников предприятия. Особым требованием к претендентам была скорость выполнения проекта: по ряду причин всего за один месяц требовалось разработать 20 форм ввода и 40 отчетных форм, процедуры расчетов, создать технологию сбора данных, обучить персонал, и, в конечном итоге, сдать отчетность в налоговые органы. Безусловно, потенциальная система должна позволить построить корпоративную систему управления, а не только облегчать подготовку налоговой отчетности.

В результате проведенного тендера было выбрано предметно-ориентированное хранилище данных «Контур Корпорация» компании Intersoft Lab. Немаловажным для принятия решения оказался фактор получения от одного поставщика единой, комплексной платформы, включающей в себя технологию сбора данных, средства построения хранилища, выпуска регламентной и статистической отчетности, средства анализа данных (OLAP). На базе «Контур Корпорации» совместными усилиями специалистов «Мострансгаза», Intersoft Lab и ФБК была создана система сбора синтетических и аналитических налоговых регистров со всех филиалов компании и размещения их в корпоративное хранилище данных, расчета сводных регистров, контроля данных и выпуска консолидированной отчетности по налогу на прибыль. Затем система была переработана под изменившееся законодательство, была отлажена технология защиты от ошибок персонала, журнализации и контроля данных. В настоящее время система находится в промышленной эксплуатации.

Технология работы

В системе «Контур Корпорация» были настроены структуры хранения аналитических, синтетических и сводных регистров, описана организационная структура предприятия и введены различные справочники. Для этого использовался «дизайнер» — набор специальных пользовательских интерфейсов для описания информационной модели предприятия. В частности, иерархическая организационно-штатная структура предприятия вводится в систему следующим образом. Сначала создаются «типы» элементов организационно-штатной структуры, например, «Должность», «Отдел», «Филиал», для которых определяются их специфические атрибуты. После этого описывается объект «Иерархия», для него указывается количество уровней. Система поддерживает одновременно множество иерархий для отражения различных видов отношений подчинения подразделений. Затем вводятся данные — перечень филиалов предприятия с указанием родителя. Данные могут быть введены вручную или загружены из внешней системы в XML-формате. Примененная для финансового блока системы иерархия становится правилом консолидации данных — после загрузки данных филиала система автоматически рассчитывает консолидированные данные для каждого узла организационной иерархии «Мострансгаза»:

Центральный аппарат

Обособленное подразделение 1

Обособленное подразделение 2

Филиал 1

Обособленное подразделение 1

Обособленное подразделение 2

...

Филиал 40

Обособленное подразделение 1

...

Обособленное подразделение 10

Показатели, полученные от Обособленного подразделения №1 Филиала №1, сохраняются в системе как собственные значения этого подразделения на заданную дату, затем суммируются с одноименными консолидированными показателями Филиала №1 на эту же дату, затем суммируются с одноименными консолидированными показателями подразделения «Мострансгаза». Алгоритм консолидации выбирается из встроенного набора алгоритмов («сумма», «среднее», «максимум», «минимум» и т.д.), либо описывается на макроязыке.

Для ускорения работы данные из имеющейся автоматизированной системы были перегружены в хранилище, после чего администратор системы уже самостоятельно отражает в ней изменения организационной структуры предприятия. Для этого программистом «Мострансгаза» буквально за пару часов был разработан макрос на языке исходной системы, который выгрузил иерархический справочник подразделений в XML-документ в формате Dynamic XML системы «Контур Корпорация». При этом XML-документ был сформирован как текстовый файл, который был открыт модулем «Мастер приложений», а затем была выполнена команда «загрузить в хранилище». На этом настройка закончилась.

Особенность инструмента настройки состоит в автоматической генерации XML-формата для сбора данных и адаптации сервера обмена данными в момент настройки информационной модели хранилища. Для ручного ввода данных в удаленных филиалах был разработан генератор Excel-форм, имеющих встроенную функцию выгрузки данных в XML-формат. Полученные XML-документы поступают в сервер обмена данными системы «Контур Корпорация» и автоматически загружаются в хранилище. Таким образом, были использованы все преимущества Excel — формульный аппарат, отсутствие необходимости обучения персонала и установки дополнительного программного обеспечения в филиалах. Одновременно были устранены недостатки Excel, связанные со сбором данных — необходимость ручной консолидации сотен файлов, опасность изменения структуры таблицы пользователем. В момент выгрузки в XML выполняются необходимые проверки, а в качестве транспортного формата применяется не файл Excel, а XML-документ.

Кроме налоговых данных в хранилище загружаются данные из корпоративной системы сбора бухгалтерской отчетности ОКО, реализованной на базе СУБД Paradox и предназначенной для сбора бухгалтерских финансовых показателей из дочерних предприятий и подразделений Газпрома. Данные филиалов ООО «Мострансгаз» собираются в промежуточную базу данных, проверяются, а затем отправляются в головную организацию — Газпром. Для использования этих данных в системе «Контур Корпорация» был настроен «План показателей» — специальный объект, предназначенный для хранения произвольных финансовых данных: балансов, счетов, бюджетов и т.д. После этого автоматически генерировался XML-формат для загрузки этих показателей, процедуры загрузки данных адаптировались к этому формату. Далее был разработан макрос для выгрузки данных из ОКО в XML-формат.

Во время загрузки XML-документов в хранилище выполняется проверка корректности налоговых данных, сверка их с данными бухгалтерского учета и расчет синтетических и консолидированных налоговых регистров. Для дополнительного анализа и контроля применяется OLAP-система «Контур Стандарт», которая позволяет без программирования получать произвольные отчеты и агрегировать данные по необходимым аналитическим признакам.

«Контур Стандарт» — универсальная OLAP-система с OLAP-машиной, работающей на клиентской станции, допускает настройку на произвольную базу данных. В системе описывается семантический слой, в котором физические имена таблиц и полей переименовываются в термины предметной области, в диалоге генерируются SQL-запросы и настраиваются аналитические отчеты. Каждая группа пользователей получает собственный каталог отчетов. Система имеет несколько редакций: «Дизайнер», «Аналитик», «Обозреватель» и «Инспектор». При помощи «Дизайнера» настраивается доступ к источникам данных и формируются запросы, далее эта редакция может быть использована для настройки и выпуска отчетов. «Аналитик» позволяет пользователю настраивать новые виды отчетов, применяя готовые запросы, и выполнять OLAP-анализ. «Обозреватель» предоставляет возможности выполнения OLAP-анализа, а «Инспектор» применяется в тех случаях, когда пользователю требуются только жесткие, заранее сконфигурированные отчетные формы.

За счет выделения этапов работ применение стандартизированного XML-формата позволило упростить технологию внедрения системы. На первом этапе данные в филиалах вводятся вручную в Excel-формы. В дальнейшем планируется выполнить настройку первичных систем филиалов для отражения в них требований налогового учета и разработать процедуры автоматической выгрузки данных в тех же самых XML-форматах. Учитывая, что в филиалах используются различные учетные системы, эта работа может выполняться постепенно. «Неавтоматизированные» филиалы будут продолжать вводить данные в Excel-формы. При этом на вход в хранилище данных информация, полученная из разных источников, будет поступать в едином универсальном XML-формате (рис. 1).

Рис. 1. Схема создания консолидированной отчетности по налогу на прибыль

Хранилище данных как элемент корпоративной системы управления

Эксплуатация комплекса показала возможность быстрой адаптации Хранилища для выполнения практически любой задачи предприятия. Что же можно получить от применения данной технологии?

  • Стандартизация бизнес-документов, участвующих во всем электронном документообороте предприятия. Отсутствие единого стандарта предприятия на формат обмена бизнес-документами не позволяет строить распределённые системы. Обмен данными между системами на уровне физических таблиц должен остаться в прошлом, поскольку он не обеспечивает обмена данными между разнородными системами и неустойчив к изменению версий программного обеспечения.
  • Перенос процесса подготовки отчетности в аппарат предприятия. В настоящее время филиалы создают массу отчетов для разных вышестоящих служб, базирующихся на одних и тех же данных. Определив и утвердив номенклатуру и регламент формирования отчетов, будет достаточно собрать в автоматизированном режиме необходимые показатели из первичных систем филиалов и тем самым снизить нагрузку на учетные службы филиалов.
  • Снижение требований к функциональности первичных учетных систем. К системам, изначально предназначенным для бухгалтерского и оперативного учета, с течением времени стали предъявляться совершенно несвойственные им требования, а именно ведение управленческого учета, бюджета (без обратной связи по фактическому исполнению), консолидации данных из систем того же уровня. Первичные системы должны качественно выполнять свое главное предназначение: учет и первичная отчетность. А вот для построения управленческих решений необходимо использовать отдельные специализированные системы.
  • Налаживание обмена нормативно-справочной информацией и бизнес-документами между различными системами. Это устранит дублирование в операциях ввода первичных документов в различных филиалах, стандартизация нормативно-справочной информации упростит процедуры консолидации данных.
  • Предоставление всем подразделениям центрального аппарата возможности мгновенного получения всей необходимой им информации о деятельности филиалов.

На рис. 2 представлена перспективная схема построения системы управления многофилиальным предприятием. В хранилище данных настраиваются информационные объекты для хранения первичных данных. Требования к наполнению хранилища разрабатывают методологи предприятия, заинтересованные службы и подразделения. При настройке хранилища автоматически генерируются XML-форматы для сбора данных из различных источников. Например, после настройки в системе документа «Счет-фактура» будет сгенерирован XML-формат для сбора счетов-фактур из произвольных учетных систем. Формат включает в себя тег с кодом типа документа и теги с атрибутами документа. В последующем эти форматы утверждаются в качестве корпоративного стандарта предприятия на электронный обмен информацией.

Рис. 2. Схема системы управления многофилиальным предприятием

Для первичных систем (рис. 1) разрабатываются модули выгрузки данных в XML-формате на языке программирования, удобном для этих систем. Разработка процедур выгрузки может быть выполнена разработчиком системы «Контур Корпорация», разработчиком исходной системы или специалистами предприятия. Например, для системы на базе «1С» компания Intersoft Lab поставляет универсальный модуль выгрузки, который настраивается на текущую конфигурацию «1С» и необходимый набор выгружаемых данных. Реализованы процедуры выгрузки платежных документов и бухгалтерских счетов из системы «Галактика». Также разрабатываются модули загрузки нормативно-справочной информации, которая ведется централизованно в хранилище данных и рассылается в учетные системы для стандартизации учетной политики, унификации информационных объектов предприятия. Первичные данные из учетных систем филиалов и центрального аппарата выгружаются с необходимой регулярностью и поступают в центральное хранилище данных. Эти «сырые» данные проходят процедуры контроля и агрегации и в дальнейшем используются приложениями, поэтапно создаваемыми для различных служб центрального аппарата.

Сбор данных происходит следующим образом. Выгруженные из первичной системы XML-документы в виде архивированных файлов передаются из филиала в центральный аппарат по электронной почте и поступают во входной каталог сервера обмена данными. Обнаружив новые файлы, сервер инициирует процесс их обработки. Сначала модуль синтаксического разбора проверяет структуру XML-файла, а затем объектная библиотека системы «Контур Корпорация» читает XML-объекты и создает соответствующие им объекты системы. В этот момент проверяется логическая структура входных данных на соответствие метаданным, хранящимся в системе. По событию загрузки данных каждого класса информационных объектов вызывается пользовательская процедура проверки бизнес-правил. Отдельная процедура может быть добавлена для обработки события «ошибка загрузки» (эта процедура может, например, послать по почте сообщение в филиал и администратору системы). После окончания загрузки данных из филиала вызывается процедура агрегации и консолидации данных. Например, для финансовых показателей, в том случае, если для данного плана показателей настроены стандартные периоды времени (день, месяц, квартал, год) выполняется агрегация по времени. Если сам показатель иерархический, то выполняется расчет старших показателей. Если филиал имеет старшее подразделение, например, «Мострансгаз» в целом, то рассчитываются консолидированные значения этого показателя, в том числе и по периодам времени и иерархии самих показателей. Это обеспечивает высокую скорость выполнения запросов и выпуска типичных отчетов — за период, по филиалу, по всему предприятию.

Расчет и специфические дополнительные проверки (например, «Налог на прибыль») оформляются в виде отдельной процедуры и запускаются автоматически после завершения стандартной загрузки и окончания расчетов. В результате получаются синтетические и сводные регистры, выполняется проверка показателей разных регистров, сверка налоговых показателей бухгалтерских данных. Результаты сверки сохраняются в специальном плане показателей, который в дальнейшем используется для печати отчета «Справка о расхождениях». Если этот отчет показывает ошибки в реестре филиала, то этому реестру присваивается соответствующий статус, а в филиал отправляется запрос на исправление ошибок.

Система статусов реестров была разработана по результатам анализа ошибок персонала и проблем, возникавших у сотрудников центрального аппарата. Она защищает от повторной загрузки и от изменений уже проверенные и утвержденные реестры. Через специальный интерфейс системы можно получить журналы обработки данных и быстро выявить филиалы, вовремя не приславшие отчетность, реестры, либо не прошедшие контроль. Все это существенно повысило технологичность процесса сбора, проверки и утверждения отчетности и, как следствие, удалось существенно снизить трудоемкость и повысить качество работ.

***

Опыт внедрения хранилища данных для решения частной задачи расчета налога на прибыль продемонстрировал высокую технологичность, простоту и надежность этого решения.

Анализ перспектив развития системы показывает, что управление многофилиальной организацией с широким спектром видов деятельности и большим объемом хозяйственных операций наиболее эффективно, с минимальными затратами человеческих и финансовых ресурсов можно построить на основе современной технологии хранилища данных, объединяющего информацию филиалов и различных систем автоматизации, используемых в организации.

Хранилище данных, не подменяя собой учетные системы, позволяет развить и оптимизировать информационную инфраструктуру предприятия и стать неотъемлемым элементом корпоративной системы управления. Оно существенно расширяет возможности специалистов и позволяет предоставить высшему руководству своевременную, всестороннюю и точную информацию, необходимую для управления предприятием.

Автор: Д.Долотов

Источник: Открытые системы, 2003, № 4