Использование витрин данных в учетной системе

В последней статье рубрики подробно рассматривается один из подходов к
внедрению аналитических функций в учетную систему - использование витрин
данных. Описываются этапы реализации этого метода и его преимущества.

При внедрении высококачественных систем поставщики всегда сталкиваются с определенными трудностями. Например, необходимо организовывать работу на различных вычислительных платформах, использующих как открытые, так и "фирменные" системы; проводить интеграцию с уже имеющимися приложениями; взаимодействовать с пользователями, отличающимися по уровню технической подготовки, и т.д. С течением времени все эти задачи не теряют своей актуальности, однако современная проблема электронного бизнеса (e-business) отодвинула их на второй план.

Очевидно, что термин "электронный бизнес" воспринимается различными людьми по-разному, но для поставщиков приложений определенные его элементы имеют особое значение:

• необходимость интеграции систем и данных обо всех, кто имеет отношение к организации: о клиентах, поставщиках, сотрудниках, партнерах и прочих;
• усиление операций аналитическими возможностями;
• возможность быстро реагировать на изменяющиеся требования бизнеса.

Чтобы добиться успеха, поставщикам необходимо вплотную заниматься решением этих вопросов. Для достижения лидерства на рынке уже нельзя рассчитывать только на техническое превосходство или грамотную ценовую стратегию.

Интеграция систем и данных

Сегодня у компаний, функционирующих в различных сферах бизнеса, возникла серьезная информационная перегрузка. Количество программных систем для сбора данных растет по экспоненциальной зависимости, к ним относятся традиционные учетные системы, разработанные для мейнфреймов, ERP (Enterprise Resource Planning - планирование ресурсов предприятия) и другие учетные системы, приложения электронной коммерции, а также внешние системы поставщиков, клиентов и партнеров.

Данные, собираемые из учетных систем в огромных объемах, содержат очень важную информацию, которую компании могут использовать для преобразования своего бизнеса. Самое главное здесь организовать связь компонента, обеспечивающего аналитические функции и показатели эффективности, с реальными бизнес операциями.

Например, сам по себе факт того, что продажи конкретного продукта принесли в прошлом году в определенном регионе 2 миллиона долларов, без всякого контекста не имеет особой ценности. Но если с помощью аналитических средств пользователь выясняет, что продажи этого продукта в данном регионе удвоились, тогда как в среднем по стране они снизились, - это уже повод для размышления и хороший путь к осмыслению деятельности организации.

Предлагая аналитические компоненты для оценки ведения бизнеса, поставщики программного обеспечения дают своим клиентам существенные преимущества.

Business Intelligence: своевременный отклик на изменяющиеся бизнес-требования

Большинство поставщиков учетных систем, предлагаемых в комплекте с основным приложением, традиционно предлагали своим заказчикам также и инструменты для создания отчетов.
Однако со временем выяснилось, что эти системы не дают пользователям необходимой функциональности для ведения электронного бизнеса. Заказчикам требуются приложения, которые позволяют:

• интегрировать данные из нескольких источников, в том числе: традиционных учетных систем для мейнфреймов, OLTP- и ERP-систем, а также приложений для электронного бизнеса и источников данных "третьих" фирм;
• структурировать данные так, чтобы отражалась суть бизнеса (для этого используются так называемые "измерения", одинаково определенные во всех подразделениях организации);
• выполнять нерегламентируемые запросы, не влияя на производительность основного приложения; использовать программное решение для тысяч пользователей таким способом, чтобы в наибольшей степени удовлетворять потребности каждого из них (клиент/сервер, Web-доступ, коммутируемый доступ и т.п.);
• масштабировать систему, быстро и легко расширяя ее внедрение от одного отдела до всего предприятия в целом, не нарушая целостности данных;
• Однако отчетность в OLTP-системах попросту не может обеспечить таких возможностей. Поэтому поставщики программ, стремящиеся вывести свои продукты на качественно новый уровень, вынуждены интегрировать свои системы с аналитическими приложениями, в результате чего клиентам предлагаются BI-решения (Business Intelligence). BI-приложения обеспечивают компании информацией, необходимой для оптимизации экономической деятельности.

Аналитические возможности

Требования разных компаний к аналитическим функциям отличаются. Это зависит от множества факторов, в том числе и от того, кто проводит анализ и какой результат необходим. BI-средства позволяют решить эти задачи различными способами:

• отчеты по ключевым показателям эффективности (key performance indicator - КPI). У каждого лица, принимающего решения, есть стандартный набор ключевых показателей, опираясь на которые, он оценивает эффективность деятельности своей организации и которые позволяют ему решить, какие изменения следует произвести, чтобы добиться успеха и процветания;
  
• визуализация карт показателей (scorecard visualizations). У менеджеров обычно нет времени на просмотр десятков отчетов для выяснения, насколько успешно функционирует предприятие. Обычно им нужно быстро найти исключения, причем и положительные, и отрицательные. В карте показателей выделяются как лучшие, так и худшие результаты (т.е. ниже приемлемого уровня), для чего используется наглядное представление данных (от цветных символов до сложных иллюстраций), привлекающее внимание пользователя;
  
• аналитические возможности (analysis capabilities). Тенденции и закономерности, как правило, не сразу очевидны для лиц, принимающих решения. Прежде чем принять надлежащие меры, этим людям требуется проанализировать данные в произвольном порядке, исследуя информацию по разным измерениям - по времени, географии, виду товаров и т.п;
  
• нерегламентируемые запросы (ad hoc query). После анализа на более высоком уровне пользователю часто необходимо "углубиться в данные" (drill down), получив детальную информацию по конкретной транзакции. Хорошие BI-продукты обычно предоставляют возможность создания таких запросов, чтобы пользователям для создания отчетов не требовалась постоянная помощь сотрудников отдела информационных технологий;
  
• отчеты о состоянии (status reports). Для выполнения повседневных операций по прежнему необходимы пакетные отчеты о состоянии, выпускаемые по расписанию (batch scheduled status reports). Например, торговому персоналу для начала нового цикла продаж необходим свежий список потенциальных клиентов, собранный с помощью оперативной системы управления;
  
• гибкий пользовательский интерфейс. Удобное BI-приложение дает любому пользователю, будь то любитель Excel, пользователь Windows или Web-браузера, возможность выбора привычного интерфейса;
  
• гибкие возможности развертывания приложения. Возможности развертывания не менее критичны для BI-приложения, чем функциональность. Пользователям необходим доступ к информации по наиболее удобным каналам - через локальную сеть, Интернет или через автономные системы.

Из выше сказанного следует, что требования к качественному BI-инструменту весьма разнообразны. Их выполнение - непростая задача для поставщиков приложений, вынужденных предлагать наряду со своим основным продуктом также и аналитические возможности.

Как наилучшим образом интегрировать BI-средства и учетную систему?

Обычно BI-решения входят в состав полномасштабной реализации Хранилища данных. Здесь есть ряд существенных преимуществ, в том числе сокращение потерь производительности учетной системы и интегрирование данных из нескольких источников.

К сожалению, при построении Хранилища возникает много сложностей, самая большая из них - весьма продолжительное время развертывания (часто растягивающееся на годы) и связанные с ним расходы. Учитывая скорость изменения современных требований к бизнесу, на момент завершения работ по внедрению структура Хранилища может уже и не соответствовать реальной бизнес-ситуации. Поэтому крупномасштабные Хранилища не всегда подходят для электронного бизнеса.

В качестве альтернативы многие организации выбирают витрины данных. Они представляют собой предметно- или функционально-ориентированные локальные базы данных, которые строятся во много раз быстрее, чем Хранилища.

Однако у витрин есть одна непривлекательная особенность: иногда анализ, проведенный в одном отделе, противоречит результатам, полученным в другом. Отсутствие согласованности связано с противоречивым определением общих бизнес-терминов (таких как "клиент" или "вид товара") и несоответствием данных по всей организации.

Непосредственным решением этой проблемы является создание координированных витрин данных, иначе называемое интегрированным Хранилищем.

Создание координированных витрин данных подразумевает проектирование системы для всей организации в целом и последующую детальную разработку по отдельным функциям. Такой итерационный подход снижает возможный риск и сразу дает множество преимуществ, а также позволяет со временем развивать систему, пока аналитические возможности не охватят всю деятельность организации.

Преимущества данного подхода для поставщиков приложений:

• общие измерения разрабатываются один раз и распространяются на все витрины данных. Это экономит ресурсы, необходимые для развертывания системы, и кроме того, сокращает затраты на обработку, требующуюся для обновления данных, поскольку в данном случае отпадает необходимость отправлять данные из источника в каждую витрину отдельно;
  
• каждый этап становится компоновочным блоком для следующего шага, следовательно, усилия, затрачиваемые на проектирование, моделирование и реализацию, сокращаются по мере роста программного решения. Например, поставщик может начать разработку аналитических функций с базовых OLAP-кубов и каталогов отчетности, и уже на их основе создавать первые витрины данных пользователя;
  
• решения, разработанные "под одного клиента", можно впоследствии использовать и для других заказчиков, внеся лишь небольшие конфигурационные изменения для согласования с конкретной вычислительной инфраструктурой компании-заказчика.
  

Преимущества данного подхода для заказчиков:

• заказчик может сразу обратиться к решению самых критических задач в деятельности компании, создав витрины данных в первую очередь для проблемных областей. По мере роста системы, время на получение результатов с каждой новой витриной сокращается;
• использование общих измерений гарантирует, что сотрудники "разговаривают на одном языке", т.е. все понятия, используемые в компании, унифицированы. Таким образом, принимаемые решения будут основываться на согласованной информации, отражающей не отдельные функции, а деятельность организации в целом.

При выборе BI-средств для интеграции с учетной системой необходимо учитывать следующие факторы:

• минимальное время для получения результата. Разработка аналитических компонентов для учетной системы состоит из множества сложных шагов. Инструменты, код и технология продукта должны сводить к минимуму или даже вовсе устранять работу по выполнению каждого из этих шагов;
  
• готовое решение. У многих клиентов нет IT-ресурсов для создания витрин данных, BI-каталогов и моделей. Поставщикам OLTP-систем необходимо самим проводить разработку и развертывать готовое приложение на рабочих местах. Готовое решение включает в себя набор важных компонентов, таких как отображение исходных данных в данные предметной области, бизнес-калькуляцию, готовые KPI-отчеты и т.п. Это сводит к минимуму объем работы IT-отдела клиента, а также позволяет поставщикам предлагать дополнительные услуги (консалтинг, инструментарий) по мере роста требований заказчика;
• интеграция с архитектурой приложения и распределения ресурсов. BI-средства должны хорошо встраиваться в интерфейс учетной системы и архитектуру распределения ресурсов, как в Unix, так и в NT. Таким образом, можно обеспечить плавный переход от одного приложения к другому, и специальная подготовка клиента к работе с новыми средствами сведется к минимуму;
  
• программируемость. Хорошее BI-решение обеспечивает универсальные функциональные возможности (out-of-the-box functionality) с поддержкой наиболее популярных баз данных и оперативных систем. Тем не менее, у каждого приложения есть свои особые свойства, поэтому важно, чтобы выбранный продукт давал возможность поставщику учетной системы устанавливать параметры конфигурации и писать сценарии для настройки приложения под требования определенного заказчика. В идеале программирование должно осуществляться либо на языке четвертого поколения (4GL), либо с помощью интерфейса командной строки (CLI - Command Line Interface);
  
• гибкость. Координированные витрины данных должны меняться параллельно с вычислительной средой заказчика. В самой гибкой системе будут изменяться только те компоненты приложения, которые напрямую связаны с изменениями инфраструктуры; при этом вся система в целом не перестраивается. Например, клиент может выбрать новую базу данных;
  
• простота администрирования. Координированные витрины данных нужно не только разработать, но еще и установить, сконфигурировать, загрузить, распланировать машинное время пользователей, а также регулярно обновлять. Поэтому в интегрируемом BI-приложении должен быть предусмотрен надежный и продуманный инструмент администрирования, упрощающий все перечисленные выше задачи;
  
• обеспечение безопасности. Многие поставщики учетных систем разрабатывают свою собственную модель защиты информации. При интеграции аналитических функций в основное приложение необходимо убедиться в согласованности и возможности взаимодействия обеих моделей;
  
• комплексная поставка. Реализация интегрированного решения включает в себя не только разработку витрин данных, но и поставку инструментария, обеспечивающего создание отчетов, запросов, анализ, визуализацию, исследование данных (data mining). Наряду с этим необходимо формировать метаданные, обеспечить защиту информации и создать сервисы управления порталами, необходимые для эффективного развертывания приложения. Если все эти средства поставляются одним и тем же производителем, то слаженная работа всех компонентов будет гарантирована. Это, в свою очередь, позволит заказчику быстрее запустить свою BI-систему, чем в случае интеграции компонентов, приобретенных у разных поставщиков.

Создание координированных витрин данных

В следующих разделах подробно описывается процесс разработки координированных витрин для любых учетных систем.

Добавление бизнес-контента

При создании витрин данных одной из самых сложных и трудоемких задач является получение исчерпывающего набора бизнес-требований от клиента. Основное преимущество при интеграции с учетной системой, т.е. возможность быстро создать для клиента полезное программное решение, дает поставка BI-приложения совместно с бизнес-контентом (набором отчетов и моделей для анализа различных областей экономической деятельности).

В этом случае все усилия разработчика будут сводиться лишь к удовлетворению каких-либо особенных требований конкретного клиента; уже не нужно специально разрабатывать бизнес-контент, следовательно, время на сбор требований резко сократится.

Проектирование витрин данных

Самое главное - спроектировать эффективную структуру витрины. Ведь рядовая учетная система оптимизирована только для хранения информации, поля данных распределены по тысячам таблиц. Поэтому поиск полей, описывающих конкретный запрос, - это трудоемкий, медленный процесс, отрицательно влияющий на производительность базы данных. На рисунке 1 показан пример схемы для витрины данных продаж.

Оптимизация координированных витрин заключается в создании такой структуры, которая позволила бы наиболее оперативно анализировать данные и составлять отчеты, быстро предоставляя клиенту необходимую информацию о его бизнесе. Для этой цели лучше всего подходит схема "звезда".

В схеме звезда представлено два типа таблиц - таблицы фактов и таблицы измерений. Первые содержат историю транзакций, связанную с конкретным моделируемым видом деятельности. В них хранятся соответствующие числовые показатели и поля ID (идентификаторы) для каждого из измерений.

Например, таблица фактов Продажи должна содержать поля Cusomerfact ID (Идентификатор заказчика), Salesperson ID (Идентификатор продавца), Product ID (Идентификатор продукта), Quantity Sold (Проданное количество), Discount (Скидка), Total Amount (Полный объем продаж) и т.п.

В схеме "звезда" таблицы фактов окружены вспомогательными таблицами измерений, благодаря чему пользователь может быстро углубляться в данные (drill down) для выявления корреляций между измерениями и элементами в таблицах фактов. На рисунке 2 показаны таблицы фактов и измерений для витрины данных продаж.

Формирование запросов состоит из набора простых однонаправленных объединений (таблицы фактов и каждого из измерений).

Создание витрины данных

Одной из основных сложностей при создании витрин является организация трех ключевых этапов - извлечения данных из исходных систем (extract), преобразования их в нужную форму (transform) и последующей загрузки в целевую систему (load). Для этого используется специальный ETL-инструмент (Extract, Transform, Load).

Извлечение данных требует точного знания структуры исходной системы. Как правило, разработчику известны подробности построения собственной учетной системы, но иногда приходится выполнять интеграцию и c другими источниками.

• реструктурирование файлов данных, записей и полей;
• удаление избыточных данных;
• декодирование и трансляцию значений полей;
• повышение качества представления читаемых данных;
• проверку их достоверности;
• расчет новых значений для одного или нескольких исходных столбцов;
• упрощение данных и изменение их типов.

Преобразование также подразумевает исправление ошибок, выдачу в систему предупреждений о необходимости поддержки целостности и полезности данных.

Преобразованные данные загружаются в целевые витрины данных и становятся доступными пользователю для анализа и отчетности. При этом должна быть установлена поддержка информации об измерениях для соответствующей платформы хранения/доступа.

Локальные кубы или витрины данных?

В некоторых случаях создание координированных витрин данных не является срочной задачей. Там, где не оправдано создание полномасштабного решения на основе витрин данных, многие применяют BI-решения, работающие с одним приложением, использующие один куб и создающие всего несколько отчетов. Однако и крупные, и мелкие компании постепенно расширяются, используют все новые и новые источники данных (например занимаются электронным бизнесом или проводят операции через extranet, которые генерируют дополнительные объемы данных.

Таким образом, по мере увеличения количества корпоративной информации все же более актуальными становятся координированные витрины данных, имеющие следующие ключевые преимущества:

• высокое качество данных, очищенных и преобразованных, дает возможность принимать согласованные и точные решения;
  
• эффективный процесс обработки, на высоком уровне отражающий основные показатели бизнеса, удовлетворяет большинству требований пользователей и воздействует на учетную систему только в тех случаях, когда требуется более глубокий анализ;
  
• возможность объединения информации из ранее разрозненных источников, а также предоставление доступа к ней во всей организации;
  
• быстрый отклик на запросы, возможный благодаря применению в витрине данных консолидированных таблиц и сокращению количества операций объединения;
  
• использование общих измерений, дающее лицам, принимающим решения, законченное и цельное представление о деятельности компании.

Заключение

Удовлетворение требований бизнеса в современных экономических условиях требует особых усилий от поставщиков приложений. Интеграция систем, использование аналитических возможностей в учетных системах, гибкость и открытость, позволяющие реагировать на все происходящие изменения, - вот далеко не полный список стоящих перед ними задач.

И одних только технических знаний и грамотной ценовой политики теперь уже недостаточно: они дают лишь равные возможности, но отнюдь не конкурентные преимущества.

Подход к интеграции аналитических компонентов в учетную систему, предполагающий разработку координированных витрин данных, предоставляет возможность создания качественного программного решения. С помощью такого средства пользователь сможет лучше понять, насколько правильно ведется его бизнес, что позволит ему своевременно принимать координированные и продуманные решения. Это несомненно важно для бизнеса, а значит, небезразлично и поставщику программ.

Автор: По материалам зарубежных сайтов