Операционные BI-технологии. Основные понятия

В статье рассказывается о новом этапе развития технологии Business
Intelligence — операционных BI-средствах (OBI). Даются основные
определения, описываются преимущества и различные уровни инфраструктуры
OBI.

Операционные BI-средства (OBI) являют собой поворотный этап в развитии технологии Business Intelligence. По сути, они сливаются с аналитическими и операционными процессами в единое целое.

При этом возрастает эффективность и скорость работы и удается достигнуть важнейших бизнес-целей. Операционные BI-средства обеспечивают необходимую информацию нужным людям в нужное время.

OBI-технология  представляет собой довольно широкий диапазон инструментов, охватывающих ряд различных технологий, архитектур и методик, которые можно использовать для поддержки множества решений и задач. Одной из главных особенностей является анализ бизнес-правил и моделей, которые организация может использовать для автоматизации принятия решений. Это, в свою очередь, не только оптимизирует процессы и сокращает расходы, но также повышает качество обслуживания и обеспечивает хорошие конкурентные преимущества на рынке.

Не только операционная отчетность

У операционных BI-средств множество возможностей, начиная с операционной отчетности и мониторинга процессов и заканчивая сложными приложениями и автоматизацией принятия решений. Многие организации уже поддерживают операционную отчетность, но еще не внедрили более сложную функциональность, которая обеспечивает ряд дополнительных преимуществ.

Однако операционные BI-средства ставят несколько серьезнейших задач, расширяя архитектурные границы сегодняшних проектов, заставляя специалистов переоценивать построение систем.

Сегодня запросы должны выполняться за секунды, а не за минуты или часы, а отчеты должны обновляться динамически. Операционные BI-системы обрабатывают большие объемы данных практически в реальном времени, не влияя на производительность существующих процессов и работ на исходных и целевых системах. Кроме того, меньше времени отводится на восстановление после перебоя в работе сервера, что заставляет BI-профессионалов строить отказоустойчивые доступные системы с развитыми возможностями восстановления.

Операционная BI-технология помогает в выполнении ключевых процессов, которые стимулируют бизнес ежедневно, ежечасно и даже ежеминутно. Таким образом поддерживается больше пользователей, больше решений, а также более своевременные данные, чем при использовании стратегических или тактических BI-средств, а также требуется совершенно иной подход и архитектура.

Тенденции

Согласно опросам, проводимым аналитическими компаниями, больше половины респондентов стремится к реализации операционных BI-средств.

Однако лишь небольшой процент внедрил зрелую законченную операционную BI-среду. А почти половина только изучает и рассматривает идею. Около трети занимается разработкой.

Если говорить о функциональности, то львиная доля опрошенных использует <операционную   
отчетность>. BI в режиме, приближенном к реальному времени, внедрила только десятая часть респондентов, а настоящую полнофункциональную операционную BI-среду смогла реализовать тоже только десятая часть компаний. Поскольку операционная отчетность существовала задолго до появления BI-технологии как таковой, то очевидно, что большинство организаций по-прежнему находятся на стадии разработки, и им еще предстоит внедрить массу возможностей, обеспечивающих бизнес-преимущества.

В отношении операционных BI-средств существует интересная двойственность. Один из элементов этой технологии — отчетность, напрямую в транзакционных системах предшествующая Хранилищу данных. Однако есть и сложная проблема, связанная с комбинированием исторических данных и текущей информации в реальном времени, которое обеспечивает быстрое принятие решений и своевременное реагирование на возникающие ситуации. Для многих профессионалов проблема состоит в том, как спроектировать унифицированную архитектуру.

Операционные BI-средства открывают совершено новый класс пользователей. По данным отраслевых опросов, средствами OBI пользуются более половины специалистов, общающихся с клиентами; далее идут сотрудники операционных отделов, а также руководители, отвечающие за стратегические и тактические задачи. Часто руководство компаний просматривает операционные инструментальные панели каждый час, с тем чтобы оценить эффективность и убедиться, что компания работает в соответствии с установленными целями.

Предоставление данных с минимальной задержкой

Предоставление своевременной информации - радикальная задача для большинства BI-профессионалов. Сегодня надо пересматривать подход к архитектуре сбора данных и механизмам поставки, либо внутри, либо вне среды Хранилища, чтобы обеспечить информацию, а также ее понимание ежечасно, или даже ежесекундно, гарантируя доступность и поддержку критически важных бизнес-процессов.

Для системы, поддерживающей операционные процессы, используется термин <своевременная> поставка данных, или поставка с минимальной задержкой. Это понятие может меняться от организации к организации, от одного приложения  к другому. Некоторые операционные BI-приложения, например системы электронной коммерции, применяют аналитику к данным в реальном времени, где задержка на долю секунды может внести очень существенные коррективы. Однако большинство операционных BI-приложений не налагает столь серьезных ограничений. Часто задержка может составлять несколько минут или несколько часов, прежде чем пользователям понадобится выполнить какие-либо действия или запустить определенный поток операций. Не временной промежуток задержки, а именно своевременность информации подчеркивает ее полезность для бизнеса.

Для поддержки операционных BI-средств многие организации обновляют часть данных в Хранилище в реальном времени. В целом, большинство компании обновляют 15% данных не реже чем раз в 24 часа, интервал обновлений составляет от нескольких часов до нескольких секунд.  Многие организации используют и иные технологии помимо Хранилища для получения и предоставления своевременных данных, включая инструменты интеграции корпоративных приложений (enterprise information - integration (EII), операционные склады данных, веб-сервисы и сложные приложения.

Среда предоставления информации

Большинство компаний предоставляют операционные данные в виде статических отчетов, параметризованных отчетов или инструментальных панелей. Преобладание статических отчетов имеет смысл, если операционные процессы меняются не очень часто. Кроме того, в операционных отчетах данные - часто не детализированные, поэтому пользователям приходится дополнительно заниматься поиском более подробных сведений.

В большинстве случаев отчеты обновляются в предопределенные интервалы времени. Эти интервалы составляют от нескольких часов до нескольких секунд. Параметризованные отчеты также очень удобны, поскольку дают пользователям возможность установки фильтров на уже существующие отчеты. Этот вид отчетности обновляется примерно в такие же интервалы времени.

Показатели эффективности, предупреждения и триггеры

Согласно данным отраслевых опросов, наиболее привлекательной возможностью операционной BI-технологии является возможность доступа и анализа ключевых показателей эффективности в реальном времени (ключевая функция инструментальной панели эффективности). Следом идут возможности доступа, комбинирования и анализа данных из двух и более источников в реальном времени (также функция инструментальной панели).

Наиболее часто встречающиеся действия, запускаемые из операционной BI-системы, - это предупреждения и электронные письма, за ними следуют обновления баз данных, запросы и триггеры.

Инфраструктура операционных BI-средств

Инфраструктуру операционных BI-средств можно рассмотреть на нескольких уровнях.

На первом уровне пользователям предлагается анализировать операционные процессы с использованием традиционных отчетов. Большинство организаций занималось этим в течение многих лет, еще до внедрения Хранилищ. На следующем уровне пользователи проводят мониторинг выполнения бизнес-процессов в режиме реального времени, применяя оценочные панели.  Далее IT-разработчики упрощают процесс, внедряя BI в операционные приложения, используя сервис-ориентированную архитектуру для слияния операционных и аналитических процессов в единую среду.

И, наконец, кульминацией операционной BI-технологии является тот этап, когда организация выполняет процессы, используя управляемые событиями аналитические механизмы, прогнозные модели и другие методы мониторинга событий и запуска правил для автоматизации или корректировки операции. Когда организация достигает такого уровня операционных BI-средств, окупаемость вложений существенно возрастает.

В то же время задержка в предоставлении данных и интервалы времени между событием и поступлением данных  сокращаются, иногда практически устраняются. К сожалению, сегодня многие компании остановились на первом уровне -  операционной отчетности - и только начинают исследовать возможности мониторинга процессов с использованием инструментальных панелей. В то же время, они прислушиваются к лидерам, которые проповедуют  преимущества комбинированных приложений и SOA, а также наблюдают за передовыми компаниями, внедряющими автоматизацию принятия решений.

Рассмотрим каждый из этих уровней детально, чтобы понять диапазон возможностей операционной BI-технологии.

Первый уровень. Анализ целей процессов

Получение представления о текущих операциях в одном или нескольких приложениях, чтобы помочь в принятии решений и оптимизировать процессы.

На первом уровне организации используют операционные отчеты для анализа процессов. Эти отчеты,  - которые обычно представлены в форме <итоги-детализация> (master-detail reports)  или в виде табличных списков транзакций, полученных из одной системы, - позволяют отслеживать, что происходит в конкретном случае и принимать решения по ситуации, гарантируя максимальную эффективность. Существует множество способов внедрения операционных отчетов, и большинство компаний опробовали все виды. Основных подходов два: выполнение запросов на транзакционных системах, либо выгрузка транзакционных данных и выполнение запросов на этих данных отдельно.

Прямые запросы. Большинство организаций стремится выполнять транзакции напрямую.

Если это возможно, то используются:

1. готовые отчеты, поставляемые вместе с транзакционной системой;
2. BI-инструменты, для выполнения запросов на каждом транзакционном приложении отдельно;
3. инструменты интеграции корпоративных приложений (enterprise information integration  - EII) для выполнения запросов сразу на нескольких приложениях одновременно.

Первый способ дешев, однако он полностью привязан к транзакционной системе, а его  отчеты часто статичны и не гибки. BI-инструменты обеспечивают большую гибкость, но, как правило, требуют своего набора метаданных для каждого OLTP-источника. EII-инструменты обеспечивают большую экономию, однако разработчики могут создавать одну модель метаданных для нескольких транзакционных систем. Однако OLTP-схемы очень сложны и могут затруднять разработку модели.

Выгрузка. Однако все прямые запросы имеют один и тот же недостаток. Они могут снижать производительность транзакционной системы по мере роста объемов запросов. Чтобы избежать этой проблемы, большинство организаций выгружают транзакционные данные в операционной склад данных (ODS) или Хранилище, предназначенное для обработки коротких тактических запросов. Выгрузка также может проводиться в тех случаях, когда операционные отчеты требуют данных из нескольких источников и у них либо нет EII-инструмента, либо нет уверенности, что этот инструмент может адекватно поддерживать сложные многонаправленные объединения на множестве транзакционных систем.

Выгрузка транзакционных данных может как упрощать работу, так  и создавать ряд проблем. Например, недостаток ODS состоит в том, что в среде возникает дополнительная база данных и отчетность, а следовательно, дополнительные обязанности по управлению и поддержке для IT-персонала. Многие компании накопили десятки, если не сотни, оперативных складов данных, которые в буквальном смысле пожирают время и ресурсы IT-отдела.

Смешанная загрузка. В результате многие компании предпочитают консолидировать операционную отчетность в существующем Хранилище, чтобы управлять всей отчетностью в единой инфраструктуре. В этом случае удается не только унифицировать операционные и аналитические процессы с технической точки зрения, но также обеспечить бизнес-пользователей единой поддержкой по отчетности и запросам.

Однако использование Хранилища для операционной отчетности ставит другие проблемы. Чаще всего организации модифицируют архитектуру Хранилища для поддержки обновлений в реальном времени, а также быстрых, тактических запросов.  На эти две задачи большинство ХД не рассчитаны. Кроме того, в этом случае требуется больше интеграции данных и работы по моделированию, чтобы передать транзакционные данных в Хранилище (по сравнению с ODS, где, как правило, хранятся зеркальные образа OLTP-данных в исходной схеме). В Хранилище требуется моделирование данных и преобразование их в многомерную схему.

Второй уровень. Мониторинг процессов

На втором уровне основная задача состоит в отслеживании процессов, предупреждении пользователей об исключительных ситуациях, а также в поиске и анализе причин.

Мониторинг процессов проводится с помощью инструментальных панелей эффективности. На практике, различия между операционным отчетом и панелью эффективности не так велики. Фактически, инструментальная панель - это отчет об исключениях, представленный в графической форме, предназначенный для тех пользователей, которые работают с узким набором показателей, отражающих эффективность того или иного процесса. Панель эффективности дает возможность быстро оценить, выходит ли показатель за условленные рамки, а также предупредить пользователя о возможной исключительной ситуации, в том числе через электронную почту или другие беспроводные каналы. Такой способ мониторинга процессов эффективнее, чем статические отчеты, и большинство компаний активно его внедряет.

Подходы к разработке инструментальных панелей. Еще пару лет назад большинство организаций разрабатывали инструментальную панель самостоятельно, объединяя порталы, OLAP-инструменты, а также системы отчетности.  Сегодня поставщики практически полностью удовлетворяют спрос на инструментальные панели и предлагают сложные приложения.

Некоторые из них внедрены в BI-продукты лидеров рынка, а другие спроектированы с нуля, с использованием новейших технологий графического интерфейса, а также методов интеграции данных (таких как: веб-сервисы, объединение данных (data federation), обработка в оперативной памяти (in-memory)). Третье поколение операционных инструментальных панелей - так называемые аналитические платформы, управляемые событиями - уже начинает свое развитие . Они дают более широкие возможности, чем традиционные ключевые показатели эффективности.

Третий уровень. Упрощение целей процессов - внедрение показателей или отчетов в операционные приложения или порталы

Следующий уровень операционных BI-средств - использование BI для упрощения процессов. Компании могут решать эти задачи, внедряя показатели или отчеты в операционные приложения или порталы. Иными словами, вместо того, чтобы вынуждать пользователей внедрять две различные системы (одну для выполнения процессов, а другую для анализа), организациям прелагается внедрять аналитику напрямую в процессы и приложения, которые обеспечивают информацию в нужный момент времени без переключения из одного приложения в другое.

Встроенный код. Существует множество подходов к внедрению BI. Некоторые из них известны давно. Например, написание собственного программного кода и внедрение его в приложение собственной разработки. Сегодня также можно использовать более современные BI-инструменты, или средства с открытым кодом, встраивая отчетность в приложения. Также можно внедрить и прогнозные модели, созданные на основе стандартов аналитического моделирования и поддерживающие принятие решений в реальном времени.

Четвертый уровень. Выполнение целей процессов. Обнаружение бизнес-событий и применение правил для автоматизации выполнения бизнес-процессов

Наконец рассмотрим последний и наиболее интересный этап развития операционных BI-средств, который заключается в применении аналитики  в качестве инструмента для выполнения процессов и потоков. BI-технология  не только обеспечивает понимание процессов, но и сама является процессом. Описываемый здесь метод позволяет компаниям обнаруживать бизнес-события и применять правила для поддержки или автоматизации выполнения бизнес-процессов.

Существует множество недорогих альтернатив автоматизации процессов, которые разработчики и специалисты в области БД использовали годами. Например, триггеры баз данных и хранимые процедуры - это специально разработанные способы отслеживания событий и запуска операций, основанного на предопределенных правилах. Эти методы просты, но работают не в любой ситуации. Например, триггеры баз данных не эффективны там, где события происходят вне базы данных или Хранилища. Кроме того, они требуют поддержки и настройки.

Другой подход - использование BI-инструментов, большинство из которых содержит тот или иной механизм предупреждений. BI-инструменты могут потребовать выполнения запросов в БД в определенные интервалы и запуска предупреждений или генерации новых запросов в случае, когда результаты выходят за рамки определенных границ. Как и триггеры, эти предупреждения зависят от базы,  и опрос (polling) может внести существенную задержку  в зависимости от сложности запроса и интервала опроса. Кроме того, эти правила трудно настраивать и выполнять таким образом, чтобы система не  засыпала пользователей несогласованными предупреждениями и не запускала ненужные действия. Однако некоторые из поставщиков интегрируют свои BI-инструменты с управлением бизнес-процессами.

Специально разработанные приложения. Еще недавно организации, которым необходимо было проводить мониторинг операций в реальном времени и выполнять процессы (например, кредитные компании, крупные производители и т.п.) разрабатывали свои собственные приложения на основе собственных процессоров правил (rules engines), прогнозных моделей, Хранилищ данных в реальном времени и других компонентов. Например, некоторые банки создавали оперативные кредитные системы, которые позволяют клиентам получать кредиты и ссуды в реальном времени. Однако разрабатывать, расширять и поддерживать такие приложения - дорого.

Управляемые событиями аналитические платформы (EAP). Новейший подход - управляемая событиями аналитическая платформа, которая обеспечивает готовую альтернативу для мониторинга событий и автоматизацию принятия решений в реальном времени. EAP-платформа должна быть связана с различными системами передачи сообщений (например: WebSphere MQ, Java Message Service и проч.) и поддерживать адаптеры для извлечения данных в пакетном режиме из реляционных баз данных, плоских файлов, веб-сервисов и других систем. Эти адаптеры должны фильтровать, оценивать и выбирать только определенные события из потока транзакций, во избежание перегрузки системы. Перехваченные события далее обрабатываются в памяти вычислительной машины, которая агрегирует и коррелирует специальные типы событий в памяти (или хранит на диске в виде долгосрочных процессов) до тех пор, пока их можно будет комбинировать с другими появляющимися событиями.

Правила. Вычислительная машина передает рассчитанные объекты в процессор правил, где выясняется, попадает ли операция в приемлемый диапазон или выходит за рамки. В последнем случае запускается ответное действие. Правила могут быть простыми или сложными, но чаще всего они работают в рамках логики <что-если>. Сложные события генерируются из множества простых событий или других сложных событий. События не обязательно идут в виде последовательности или в рамках заданного временного периода. В аналитические платформы, управляемые событиями, процессоры правил чаще всего встроены, однако компаниям нередко приходится использовать собственные разработки.

Например, системы нотификации в BI-инструментах часто не содержат необходимой логики для моделирования сложных процессов, и большинство организаций, их внедряющих, отказываются от них.

Кредитный балл (Scoring code).Один из способов повышения сложности правил - внедрение баллов, полученных из прогнозирующего инструмента, где используются статистические или обучающие алгоритмы на исторических данных для прогнозирования будущих результатов. Баллы (обычно в диапазоне от 0 до 1) задают связь между событием и возможным результатом. Примером может служить серия операций с кредитной картой, которая указывает на возможность мошенничества. В частности, создаются прогнозные модели, основанные на истории покупок по кредитной карте, для прогнозирования тех операций, которые потенциально могут оказаться мошенническими. Эти модели или правила внедрены в EAP-платформу и могут практически сразу выдать оповещение в том случае, если кто-то украл кредитную карту или выполнил с нею мошенническую операцию. Аналитические платформы, управляемые событиями, обрабатывают транзакции в реальном времени, идентифицируют потенциально мошеннические транзакции и замораживают счет. В результате передается предупреждение, требующее вручную проверить операцию, провести анализ и вызвать клиента,  для выяснения законности  операции.

Ориентация на операции. Сегодня большинство EAP-платформ содержат инструментальные панели, которые позволяют пользователю отслеживать бизнес-процессы и сравнивать эффективность фактических и планируемых показателей. Эти механизмы также автоматизируют реагирование за счет запуска последовательности операций в заданном потоке. Например, если продажи продукта в сети электронной коммерции упали ниже требуемого уровня за последние пять часов, то аналитическая машина передаст предупреждение менеджеру и выполнит операцию по приостановлению продвижения продукта на веб-сайте. Аналитические платформы, управляемые событиями, можно использовать для динамической оптимизации цен и уровня складских запасов, своевременного мониторинга устаревания  оборудования конвейера, выявления колебаний в ценах  и т.п. Кроме того, они используются для выявления ожидаемых событий и запуска соответствующих ответных действий для разрешения ситуации. Прогнозные модели повышают сложность правил и адекватность предупреждений и триггеров.

Таким образом, на четвертом уровне, операционные BI-средства предоставляют клиентам наиболее эффективные функциональные возможности.

Но на пути внедрения OBI возникает ряд проблем, решением которых занимаются сегодня многие компании.

Публикации

1. Оптимальный подход к реализации операционных BI-средств. Слияние аналитических и операционных процессов (Best Practices In Operational BI. Converging Analytical and Operational Processes), Вейн Экерсон  (Wayne Eckerson), 2007 г,  www.tdwi.org.

Автор: По материалам зарубежных сайтов