Консалтинг и автоматизация в области управления
эффективностью банковского бизнеса

Журнал ВРМ World

Технологии Business Intelligence и Data Warehousing: важные уроки последнего десятилетия и новые направления развития

Опыт первых проектов по внедрению технологии Business Intelligence (BI) и Хранилищ данных (DW) показывает, что работает в решениях BI. Важные уроки, которые преподнесли десять лет развития программных продуктов этого класса, и новые тенденции в области BI позволяют выявить принципы, придерживаясь которых, можно добиться более высокой окупаемости капиталовложений в сферу BI.

Является ли "Business Intelligence" в самом деле необходимым бизнес-средством или это всего лишь игра слов? Ответ на этот вопрос зависит от того, насколько полезными оказалось используемое программное обеспечение: и BI-инструмент, и Хранилище данных.

За последнее десятилетие существования технологии BI и Хранилищ данных было реализовано множество успешных, высоко-прибыльных проектов по развитию информационных технологий. В этой статье подводятся итоги этого периода, рассматриваются некоторые основополагающие принципы и приводятся рекомендации, которые должны обеспечить успех корпоративного BI-инструмента.

Опыт, который был накоплен компаниями, занятыми в самых различных отраслях экономики, позволяет выявить принципы, соблюдение которых является залогом успешного применения BI. Однако, несмотря на то, что знания и сведения, добытые "пионерами" технологии BI, являются воистину бесценными, многие компании и организации, похоже, не уделяют им должного внимания и не понимают, что рискуют совершить ошибки, которые можно избежать. Пренебрежение опытом ранних проектов по развертыванию систем BI и Хранилищ данных чревато повторением уже допущенных ошибок.

Мы же, опираясь на уроки этих десяти лет, смогли определить четыре ключевые методики, увидеть тенденции в области разработки BI-технологий и приложений и установить управленческие факторы, которые влияют на конечный успех BI-продуктов.

Четыре ключевых метода BI

По мере становления технологии Хранилищ и витрин данных и развития инфраструктуры BI, стали очевидны четыре основных подхода, соблюдение которых необходимо для технического успеха этих продуктов. Итак, можно выделить следующие четыре метода: архитектура BI/DW, очистка данных традиционных систем, организация данных BI и презентация результатов бизнес анализа.

Архитектура BI/DW. Архитектура BI/DW - это фундаментальное понятие, которое влияет на долгосрочный успех решения BI/Хранилища данных. Сложности возникают в том случае, если приоритетным направлением становятся витрины данных, а не отдельное корпоративное Хранилище данных. В этом случае создается ряд витрин данных для загрузки данных из источников, которые первоначально казались подходящими, но в отношении которых не были разработаны перспективные методы по обеспечению данными или корпоративными метаданными.

Со временем, из-за изменений в информационных потоках, идущих от приложений и источников данных к Хранилищам и витринам данных, зависимости в этих нерегламентированных потоках становятся ненадежными. Необходимо помнить, что эта архитектура (или ее нехватка) является высокоуровневой формой хаотического потока данных на уровне системы приложения. Первый принцип BI - создание в базовых структурах данных стабильности, необходимой для функционирования компании и использования BI-продукта.

Реализация этого подхода - разработка архитектуры "звезда" (hub-and-spoke). В ней центральное Хранилище данных питает витрины данных (см. рисунок 1). И хотя и в приложения, и в источники данных со временем будут вноситься изменения, такой подход гарантирует, что эти модификации повлияют только на процесс извлечения, преобразования и загрузки (ETL). Все витрины данных, информация в которые поступает из Хранилища данных, останутся незатронутыми.



Рис. 1. Архитектура "звезда"

Очистка данных традиционных систем. Еще одна аспект, которому следует уделять внимание при работе с Хранилищем данных, это качество, целостность и практичность данных. Извлечение данные из существующей системы и простое копирование их в витрину или Хранилище данных не является сложной задачей. Этот подход часто используется, если необходимо быстро построить витрину или Хранилище данных. Если до загрузки не проводится очистка данных, эти данные должны быть включены в аналитические запросы, которые создают отчетность BI. Очистка данных, грубо говоря, включает определение стандартной физической характеристики для каждого элемента данных, его исходной системы записи и его декодированной, наиболее базовой структуры. Необходимо сделать все необходимое, чтобы все данные в Хранилище были эквиваленты по смыслу, а по не значению, своей корпоративной системе записи.

Второй принцип BI заключается в том, что применяемые данные должны быть такими, чтобы каждый элемент данных выступал исключительно фактом или атрибутом. Обработка данных, необходимая для того, чтобы они стали удобны для использования, может привести к некорректному результату, поскольку не всегда просто проследить, что правила декодирования данных выдерживаются должным образом. В результате возникает задача по поддержанию согласованности и корректности запросов при применении правил декодирования; в противном случае будут получены противоречивые и несовместимые результаты.

Рекомендуемый подход - встроить требуемы правила декодирования в ETL-процесс (см. рисунок 2). Конечной целью будет обеспечение независимости данных Хранилища данных. В этом случае причиной любого несоответствия в последующих результирующих данных BI будет неверное задание запросов, а не неудовлетворительное качество данных в Хранилище.



Рис. 2. Применяйте бизнес-правила как часть ETL

Организация данных BI. Возможно, организация данных может показаться несложным делом. Однако, опыт слияний и региональных реорганизаций свидетельствует о том, что слишком часто при создании витрин данных в качестве принципа организации данных используется организационная структура компании. Такой подход может отвечать текущим оперативным задачам, но он сводит на нет ту легкость, с которой можно разработать корпоративный BI-инструмент - дело в том, что одни и те же данные оказываются рассредоточенными по многочисленным витринам данных.

Ни для кого не секрет, что и организации, и программные продукты, которые в них используются, постоянно изменяются. Эти модификации требует внесения соответствующих изменений в витрины данных, структура которых отражает организационное устройство компании. Третий принцип BI - делать упор на BI и поддержание витрин или Хранилищ данных в масштабе всей организации, а не в рамках отдела, регионального филиала или отдельного проекта.

Реализация этого подхода очевидна: разработайте единственную витрину или Хранилище данных, которые содержат все необходимые корпоративные и локальные (по отделам, регионам и т. д.) элементы данных. Этот метод не только позволяет воспользоваться витриной данных для локальных целей, но и поддерживает анализ данных на корпоративном уровне (см. рисунок 3). И хотя организационная структура компаний будет неизбежно меняться, отслеживание этих изменений будет упрощено, а число витрин данных останется неизменным. Как правило, такие модификации корпоративной структуры подразумевают добавление величин (или их уточнение) к данным или измеряемым фактам, находящимся в Хранилище данных.



Рис. 3. Разработайте единственную цель

Презентация результатов бизнес анализа. Презентация результирующих данных BI часто считается очевидной задачей. В этом случае основное внимание уделяется средствам аналитики, необходимым для обслуживания бизнеса и последующего предоставления бизнес-пользователям всех результирующих данных BI. Как правило, технология BI используется в качестве генератора отчетов. В результате, бизнес-менеджеры, которым BI-инструменты изначально требовались для получения информации, необходимой для принятия решения, оказываются погрязшими в многостраничных отчетах и результатах анализа.

Таким образом, рассмотрение BI просто как аналитического отчета недопустимо. Необходимо следовать следующему принципу - предоставлять менеджеру или руководителю только ту информацию, в которой он нуждается для принятия обоснованного решения. Презентация данных помимо получения результатов анализа должна включать возможность "подгонять" эти результаты под индивидуальные запросы бизнес-пользователей.

Еще один прием - воспользоваться правилом "80:20", то есть предоставить 20 процентов аналитических результатов, которые оказывает 80-ти процентное влияние на бизнес. В этом случае BI-средства используют пороговые значения, чтобы отделять существенную информацию от несущественной. Демонстрируйте данные, используя графические и другие инструменты, которые призваны помочь понять результаты BI. Кроме того, все эти технологии должны быть подогнаны под каждого отдельного пользователя. В принципе, любой пользователь должен иметь возможность выбрать свой собственный способ разграничения значимой информации от маловажной. Необходимо, чтобы менеджер или руководитель имел доступ ко всем результирующим данным BI, а также мог воспользоваться возможностью углубления в данные; однако, особое внимание следует уделять основным BI-функциям (см. рисунок 4).



Рис. 4. Уведомление о превышении порогового значения

Тенденции в области технологий и приложений BI

Происходящие в настоящий момент изменения в сфере информационных технологий затронули и BI. Источником влияния являются "победное шествие Интернет во всей организации", инновации в самой области BI и появление спроса не только на инструменты OLAP-запросов и -отчетов. Для подробного рассмотрения указанных веяний потребовалось бы ни одна статья, поэтому в рамках этой работы ограничимся лишь замечаниями общего характера.

Интернет. То, что Интернет меняет модели ведения бизнеса - это уже прописная истина. Что касается технологии BI, то возможности Интернет здесь представлены в виде Web-браузеров, используемых для обеспечения доступа к результирующим данным BI и инициирования нерегламентированных запросов. Кроме того, Интернет делает возможным обмен результатами анализа по всей организации, благодаря чему компании и их поставщики могут практически одновременно обращаться к важной информации. Как и следовало ожидать, совместный доступ к результатам бизнес анализа потребовал от поставщиков BI перейти на выпуск продуктов, основанных на технологии WWW. Доступ же с использованием браузера стал основным методом представления данных BI.

"Браузерный доступ" породил конкуренцию между технологиями: поставщики BI добавляют в свою продукты функциональность порталов, а компании, занимающие разработкой портал-технологий, пытаются расширить свои предложения с помощью BI. Похоже, что на самом деле порталы не могут поддерживать возможности BI, как и "чистые" BI-инструменты не обеспечивают всех функций порталов. Очевидно, что поставщики BI будут вынуждены соревноваться, рассчитывая на свойства BI и новые возможности, которые можно реализовать в своих продуктах.

Инновации в области BI. Интернет открыл новый источник BI - анализ конкурентоспособности (competitive intelligence). Для обнаружения искомых ссылок, эта технология опирается на механизм поиска, известный как "червяк" (crawler). Найденные ссылки могут содержать данные о конкурентах и их предложениях, включать информацию о вашей компании и продуктах и другие ценные сведения. Очевидно, что это подходящее направление развития BI, поскольку в этом случае можно гарантировать, что лица, ответственные на принятие решений, получат знания, являющиеся конкурентным преимуществом.

Среди других инноваций можно выделить технологии визуализации и презентации результатов анализа. Такие продукты позволяют преобразовывать сложные данные в понятную, но не избыточную, информацию. Так, фармацевтические компании занимаются анализом данных, которые описывают структуры существующих лекарств, чтобы найти взаимозаменяемые препараты. Этот подход позволяет сократить время выявления наиболее удачных медикаментов. Аналогично, компании, работающие в нефтехимической, обрабатывающей и других промышленных отраслях, анализируют оперативные переменные для определения оптимальных условий производства. Благодаря этому сокращаются операционные расходы и улучшается качество продукции. Во всех случаях, подобных рассмотренным, большое число переменных и сложные внутренние связи препятствуют пониманию значимости результатов. Технологии презентации результатов анализа могут помочь бизнес-пользователям любой отрасли анализировать сложные, взаимосвязанные операционные переменные.

Анализ закономерностей (pattern analysis) - это еще одно успешно применяемое в ряде областей нововведение BI. Например, операции с кредитными карточками, обработка телефонных звонков и финансовый трейдинг - это те направления электронного бизнеса, в которых использование анализа закономерностей может помочь обнаруживать случаи мошенничества. Опираясь на различные математические методы, такие как эвристический анализ, нейронные сети и нечеткая логика, анализ закономерностей будет включен в BI как механизм обработки данных BI, объемы которых увеличиваются с каждым днем.

Приобретает все большую популярность и упреждающий анализ. Для реализации этой технологии необходимо Хранилище данных, содержащее большой объем исторических данных, которые могут быть проанализированы на наличие корреляций. Эти корреляционные зависимости могут быть полезны при получении такой вероятностной информации, как возможная реакция рынка на выход нового продукта, наиболее подходящие рынки для оценки только что выпущенного товара, операционная нехватка и ее причины и так далее. Несмотря на то, прогнозирование носит вероятностный характер, упреждающий анализ позволяет проникать в суть явлений, понимание которых невозможно при использовании других технологий.

Новые бизнес-тенденции. Следует подчеркнуть, что технологические новшества, описанные в этой статье, пока не получили всеобщего признания; нет еще и уверенности в надежности продуктов (или поставщиков программных средств) для всех категорий BI. Но, что очевидно, так это то, что BI-инструменты превращаются в нечто гораздо большее, чем просто анализ данных с помощью OLAP. Несмотря на то, что многие организации продолжают использовать OLAP-инструменты в качестве генераторов отчетов, все большее число компаний начинают обращаться к различным технологиям BI, получая конкурентное и стратегическое преимущества.

По мере того, как компании, пытаясь улучшить взаимодействие с клиентами и поставщиками, преобразуют свой бизнес, применяя технологии электронной коммерции, автоматизированные клиентские места и интегрированные цепи поставок, только технологии BI смогут помочь понять операции электронного бизнеса. Мир е-бизнеса - это сфера "продвинутого", стратегического BI. Кликстрим-анализ и Web-аналитика бесполезны, если они не интегрированы с оперативной информацией и данными о клиенте.

В компаниях начинают осознавать не только необходимость интегрирования Web-данных с бизнес-данными, но и то, что ни одна отдельная технология BI не может обеспечить всех инструментов, требуемых для успеха. Таким образом, еще один принцип состоит в том, что стратегический BI должен опираться на несколько различных технологий BI, которые отлично сочетаются друг с другом (см. рисунок 5). Единственный путь достижение этой цели - использование интегрируемой платформы, которая обеспечит единый источник метаданных, необходимых для управления совместимыми и подходящими приложениями, состоящими из различных BI-инструментов.



Рис. 5. Технология BI

Управленческие факторы, которые влияют на успех стратегических BI

Первое поколение BI-инструментов было предназначено для реализации требований, предъявляемых бизнес-подразделениями: осуществлять текущий контроль. Эти требования включали обеспечение бизнес-менеджеров и других работников информацией, которой необходимо владеть, чтобы выполнять свои обязанности. Как правило, под "информацией, которой необходимо владеть" подразумевались, во-первых, данные, подлежащие анализу, а, во-вторых, то, как они представлялись с помощью BI-инструмента. Менеджеры компаний формулировали эти требования и часто оставались довольны возможностями, которые им предоставляла технология OLAP при задании нерегламентированных запросов.

Стратегическое BI отвечает на такие вопросы, которые руководство даже не знает, как и сформулировать.

Их примером могут служить следующие вопросы: каким образом можно увеличить доходы? Каковы имеющиеся бизнес-перспективы? Каковы текущие убытки и как их можно избежать? Есть ли возможность сократить расходы?

Стратегическое BI предоставляет информацию, которая поможет руководству ответить на эти вопросы.

Компании, как правило, справляются с решением оперативных задач. Вот почему их организационная структура состоит из бизнес-подразделений - это видно и с точки зрения управления, и с позиции финансирования. В случае стратегического BI, однако, происходит изучение вопросов, которые выходят за рамки компетенции отдельного бизнес-подразделения, менеджера или руководителя. Это создает значительные трудности для компании, желающей получить максимум пользы при инвестировании в BI.

Резюмируя рассмотренные принципы BI и технологические новинки, можно прийти к следующим важным выводам, касающимся стратегического управления BI:

  • Поддерживайте в базовой структуре данных стабильность, необходимую для функционирования компании и использования BI-продукта.
  • Позаботьтесь о том, чтобы каждый элемент данных выступал исключительно как факт или атрибут.
  • Сосредоточьтесь на всей организации, а не отдельном отделе, региональном филиале или том или ином проекте.
  • Реализуйте данные BI не как аналитический отчет, а как информацию, которая требуется менеджеру или руководителю для принятия обоснованного решения.
  • Используйте несколько различных технологий BI, которые хорошо сочетаются друг с другом.

Стабильность и прозрачность данных - классические принципы BI. Однако, именно три последних положения являются условием успешного применения BI.

Обособленный корпоративный центр BI должен предложит эти принципы к использованию в компании и стоять на страже их неприкосновенности. На мой взгляд, этот центр должен подчиняться исполнительному директору, который проследит, что BI приносит пользу. Такой BI опирается на корпоративные данные, подразумевает специализированные технологии, используемые опытными профессионалами, обслуживает всю организацию и отвечает требованиям всех пользователей BI, гарантируя постоянство информации и высокое качество услуг. Для достижения этой цели необходимы знание и понимание архитектуры BI, направленность на BI (подобная ориентированности на ROI) и использование BI как основы информационных технологий и бизнес-деятельности корпорации.