Среда хранилищ данных фирмы Microsoft (Microsoft Data Warehousing Framework 2000): Мощная платформа для бизнес-анализа (BI)

Технологии бизнес-анализа (BI) чрезвычайно популярны сейчас не только в
среде разработчиков. Все больше предприятий постепенно осознают явные
преимущества концентрации всей информации о предприятии в едином хранилище, а
также достоинства несложных, наглядных и эффективных аналитических приложений,
построенных на основе технологий OLAP и Data Mining, оперирующих всеми
имеющимися данными согласно требованиям различных пользователей.
Данный материал представляет собой описание Среды хранилищ данных компании
Microsoft (Microsoft Data Warehousing Framework 2000). Платформа, о которой
пойдет речь, разработана для создания пользователем готовых бизнес-решений как
непосредственно на ее основе, так и с помощью решений, предоставляемых
компаниями-членами Альянса компании Microsoft в области хранилищ данных. В
статье приведены основные технологии и программные инструменты, которые
позволяют компаниям-разработчикам конечных бизнес-приложений (к их числу
относится и компания Intersoft Lab) создавать современные системы в концепции
Business Intelligence.

Продукты компаний-членов DWA являются расширениями платформы Microsoft в следующих областях:

• Извлечение, преобразование и загрузка. SQL Server работает как агрегатор для сбора информации внутри и во вне вашей организации.
• Data Mining. С помощью встроенных алгоритмов и открытого интерфейса, поддерживаемого многими продавцами программного обеспечения добычи данных, SQL Server осуществляет поиск ваших данных для обнаружения моделей и тенденций, которые иначе остались бы незамеченными.
• Запросы, Отчеты и Анализ. Настоящая многомерная машина хранилищ в составе SQL Server обеспечивает Он-лайновую аналитическую обработку (On-Line Analytical Processing, OLAP) таким образом, что вы можете принимать решения со скоростью мысли.
• Аналитические приложения. Сбора всех фактов, выявления тенденций и аномалий и наличия быстрых плоскостных и объемных срезов данных (slice and dice) недостаточно. По-настоящему ценными существующие бизнес-данные становятся после возвращения этих внутренних понятий обратно в бизнес-процессы. Аналитические приложения помогают вам выполнять этот замкнутый анализ и использовать информационные технологии для продвижения вашего бизнеса.

Извлечение, преобразование и загрузка

Хранилище данных хранит информацию со всех уголков вашего предприятия. Дополнительно внешние для вашего бизнеса данные (такие, как анализ индустрии и новости фондового рынка) должны быть включены в ваше представление бизнеса. Для достижения этого вам необходимы надежные и мощные инструменты, которые могут перемещать, очищать, изменять формат, хранить и управлять этими данными.

Службы преобразования данных фирмы Microsoft (Data Transformation Services, DTS), встроенные в SQL-сервер, имеют набор средств, отвечающих этому требованию и позволяющих вам извлекать, преобразовывать и консолидировать данные из различных источников в один или множество мест назначения, поддерживаемых соединениями DTS. Используя средства DTS для графического построения пакетов DTS или программируя пакет с помощью объектной модели DTS, вы можете создать индивидуальные решения по перемещению данных, сделанные специально для специфических нужд вашего бизнеса.

Пакет DTS - это организованный набор соединений, задач, преобразований и условий технологических процессов, собранных программным образом или с помощью инструмента DTS, и затем сохраненных в Microsoft SQL Server 2000, Microsoft SQL Server 2000 Meta Data Services, структурированный файл хранения, или в файл Microsoft Visual BasicR.

DTS основаны на архитектуре OLE DB, позволяющей вам копировать и преобразовывать данные из множества источников. Например:

• Соединение Microsoft SQL Server и Oracle напрямую, с использованием "родных" провайдеров OLE DB.
• Соединение источников ODBC с использованием провайдера Microsoft OLE DB для ODBC.
• Соединение Microsoft Access 2000, Microsoft Excel 2000, Microsoft Visual FoxProR, dBase, Paradox, HTML и дополнительных источников файлов данных.
• Соединение текстовых файлов ASCII с использованием встроенного OLE DB-провайдера плоского файла DTS.
• Соединение Microsoft Exchange Server, Microsoft Internet Publishing, Microsoft Active DirectoryT и нереляционных источников данных.
• Соединение IBM AS/400, DB2, IMS, VSAM через провайдера OLE-DB и службы в Microsoft SNA Server.
• Соединение других источников данных, предоставляемых сторонними продавцами.

DTS включает в себя функции сохранения информации о ваших данных и их происхождении. Используйте Службы метаданных (Meta Data Services) в SQL-сервере для хранения каталога метаданных для баз данных, относящихся к пакету DTS и для отслеживания информации об истории конкретной строки данных. Эта дополнительная информация обеспечивает контекст и верификацию, поэтому вы можете понять, объяснить и проверить точность своих данных.

Аналитические приложения - От ввода к анализу

Аналитические приложения расширяют транзакционные системы путем обеспечения аналитических представлений их транзакций. Например, системы Планирование ресурсов предприятия (Enterprise Resource Planning systems, ERP-systems) в основном проектируются для обработки заказов, покупок, человеческих ресурсов и других транзакционных процессов конкретного отдела, свойственных обычному бизнесу. Так же программное обеспечение управления отношениями с клиентами (Customer Relationship Management software, CRM software) отслеживает работу организации с ее клиентурой. И, безусловно, каждая организация нуждается в понимании сути использования своими клиентами ее Web-сайта - служит ли он для получения информации или для электронной торговли B2B.

Аналитические приложения расширяют эти данные транзакционного уровня, чтобы включить суммарные исторические данные для анализа. Этот анализ управляет решениями на множестве уровней предприятия, изменяя в конечном итоге ход транзакций и бизнес-процессов. Таким образом аналитические приложения управляют данными от начала и до конца - и формируют тот замкнутый анализ, который помогает организациям лучше понимать их бизнес и клиентов, и, следовательно, принимать лучшие решения для более быстрого воздействия на бизнес.

Для создания такого замкнутого анализа компания Microsoft предоставляет сквозную платформу данных, поддерживающую большинство существующих сегодня приложений - и предлагает новые возможности на будущее. С помощью Windows, SQL Server и Office, компания Microsoft обеспечивает полный спектр необходимый программных служб для построения мощного аналитического приложения. Эта платформа объединяет черты, требующиеся для понимания клиентов и бизнеса в условиях сегодняшнего перегруженного информацией рынка:

• Для предприятия:
  • Масштабируемость.
  • Надежность.
  • Управляемость.
  • Безопасность.
• Для Интернет:
  • Встроенный Web-сервер.
  • "Родной" XML.
• Для данных:
  • Высокопроизводительная реляционная машина.
  • Совершенная многомерная машина.
  • Интеграция с другими источниками данных и транзакций.
  • Наличие Служб метаданных (Meta Data Services) для обеспечения контекста данных.
• Для многопользовательского доступа:
  • Цифровая панель инструментов (Digital Dashboard) для вашего персонального информационного центра.
  • Карманный ПК для предоставления информации в условиях перемещения.
  • Поддержка браузера.

Запросы, отчеты и анализ

Инструменты создания запросов, отчетов и анализа обеспечивают конечных пользователей механизмами проектирования и распространения отчетов, построения систем поддержки принятия решений (DSS) и исполнительных информационных систем (EIS) либо выполняют онлайновую аналитическую обработку (OLAP) на многомерных базах данных. В общем, все это позволяет вам взглянуть на ваши данные "с высоты птичьего полета".

SQL-сервер предоставляет все необходимые для платформы характеристики, требующиеся для поддержки всех этих разнообразных приложений.

Языки:

• Структурированный язык запросов (Structured Query Language, SQL). С использованием стандарта SQL ANSI 1992, запрос к реляционной машине ( и другим источникам данных OLE DB) происходит стандартным образом.
• Многомерное выражение (Multidimensional Expression, MDX). Будучи языком, разработанным компанией Microsoft и ее партнерами специально для создания запросов к многомерным источникам данных, MDX позволяет кратко описывать запросы и при этом получать мощные отчеты и аналитические заключения.
• Английский язык. Для обращения к реляционным или многомерным базам данных вопросы, составленные на английском языке, переводятся в SQL или MDX с помощью встроенной возможности создания англоязычных запросов. В основе этой мощной переводческой машины лежит семантическая модель, которая может быть создана автоматически и расширена для получения больших знаний о предмете.

Функции OLAP:

• Мощные структуры измерений помогают вашим данным отражать все виды данных или организационных структур, упрощая последующее формирование отчетов.
• Обратная запись анализа "что - если", кубов и измерений позволяет вам взаимодействовать с данными и завершать цикл при обнаружении необходимого.
• Действия, функции, определяемые пользователем, возможности сквозной обработки расширяют анализ и отчетность для решения других задач, связанных с вашими данными, и придают вашей системе бизнес-анализа (BI) большую силу и более тесное взаимодействие с остальными подразделениями организации.

Создание отчетов:

• Создание расписаний с помощью технологии SQL-агента позволяет доставлять стандартные отчеты на ваш рабочий стол автоматически.
• Из-за того, что SQL-сервер имеет множество механизмов репликации, данные могут перемещаться в или из ваших филиалов, и, таким образом, формирование отчетов будет приближено к данным, что позволит создавать более точные и своевременные отчеты.
• Функция Интернет с использованием технологии iCube в SQL-сервере означает, что внешние кубы идеально соединяются с данными вашей компании по Интернет так, что вы можете оценить рейтинг вашего бизнеса применительно к вашей конкретной области индустрии.
• Excel, Access и Web-компоненты Office (Office Web Components) придают отчетам исключительную гибкость и предоставляют пользователям возможность описывать их собственные отчеты и аналитические процессы.

Data Mining - автоматизация открытий

Оснащенные умеренным набором данных, хорошими инструментами создания запросов и анализа, и имея знания об области модели данных, пользователи могут исследовать данные для того, чтобы находить интересные образцы или извлекать модели поведения реального мира. Тем не менее, во многих случаях, особенно в тех, где участвуют большие наборы данных и множество измерений, пользователи находят сложным получение новых и интересных результатов, просто просматривая данные.

С помощью технологии добычи данных, компьютер просеивает данные, пытаясь найти интересные структуры, которые можно использовать для описания некоторых аспектов данных или для предсказания будущих расходов.

Компания Microsoft, с участием партнеров, расширяет интерфейс OLE DB для включения туда добычи данных. OLE DB для добычи данных (DM) описывает процесс их добычи, выполняющий отбор данных, создание моделей на основе примеров данных, исследование этих моделей и, когда алгоритмы это поддерживают, - использование моделей для прогнозирования форм.

Для упрощения добычи данных без уменьшения его возможности увеличивать ценность ваших данных, модели добычи данных могут создаваться с помощью простого Мастера в SQL-сервере. Пользователь отбирает данные (из многомерного куба или любого источника данных OLE DB или ODBC) для использования в качестве образца. Этот образец настраивает модель добычи данных, что дает в результате суммарные знания об этих данных. Сами знания или полученное внутреннее строение зависят от алгоритма, который выбрал пользователь.

Компания Microsoft предлагает небольшое число широко применимых алгоритмов, а члены DWA обеспечивают специальные алгоритмы, ориентированные на конкретные рынки и функции.

Как только модель добычи данных построена и настроена, она может использоваться для работы с новыми данными для поиска аномалий и образцов поведения, а также для выработки прогнозов. Реальная функция с этой точки зрения будет зависеть от примененного алгоритма.

Data Mining дает вам возможность автоматически обнаруживать скрытые знания в имеющихся у вас данных.

Автор: Microsoft Corporation