Тенденции в области интеграции данных. Достижения разработчиков

В статье описывается парадоксальная тенденция нарастания разрозненности данных
в результате внедрения проектов интеграции, а также пути ее преодоления.
Рассматриваются функциональные возможности продуктов одного из лидеров рынка.

В последнее время часто возникает совершенно парадоксальное явление: множество проектов интеграции приводит к разрозненности данных. Причина в том, что компании внедряют технологии и продукты интеграции, ориентируясь на локальные задачи, нацеленные на конкретные приложения и процессы.

Однако есть и опытные профессионалы. Они видят результат такой неграмотной интеграции и стремятся изменить ситуацию.

«Пространство» интеграции меняется

Во избежание ошибок нужно разработать глобальную архитектуру проекта интеграции. Затем, уже в рамках этой архитектуры реализовывать ее отдельные компоненты. Можно провести параллель с проектированием дома. Необходимо сначала создать единый проект жилья, а затем утвердить и согласовать все его компоненты (водоснабжение, канализацию, электрификацию, отделку и проч.). Общий проект интеграции подразумевает проектирование архитектуры данных, технологий, продуктов и информации (преобразованных бизнес-данных).

Управление корпоративными данными (Enterprise data management — EDM) — это концептуальный проект, к которому и нужно стремиться. Интеграция корпоративных приложений (enterprise application integration — EAI), сервисно-ориентированная архитектура (service oriented architecture — SOA), интеграция корпоративной информации (enterprise information integration — EII) или ETL — все эти технологии включают интеграцию данных.

Процессы интеграции подразумевают отображение одного или нескольких источников данных в целевой репозиторий, а также преобразование данных. Вне зависимости от того, какая технология используется (сообщения, сервисы, пакеты), — выполняются одни и те же процессы, отличающиеся только по типу передачи.

Вместо того чтобы использовать единый подход, большинство проектов интеграции начинают с совершенно несогласованного набора технологий и продуктов. Они перекрывают друг друга функционально, и данные, соответственно, также перекрываются. В результате образуется избыточность и разрозненность. Бизнес-пользователи вновь возвращаются к использованию электронных таблиц, либо вручную пересматривают противоречащие показатели, извлекаемые из разных приложений.

Компаний, попавших в эту западню, немало. Однако на рынке появляется все больше возможностей для исправления подобной ситуации. Сегодня разработаны оптимальные методы проектирования инфраструктуры интеграции данных (data integration framework — DIF). Есть масса программ и подходов, направленных на поэтапную интеграцию корпоративных данных и устранение разрозненности.

Наконец, большинство поставщиков ETL-инструментов осознало необходимость выработки единого подхода и преобразовало ETL в пакеты интеграции данных. Эти средства выходят за рамки пакетного извлечения, преобразования и загрузки и включают EAI, EII и SOA. Кроме того, все чаще поставщики предлагают средства профилирования и управления качеством данных. Необходимость в поиске специализированного ПО отпадает, так как есть продукты, охватывающие весь цикл разработки DIF.

Изменения витают в воздухе. Компаниям необходимо отойти от тактических, проектно-ориентированных подходов к интеграции и грамотно разработать единую инфраструктуру с помощью современных пакетов.

К чему стремятся разработчики

Согласно исследованиям компании Gartner, лидерами на рынке средств интеграции являются компании Informatica и IBM. Им удалось расширить свои пакеты интеграции за счет слияний и поглощений. На третьем месте в этой области компания Oracle.

Неслучайно именно эти компании попали в список лидеров. В январе 2008 года компания Informatica была объявлена лидером конкурса «Золотой победитель» в области интеграции данных (data integration — DI), который проводился организацией SearchDataManagement с целью выявить наиболее продвинутые продукты 2007 года. Версия 2.5 получила высокие оценки по всем направлениям в категории DI.

Это мнение подтверждается пользователями, отраслевыми экспертами, аналитиками и консультантами. Причины: инновационность, эффективность, простота интеграции со средой, удобство использования, широта функциональности.

Рассмотрим кратко функциональные возможности программных средств Informatica. О практическом их применении в банковской отрасли рассказывается в материале «Опыт применения продуктов Informatica в зарубежных банках».

Продукты Informatica решают все комплексные корпоративные проблемы интеграции, обеспечивают законченную платформу DI. Единая архитектура позволяет обеспечить более качественное предоставление данных, необходимых бизнесу, своевременный и удобный доступ, вне зависимости от источника и формата сведений.

Новая версия охватывает платформу интеграции и платформу качества данных — Informatica PowerCenter 8.5, Informatica PowerExchange 8.5 и Informatica Data Quality 8.5.

PowerExchange 8.5 унифицирует и обеспечивает широкий доступ ко всем формам корпоративных данных, включая информацию с мейнфреймов. Informatica Data Quality 8.5 предоставляет возможности постоянного контроля и повышения качества данных, которое является неотъемлемой частью процесса. При этом в новой версии есть функции, препятствующие вводу неточных данных (выполняется проверка адресов, устранение дублированных сведений и проч.

Гарантия своевременных надежных данных

Несмотря на возрастающую фрагментацию данных, бизнес требует своевременного законченного представления корпоративной информации. PowerExchange 8.5 обеспечивает сбор измененных данных в реальном времени (Changed Data Capture — CDC) из множества разнообразных транзакционных систем. Кроме того, PowerCenter 8.5 гарантирует упорядоченную передачу этих изменений.

Новые версии продуктов Informatica поддерживают Центры интеграции данных в реальном времени ЦИД ^[1](real-time integration competency centers — ICCs). За счет стандартизации и централизации ICCs стимулируют использование оптимальных методов и тем сокращают расходы в несколько раз. ЦИД в реальном времени дает своевременные надежные данные, отвечающие информационным потребностям бизнеса.

Построение масштабируемой платформы

По мере распространения центров интеграции данных масштабируемость, безопасность и надежность обретают очень высокий вес. В PowerCenter 8.5 предлагаются динамически масштабируемые веб-сервисы, которые вызывают большой интерес у пользователей и экспертов.

Безопасность

Новая функция Data Masking обеспечивает кодирование конфиденциальных данных в момент их перемещения. Более того, предусмотрен контроль доступа, позволяющий устанавливать защиту среди множества географически распределенных групп пользователей.

Обеспечение взаимодействия для согласования работы IT и бизнеса

По мере повышения спроса на согласование IT и бизнес-услуг, техническим специалистам необходимо привлекать экспертов на всех этапах жизненного цикла интеграции и повышения качества данных.

Функция Data Quality Assistant позволяет взаимодействовать IT и бизнес-подразделениям для интерактивного контроля качества данных и обработки исключений

Новый инструмент миграции данных (Data Migration Tool) способствует сокращению рисков, связанных с проектами миграции. Data Migration Tool ускоряет преобразования данных за счет автоматизации повторяющихся задач, включая поддержку справочных данных и выполнение массовых изменений.

Новый интерфейс упрощает задачи визуализации и делает миграцию данных более понятной, доступной в интерактивном режиме, позволяя разработчикам быстро разобраться во взаимосвязях данных и провести анализ влияний. В результате эффективность, согласованность и прозрачность в рамках компании повышаются.

Расширение круга пользователей

Сегодня Informatica расширяет свою сферу деятельности, которая теперь охватывает как традиционные задачи корпоративной интеграции данных, так и специфические проблемы DI в области аутсорсинга, предоставления ПО в виде услуг (SaaS) и рынков B2B. Компании удается обеспечивать интеграцию данных между географическими и экономическими границами.

Помимо ряда новшеств, продукты последней версии содержат расширения, предназначенные для интеграции с Oracle и SAP. Informatica занимается рационализацией новой технологии управления идентификацией, приобретенной у разработчика Identity Systems. В ближайшее время ожидается окончательное слияние технологий.

В новых продуктах учитываются особые потребности B2B, в том числе преобразования, потоки данных, управление партнерством и мониторинг возможностей для специфических форматов данных. Удовлетворяя растущий спрос, компания предусмотрела дополнительные функции, такие как загрузчик данных, очистка и синхронизация сервисов, обеспечивающие передачу данных в SaaS приложения.

Однако пока не решен вопрос с отраслевыми проектами интеграции (например, задача передачи финансовой информации в финансовый отдел, клиентской информации — в управление клиентами, информации о сотрудниках в HR, информации о продуктах — в производство и цепь поставок). Шаги вперед уже делаются, и тут компания Informatica вынуждена догонять более крупных поставщиков ПО, таких как IBM, Microsoft и Oracle.

Публикации:

1. Интеграция данных прекратит разрозненность. Тенденции в области BI и DW (Data Integration Will Break Out of the Silo: BI and DW Trends), Рик Шерман (Rick Sherman), Май 2008, http://www.dmreview.com/news/10001232-1.html;
2. Информатика делает большие ставки в информационной экономике (Informatica Bets Big on Information Economy), Марк Смит (Mark Smith), Июнь 2008, http://www.intelligententerprise.com/blog/archives/2008/06/informatica_bet.html.

^[1] Обычно совместно используемый, централизованный ресурс, который определяет единообразный подход к интеграции многократно используемых активов. Настройка центра возможна различными способами — от простого определения последовательности лучшего метода организации производственных работ до точного определения специальных инструментов или структур, которые должны быть использованы для обеспечения централизованных проектировщиков и разработчиков, которые действительно могут создавать и управлять интегрированием. Решение для конкретной компании, зависит от таких факторов, как корпоративная структура (централизованная или децентрализованная), частота проектов, уровень стандартизации и ИТ-инфраструктура. (http://www.data-integration.ru/tehnicheskij_glossarij.html).

Автор: По материалам зарубежных сайтов