Критерии выбора средств интеграции

В материале рассматриваются рекомендации по подбору инструментов интеграции,
предложенные известным экспертом Дэвидом Уодингтоном. Важнейшим моментом, по
мнению специалиста, является снижение стоимости владения продуктом, что и
отражено в предложенном списке критериев.

Актуальность использования инструментов интеграции сегодня уже не вызывает сомнений, о чем свидетельствует неизменный рост рынка и отраслевые исследования («Текущая ситуация на рынке инструментов интеграции. Мнение компании Gartner»). Однако в условиях финансового кризиса очень важно следовать грамотным принципам оценки таких продуктов, сокращая тем самым издержки на всех этапах внедрения и использования программного обеспечения.

К сожалению, сегодня на рынке редко встречаются продукты, выполняющие все бизнес-требования клиентов. Однако при выборе средств DI (data integration) необходимо обратить внимание на ряд важнейших факторов, способствующих эффективному использованию программных средств и снижающих стоимость владения (TCO — total cost of ownership).

Рассмотрим критерии подбора продуктов, предложенные экспертом консалтинговой компании Tyson Consulting (http://www.tyson-consulting.com), Дэвидом Уодингтоном (David Waddington).

Абстракция и семантическая рационализация

Несмотря на широту использования средств интеграции данных, часто возникают ситуации, когда они не обеспечивают правил для преобразования и перемещения данных. Большая часть этой работы даже сегодня выполняется вручную. Современные инструменты должны обеспечивать встроенную возможность автоматического распознавания и идентификации общих элементов данных.

Кроме того, такие системы должны предупреждать бизнес-экспертов об исключениях, или о тех областях, где невозможно провести автоматическую рационализацию. Новые инструменты должны поддерживать пользователей и устранять по максимуму работу, выполняемую вручную. Это косвенно поспособствует поддержке стандартов и повышению эффективности.

Понятие абстракции заключается в отделение фактического значения объекта от его физической реализации. При использовании нормативно-справочных данных может использоваться согласованное определение для каждого элемента данных, и оно остается постоянным, вне зависимости от изменений в исходных системах. Такая абстракция упрощает участие бизнес-аналитика в этапе проектирования, тем самым гарантируя большую прозрачность. А это, в свою очередь, сокращает время проектирования и разработки, особенно по части конструирования и тестирования бизнес-правил и преобразований, и, таким образом, сокращает общую стоимость владения программным средством.

Еще одним преимуществом инструментов интеграции данных, включающих абстракцию и семантическую рационализацию, является упрощенный процесс повторного использования правил и преобразований. Это также способствует сокращению TCO.

Масштабируемость и скорость

С учетом высоких расходов на существующие сегодня DI-инструменты, сложно оценить системные ресурсы. Тем не менее, масштабируемость является важным фактором. К сожалению, во многих случаях наблюдается тенденция к использованию максимально возможной вычислительной мощности. Часто средства интеграции работают на специализированном аппаратном обеспечении, так как они разработаны с ориентацией на максимальное использование всех системных ресурсов. Это и дорого, и нерационально. Гораздо прогрессивнее использовать для интеграции данных преимущества набирающих популярность распределенных вычислений.

Новые DI-инструменты призваны обеспечивать единый механизм обработки, как для пакетных, так и для непрерывных операций. Сокращение инвестиций на специальное аппаратное обеспечение и использование распределенных ресурсов сократит TCO.

Часто бывает так, что в BI проекте ETL процесс занимает больше времени, чем выделено на предоставление отчетности. Это совершенно недопустимо. Современные средства интеграции призваны работать быстро и обеспечивать актуальную информацию.

Обеспечение работы с растущими объемами данных

Сегодня компании все шире ведут бизнес через интернет, а, следовательно, используют новые источники, типы данных и классификации. Кроме того, бизнес уже не носит характер взаимоно-однозначных операций (one-to-one), но многозначен (one-to-many), а значит объем информации бурно растет. Если добавить к этому усиленные нормативные требования и стандарты, то для обеспечения контроля и мониторинга данных потребуются куда более сложные средства, нежели ранее.

Все эти факторы говорят о том, что в DI-инструменты необходимо внедрять инновации. Одна из наиболее востребованных сфер для интеграции — проекты миграции. Новые инструмент призваны упростить проектирование и разработку, сократить время внедрения и расходы.

Новые ценовые модели

Многие поставщики предлагают свои продукты, исходя из тех вычислительных мощностей, которые необходимы для их функционирования.

Однако эта ценовая модель малопонятна пользователям и устаревает, в связи с тенденцией к использованию распределенных вычислительных ресурсов. Необходима ценовая политика, базирующаяся на производительности (пропускной способности), а не на тех процессорных ресурсах, что имеются у клиента.

Очевидно, что если пользователь загружает в Хранилище лишь небольшую порцию данных раз в месяц, то и платить он должен существенно меньше, чем в случае передачи и преобразования данных в реальном времени. Такая модель удобнее для небольших первоначальных проектов. Она, несомненно, способствует снижению стоимости владения инструментом интеграции.

Безопасность и оффшорные разрабоки

Сегодня оффшорные разработки приобрели широчайшее распространение. И технология интеграции данных — не исключение. Однако в такой ситуации разработчикам со стороны приходится обеспечивать доступ к конфиденциальным данным, либо расходовать существенные ресурсы на создание безопасной тестовой выборки. Многие DI-инструменты разработаны таким образом, что могут оперировать только с реальными данными. Более современные средства, построенные на базе абстракции и семантической рационализации, помогут решить данную проблему. Большую долю тестирования можно будет делать на абстрактном уровне, без необходимости обрабатывать крупные пакеты конфиденциальных данных.

Управление полным жизненным циклом (ЖЦ)

Процесс управления проектом на всех этапах, от исходных идей и до полноценного функционирования и поддержки, не всегда хорошо налажен. Однако именно он гарантирует грамотный доступ и использование проектов интеграции. Увы, очень часто группа людей собирается на реализацию проекта, а потом уходит, а вместе с ней и весь накопленный опыт и знания. Затем возникает потребность в изменениях, появляется новая рабочая группа, вынужденная начинать все с начала.

Управление полным жизненным циклом требует от инструментов интеграции поддержки активного репозитория метаданных, содержащего всю информацию о проекте. Не менее важно распределять работу между специалистами, исходя из их опыта и квалификации, а также стоимости ресурсов.

Современные инструменты интеграции охватывают этапы проектирования, разработки, оптимизации и внедрения, максимально автоматизируя все процессы. Не менее важно отслеживать задачи и обязанности всех участников, степень завершенности работ, а также задержки в процессе внедрения. Единый репозиторий метаданных способствует решению этой проблемы, начиная с фазы проектирования, и закачивая коллективным взаимодействием и повторным использованием. Методы абстракции здесь очень важны. Если некоторая операция, преобразование или бизнес-правило сформулировано и параметризовано на абстрактном уровне, то его можно применять в различных обстоятельствах.

Сокращение стоимости владения

Каким образом, описанные выше требования, обеспечат сокращение TCO? В целом, стоимость владения можно классифицировать по четырем областям:

• сокращение затрат на программные средства (за счет отказа от устаревших моделей ценообразования, приобретения именно таких DI-средств, которые решают текущие проблемы и могут расширяться по мере необходимости);
• сокращение затрат на аппаратное обеспечение. За счет перехода на модель, в которой максимально используются существующую распределенные вычислительные мощности. Применение реструктурированных механизмов позволит решить задачи как пакетной, так и непрерывной обработки, с меньшими затратами;
• cокращение затрат на разработку. Использование таких концепций как абстракция и семантическая рационализация для объеденения бизнес-аналитиков и DI-разработчиков в единой цели — сокращения времени внедрения. Обеспечение возможностей повторного использования разработок.
• cокращение затрат на весь жизненный цикл управления. Использование инструментов, выполняющих мониторинг, обеспечивающих управление всем ЖЦ от первоначального проектирования и до функционирования, на основе репозитория метаданных. Гарантированная прозрачность и взаимосвязь бизнес-аналитиков и разработчиков, ускоряющая процесс и сокращающая количество ошибок.

Если обеспечить все вышеперечисленные факторы, то DI — станет прекрасной базой для построения будущих прикладных архитектур.

Рекомендации пользователям

На какие ключевые аспекты необходимо обратить внимание пользователям, планирующим выбор инструмента интеграции и стремящимся к сокращению расходов на владение и успешному внедрению?

1. Внедрение и использование методологии администрирования данных (data governance) во всей организации (см. «Администрирование данных Цели и задачи. Роль в бизнес-проектах»). В частности, использование общих определений, стандартов, отслеживание истории, расположения данных — совершенно необходимо. Администрирование — это постоянный процесс, а не единовременный проект. Поэтому к нему надо подходить серьезно.
2. Внедрение инструментов управления качеством данных в рамках администрирования. Это также долговременная инициатива.
3. Выбор инструментов интеграции, поддерживающих администрируемые организационные структуры, обеспечивающие контроль, мониторинг, предупреждения и отслеживание ключевых параметров эффективности, тем самым гарантирующих грамотное управление.
4. Начинать с малого и развиваться. Не использовать подход «большого шока». Выбрать такой инструмент, который позволяет поэтапно вводить дополнительные технологические возможности, а не сразу все функции на первом же этапе. Рационально подойти к первичным расходам, большие инвестиции в начале и высокие расходы на поддержку — не лучший путь. Поставщик должен обеспечить «малое начало», которое будет хорошей базой для дальнейшего развития.
5. Выбрать инструмент, предназначенный для конкретной цели, а не набор плохо интегрированных компонентов.
6. Выбрать инструмент, который ориентирован на бизнес. Многие средства сегодня сложны по сути, их трудно изучить, и пользуются ими только специалисты. Надо подобрать ПО, поддерживающее интеграцию на основе бизнес-понятий. Инструмент, который может абстрагировать и рационализировать конкретные сущности данных и представить их в виде семантической сущности — наиболее приемлем. Преобразования не должны выполняться вручную, основную часть работ необходимо автоматизировать.
7. Выбрать инструмент, обеспечивающий масштабируемость. Задача поставщика -продемонстрировать масштабируемость без высокопроизводительного аппаратного обеспечения. Особенно это важно при переходе на работу с данными в реальном времени. Инструменты DI призваны обеспечить распределение обработки, а не концентрацию целого массива наиболее мощных аппаратных средств.
8. Искать поставщика, который предложит «ролевое» внедрение, где задачи, выполненные разработчиками, могут быть далее разъяснены опытным бизнес-пользователям. Обязательно нужно вовлечь людей, которые хорошо разбираются в бизнес-правилах.
9. Избегать продуктов, которые требуют кодирования или внедрения бизнес-логики в инструменты. Выбирать средства, которые представляют правила в удобной и читаемой форме, эффективно выполняют самодокументирование.
10. Помнить о том, что полная стоимость владения — один из главных факторов. Не переговоры о стоимости владения, но все затратные аспекты, сегодня и в будущем, которые связаны с выбранной стратегией интеграции.

Публикации:

1. Десять советов по выбору инструмента интеграции данных. Стоимость владения — важнейший фактор (Ten Tips for Selecting a Data Integration Tool — Total Cost of Ownership Really Matters), июль 2008, Дэвид Уодингтон (David Waddington), Tyson Consulting, http://www.dmreview.com/white_papers/10001947-1.html.

Автор: По материалам зарубежных сайтов