Инструменты интеграции и качества данных: от роста понимания к росту рынка

Аналитики Gartner и Forrester отмечают рост рынков инструментов интеграции и
качества данных и выделяют наиболее важные тенденции и изменения.

Успешность инвестиций в IT напрямую зависит от того, насколько полезны будут приложения для пользователей, помогут ли они оптимизировать их работу. Многие эксперты сходятся во мнении, что первостепенную важность здесь имеет вопрос доверия к данным со стороны пользователей. Увеличение интереса к инструментам для интеграции данных и обеспечения их качества, отмечаемое в отчетах компаний Gartner и Forrester Wave, подтверждает правильность этого мнения.

Инструменты интеграции данных: новые задачи и тенденции

Согласно отчету «Магический квадрант для инструментов интеграции данных», подготовленному компанией Gartner, спрос на инструменты интеграции данных растет, а наибольшей популярностью на рынке по-прежнему пользуются инструменты, обеспечивающие быструю окупаемость, масштабируемость и поддержку различных способов предоставления данных.

По оценке экспертов, сегодня многие предложения на рынке инструментов интеграции данных обладают большим набором функций, предлагают высокую производительность и масштабируемость, отвечающую потребностям компаний в интеграции данных.

В то же время в 2011 году появились новые задачи, требующие решения. Как отмечают аналитики Gartner, эти задачи представляют собой новые рыночные возможности для поставщиков, поскольку потребители обращаются к интеграции данных как критическому аспекту целостного управления информацией.

У компаний самые разные потребности в использовании данных, что вынуждает их управлять своими данными по-разному. Ситуация на рынке требует синергии между функциональностью, производительностью и масштабируемостью в инструментах интеграции данных. Они должны работать с теми приложениями, которые уже установлены в компании и больше взаимодействовать с другими инструментами для управления данными в таких областях, как качество данных, управление мастер-данными (НСИ), управление метаданными, а также справляться с объемами, разнообразием и скоростью изменения данных.

Ведущие IT-компании по-прежнему подчеркивают важность экономической эффективности (воспринимаемая ценность функциональности в сравнении с затратами), сокращения сроков окупаемости инвестиций, высокого качества поддержки и обслуживания клиентов, а также расширения границ использования инструментов интеграции данных (поддержка миграции данных, интеграция приложений, служб данных в сервис-ориентированных архитектурах).

Рынок растет и меняется

Интеграция данных включает практики, технологии и инструменты, предназначенные для обеспечения согласованного доступа к данным (а также их последующей доставки) различного типа и относящимся к различным предметным областям. Целью интеграции данных является приведение данных в соответствие с требованиями всех приложений и бизнес-процессов. Таким образом, интеграция данных – критически важный компонент в управлении информацией и стратегии построения корпоративной информационной инфраструктуры. Стремление компаний улучшить такие показатели, как скорость реагирования на происходящее на рынке, быстрота изменения бизнес-процессов и моделей, желание обнаруживать и использовать паттерны и события на рынке, побуждает их управлять своими данными по-разному. В результате усиливается потребность в интеграционных технологиях, так как они поддерживают беспрепятственный обмен данными и обеспечивают целостное и полное представление данных. 

По оценкам Gartner, рынок инструментов интеграции данных достиг 1,63 млрд. долларов к концу 2010 года, что на 20,5% больше, чем в 2009 году. Рынок продолжает уверенно расти, и эксперты ожидают увеличение приблизительно на 15% в 2011 году. Согласно прогнозам, к 2015 году рынок вырастет до 2, 79 млрд. долларов.

Некоторые поставщики, как показало исследование, корректируют свое видение рынка, пытаясь понять, в каком направлении он будет развиваться. Их программные продукты достигают высокого уровня зрелости, но в то же время потребители становятся требовательнее в том, что касается изменения и пересмотра направления интеграции данных в своих компаниях.

Как показали результаты исследования, в последние три-пять лет многие поставщики усилили свои решения в области интеграции данных, добавив более удобные способы предоставления данных, прочнее связав их с инструментами качества данных. Однако, по мнению экспертов, покупатели будут все больше оценивать поставщиков инструментов интеграции данных по их способности обеспечить:

• Интеграцию информации из новых источников и новых типов данных («большие данные», неструктурированные данные или «контент»); объединение разрозненных источников данных и новых типов данных с целью получения цельной и согласованной информации.
• Взаимодействие инструментов интеграции данных с другими технологиями управления данными (как управление НСИ и качеством данных). Это требует определенного уровня управления сложными метаданными, которое по-прежнему не доступно многим пользователям.
• Комплексное управление данными. Все больше организаций признают, что и интеграция данных, и функции качества данных требуются для реализации проектов бизнес-аналитики, MDM и модернизации приложений.

Главные тенденции

Мощная функциональность остается жизненно важной, но покупатели ищут большего. По мере развития рынка инструментов интеграции данных, компании все больше осознают многообразие проблем, характерных для интеграции данных, и разнообразие стилей архитектуры и способов предоставления данных, что является одной из причин этого многообразия. Согласно экспертам Gartner, в будущем компаниям потребуются способы предоставления данных, которые отличаются от традиционного пакетного режима.

Консолидация и сближение технологий. После сближения рынка инструментов интеграции данных со смежным рынком инструментов качества данных, на первый план вышла проблематика комплексного управления данными, в связи с чем стала очевидна важность задачи обеспечения качества данных. Зрелость рынков инструментов интеграции данных и инструментов качества данных, высокие темпы их сближения, по мнению экспертов, сигнализируют о грядущем слиянии этих рынков. Поставщики, предлагающие только один стиль предоставления данных, находятся в уязвимой позиции. Консолидация рынка инструментов интеграции данных и смежных рынков смещает интересы потребителей в сторону поставщиков инфраструктур приложений или других инфраструктур управления информацией.

Спрос на более широкие возможности использования инструментов интеграции с целью извлечения большей прибыли. Способы использования инструментов интеграции данных становятся более разнообразными по мере того, как потребители приобретают эти инструменты для поддержки широкого ряда проектов и инициатив. Хотя внедрение инструментов интеграции данных для бизнес-анализа (BI) и хранилищ данных остается наиболее распространенным случаем использования этих инструментов, появляются и многие другие.

Одна из быстро растущих областей, где наблюдается спрос, это миграция данных для поддержки проектов по модернизации и консолидации. По мере увеличения числа программ управления НСИ и роста их масштабов, компании также стремятся финансировать их в рамках инвестиций в технологии интеграции данных, поскольку перемещение, трансформация и объединение мастер-данных – фундаментальный компонент процесса управления данными. Синхронизация данных между операционными приложениями внутри одной организации, а также между приложениями нескольких компаний – также развивающаяся область. Все больше компаний внедряют сервисы по интеграции данных в рамках более широких инициатив, связанных с сервис-ориентированными архитектурами. Требования, предъявляемые к интегрируемым данным, обычно реализуются с помощью двухточечных интерфейсов, поддерживаемых инструментами интеграции данных. Однако все больший интерес вызывает архитектура «концентратора интеграции данных».

Основные сценарии интеграции данных

Рынок инструментов интеграции данных включает поставщиков, которые предлагают программные продукты, позволяющие создавать интеграционные инфраструктуры для различных сценариев интеграции данных. Среди них:

• Получение данных для BI-инструментов и хранилищ данных. Извлечение данных из операционных систем, трансформация и объединение данных и их интеграция для аналитических целей.
• Консолидация и предоставление мастер-данных для поддержки MDM. Консолидация и оптимизация данных о критически важных бизнес-сущностях (клиенты, продукты и сотрудники).
• Миграция/преобразование данных. Растет использование инструментов интеграции данных для решения проблем с перемещением и трансформацией данных, возникших в связи со сменой устаревших приложений, а также вследствие проведения сделок слияния и поглощения.
• Синхронизация данных между операционными приложениями. Инструменты интеграции данных обеспечивают возможность достичь целостность в приложениях на уровне базы данных.
• Обмен данными между компаниями. Организации все больше нуждаются в том, чтобы предоставлять данные другим компаниям и получать данные от них. Инструменты интеграции данных могут быть использованы для решения этих задач.

Качество данных: рост интереса

В течение многих лет эксперты в области качества данных в крупных организациях были недовольны тем, что все их предупреждения о негативном влиянии низкокачественных данных на бизнес игнорировались. Утверждались различные одноразовые проекты по очистке данных для поддержки отдельных CRM-приложений, систем управления прямым маркетингом или витрин финансовых данных. Однако концепция качества данных в рамках компании в целом не становилась нормой.

Но в последние три-пять лет, как отмечают эксперты Forrester Research, наблюдается значительное увеличение интереса со стороны компаний к лучшим практикам, методикам и технологиям в области качества данных. Они становятся частью архитектуры и стратегии по управлению корпоративными данными. Задумавшись над тем, что послужило толчком к повышению интереса к этой задаче, эксперты пришли к выводу, что многие специалисты внутри крупных компаний сталкиваются с тем, что CRM- и ERP-системы, хранилища данных и BI-инструменты не работают в полную силу и не приносят ожидаемых результатов. А причина одна: недоверие пользователей к тем данным, которые извлекаются, управляются и обрабатываются этими приложениями. Это и привело к широкому внедрению приложений по качеству данных.

Но спасение дорогих и важных инвестиций в ПО было только одной из причин увеличения интереса к качеству данных. Большую роль сыграл также экономический спад, начавшийся в 2008 году, когда генеральные и финансовые директора стали спрашивать у своих IT-директоров, что можно сделать для снижения рисков, связанных с согласованием и подготовкой отчетности. По мнению последних, было необходимо инвестировать в качество данных и соответствующее ПО, а также сконцентрироваться на лучших практиках по управлению данными.

По мнению аналитиков Forrester Research, предпринятые меры помогли улучшить операционную эффективность, снизить финансовые потери, оптимизировать критические бизнес-процессы, обеспечить прозрачность данных и сделать их пригодными для составления отчетности.

Рынок инструментов для обеспечения качества данных сегодня

Успешность интеграции данных неразрывно связана с проблемой качества данных. Если данные низкого качества, то все меры по их интеграции не принесут ожидаемых результатов.

Сегодня на рынке инструментов обеспечения качества данных представлены различные решения для компаний самой разной величины. Поставщики предлагают возможности для улучшения качества данных и профилирования данных.

Как показывают результаты очередного исследования Forrester Research, большинство крупных компаний ищут зрелые, полнофункциональные и испытанные платформы для управления качеством данных, которые предлагают широкую функциональность и могут внедряться в сложных условиях крупных компаний.

Однако примечательно, что 23% респондентов исследования Forrester Research указали, что они по-прежнему используют доморощенные решения для обеспечения качества данных. Это свидетельствует о том, что в этом сегменте рынка существует значительный потенциал для роста. А из респондентов, использующих пакетные решения, 67% отметили, что они отдали предпочтение лидерам рынка.

Начиная с 2000 года наблюдался процесс консолидации поставщиков ПО для обеспечения качества данных. Этот процесс возглавили поставщики приложений для крупных компаний, поставщики инструментов BI и интеграции данных. Многие поставщики ПО стремятся включить возможности управления качеством данных в линейку своих продуктов. По мнению аналитиков Forrester Research, сегодня на рынке сложились следующие группы продуктов:

• Платформы интеграции данных. В течение многих лет поставщики средств интеграции данных, особенно те, кто предлагает высокоэффективные ETL-решения, инвестировали в превращение линеек своих продуктов в более мощные платформы для комплексного управления данными, включающие интеграцию данных, качество данных, профилирование данных, управление метаданными и другие возможности.
• BI и аналитические приложения от поставщиков, стремящихся предоставлять не любые данные, а такие, которые вызывают доверие. Большинство специалистов по BI и хранилищам данных не имеют абсолютно никакого контроля над операционными системами и бизнес-процессами, которые захватывают основной объем данных. И, как считают специалисты, это будет продолжаться до тех пор, пока профессионалы в области управления данными не станут работать плотнее с коллегами из бизнес-отделов.
• ERP-приложения от поставщиков, которые осознают, что продукты без поддержки качества данных они не смогу продать.

Заключение

Результаты авторитетных исследований свидетельствуют, что рост интереса к инструментам интеграции данных и обеспечения качества данных связан с признанием того факта, что без данных высокого качества все усилия по внедрению BPM-систем и других приложений, а также инвестиции в них не принесут ожидаемой пользы. Основные тенденции на рынке, обнаруженные в процессе исследований, показывают, что пользователи нуждаются не только в традиционных подходах к решению проблем интеграции и качества данных. Очевидно, что постоянно меняющиеся условия на рынке и экономическая ситуация требуют новых подходов и решений. Компании-поставщики стараются развивать и трансформировать свои продукты с тем, чтобы соответствовать потребностям клиентов. 

Публикации

1. Магический квадрант для инструментов интеграции данных (Magic Quadrant for Data Integration Tools). 27 октября 2011 г.
2. Роб Карел. Forrester Wave: Платформы качества данных для компаний, 4 квартал 2010 г.(Rob Karel. The Forrester Wave: Enterprise Data Quality Platforms, Q4 2010). 29 октября 2010 г.

Автор: По материалам зарубежных сайтов