Проблемы интеграции данных: новый доклад TDWI

В материале рассказывается о новом докладе авторитетной организации The Data
Warehousing Institute, который посвящен проблемам корпоративной интеграции
данных.

Мы продолжаем знакомить наших читателей с отчетами, выпускаемыми специалистами известной организацией TDWI (The Data Warehousing Institute - Институт Хранилищ данных). Тема их очередного исследования - проблемы интеграции данных (Data Integration: Using ETL, EAI, and EII Tools to Create an Integrated Enterprise - Интеграция данных: использование технологий ETL, EAI и EII для создания интегрированной корпорации).

Этот отчет является продолжением исследования 2003 г. "Оценка ETL и платформ интеграции данных" (Evaluating ETL and Data Integration Platforms). Цель настоящего отчета - оценить развитие технических средств, технологий, приложений и продуктов для интеграции данных за период после 2003 г. В фокусе нового исследования находятся не только роль интеграции данных в проектах по созданию Хранилищ, но и разработка корпоративной стратегии интеграции.

Интеграция разрозненных данных всегда была сложной задачей, а лавинообразный рост количества данных в большинстве организаций не способствует ее облегчению. Более 69% участников исследования TDWI заявили, что проблемы интеграции данных являются "очень серьезным" или "серьезным" препятствием для внедрения новых приложений. Согласно мнению респондентов, основными проблемами в области интеграции данных являются: качество данных и вопросы безопасности; недостаток экономических моделей и неадекватное финансирование; неразвитая инфраструктура интеграции данных (рис. 1).

Рис.1. Основные препятствия для успешного осуществления проектов интеграции данных (респонденты могли выбрать до трех ответов)

Хотя неадекватное финансирование было названо вторым главным препятствием для успешной интеграции данных, результаты исследования показывают, что преобладающей тенденцией является увеличение бюджетов интеграционных проектов. Треть опрошенных организаций (36%) оценили свой уровень финансирования проектов по интеграции как "очень высокий" и "высокий". Такие же оценки были даны и уровню вовлечения сотрудников в этот процесс. По данным исследования, число таких организаций должно возрасти до 55% в ближайшие 1.5 года.

В исследовании анализируются подходы к интеграции данных в самых различных компаниях. Полученные материалы позволили специалистам TDWI выделить две основных группы компаний.

1. Крупные организации, движущиеся в сторону корпоративной архитектуры интеграции данных. В таких компаниях обычно существует множество мест хранения данных и большое количество исторических данных, накопленных за время существования организации. Как правило, подобные компании приобретают комплексный пакет программных продуктов и заинтересованы в наиболее передовых технологиях интеграции данных. Эти организации также обычно покупают высокопроизводительные передовые продукты, которые могут работать совместно с наиболее распространенными средствами интеграции, для того, чтобы обеспечить интеграцию больших объемов данных. Кроме того, они довольно часто имеют специальный центр интеграции данных¹.
2. Компании средних размеров, которые рассматривают интеграцию данных исключительно с точки зрения Business Intelligence (BI). Для них важно, чтобы программные средства интеграции сочетались с инструментами и приложениями BI, уже имеющимися в организации. Обычно эти компании имеют меньше исторических данных и менее заинтересованы в передовых подходах, таких как данные в режиме реального времени и web-сервисы.

Многие идеи и концепции, представленные в отчете, хорошо подходят для компаний любого размера. Основной вывод, который следует из отчета, - это то, что проблемы интеграции данных препятствуют успешному ведению бизнеса. Поэтому, если компании заинтересованы в успехе, им необходимо вырабатывать корпоративную стратегию интеграции своих данных.

Автором исследования является Колин Уайт (Colin White), президент компании BI Research. Доклад основан на материалах исследования, проведенного в июле 2005 г. Всего было опрошено 672 специалиста, среди которых преобладали IT-профессионалы (64%). Также в исследовании участвовали консультанты и системные интеграторы (21%), бизнес-пользователи (8%), поставщики (5%) и пользователи из университетов и академических учреждений (2%). В докладе примерно в равных пропорциях представлены компании с различным уровнем годового дохода: от тех, чей доход составляет менее 100 миллионов долларов (25%) до компаний с доходом, превышающим 1 миллиард долларов в год (37%).

Большинство участников исследования (63%) - это компании, находящиеся в Северной Америке и работающие в самых разнообразных областях, среди которых преобладают консалтинговые и финансовые услуги, создание программного обеспечения, страховой бизнес, производственная сфера, розничный бизнес и здравоохранение.

Как и все исследования TDWI, отчет изобилует различными статистическими данными и будет особенно полезен тем, кто непосредственно занимается практическим осуществлением проектов по интеграции данных.

¹ Центр интеграции данных (data integration competency center) - это специальное подразделение компании, которое занимается вопросами интеграции данных во всей корпорации. В сферу ответственности этого подразделения входит решение проблем, связанных с избыточностью программ, данных и функций между разрозненными системами. Также данное подразделение обеспечивает, чтобы отдельные группы, внедряющие новые приложения, "вписывались" в общую интеграционную инфраструктуру. (прим. переводчика).

Автор: По материалам зарубежных сайтов