Интеграция данных: по-прежнему проблема номер один

Интеграция данных остается одной из основных проблем современных
организаций. В статье прогнозируются изменения, которые могут способствовать
решению этой проблемы.

В 2012 году многие ИТ-организации рассматривали сложности с интеграцией данных в качестве основного препятствия на пути достижения стратегических целей бизнеса. В некоторых случаях инструменты интеграции данных, рассматривавшиеся как средства упрощения интеграции, превращались в препятствие для ИТ-отделов, которым требовался более быстрый, эффективный и экономичный ETL-процесс (Extract, Transform, Load – процесс извлечения, преобразования и загрузки данных). Подтверждением тому - исследование компании Enterprise Strategy Group, согласно которому сложность интеграции данных была названа проблемой номер один при анализе данных.

Отчёт аналитической организации Freedom Dynamics, основанный на углублённых интервью с руководителями высшего звена 120 средних и крупных компаний Великобритании, также выявил недовольство существующими возможностями интеграции среди почти половины респондентов. Большинство опрошенных уверено, что решение этой проблемы было слишком сложным, а более трети из них назвали инертность и беспечность причинами, воспрепятствовавшими совершенствованию их процессов и систем. Оказалось, что на удивление многие всё ещё полагаются на электронную почту и бумажный документооборот для обеспечения межкорпоративных транзакций. Это исследование показало, что компании, лидирующие в области межкорпоративных операций, то есть достигшие высшего уровня интеграции со своими торговыми партнёрами, в три раза чаще достигают финансового успеха по сравнению с аутсайдерами, и в четыре раза чаще демонстрируют потенциал роста.

Джон Майерс, ведущий специалист в сфере бизнес-аналитики и хранилищ данных, прогнозирует следующие тенденции, наиболее вероятные на протяжении 2013 года:

Интеграция данных станет стандартизированной. В прошлом написание кода на PERL и других языках было опциональным. Тем не менее, для большинства организаций наборы инструментов, предоставляющие интерфейсы к ручному коду ETL-специалистов и к средам для управления и интеграции данных, должны стать минимальным стандартом.

Вместе с тем, на этот вопрос существует альтернативная точка зрения. По мнению Джорджа Лопеза (George A. Lopez), старшего менеджера по интеграции данных компании Syncsort, ручное программирование распространяется всё шире: «В этом году мы отметили растущую потребность в высокопроизводительных инструментах интеграции данных, поскольку обычным инструментам всё сложнее удовлетворять растущие потребности в производительности и масштабируемости для обработки Больших данных. Из-за низкопроизводительных инструментов многие организации вынуждены прибегать к постоянным доработкам ради достижения приемлемой производительности, и в результате возвращаются к ручному написанию кода. В 2013 году нас ожидает всплеск ручного кодирования, обусловленный попытками найти альтернативный путь к решению указанных проблем».

 «Впустите» все данные. Поскольку эра Больших данных уже наступила, решение допускать бизнес-аналитику и хранилища данных только к «одобренным» данным становится ошибочным. Устраняя некоторые данные из аналитической среды можно упустить слишком много возможностей для бизнеса. Следует «впустить» все данные и дать пользователям, бизнес-аналитикам и профессионалам в области анализа данных решать вопрос об их ценности.

Виртуализация данных и ETLдолжны работать вместе. В виртуализации данных нет ничего нового, но она возвращается, и это возвращение поставило на край пропасти профессионалов ETL. Они рассматривают виртуализацию данных как угрозу. Однако, это дополнительные технологии, которые могут и должны использоваться совместно для повышения ценности данных по всей компании.

Недостаток места или скорости - это больше не оправдание. Как упоминалось выше, в аналитическую среду должны попадать все данные, а не только «одобренные». С тех пор, как стоимость дискового пространства и пропускной способности сетей упала, и технологические препятствия были преодолены, отделы интеграции данных потеряли возможность оправдывать свою неэффективность нехваткой дискового пространства или скорости. Они должны использовать существующие мощности, чтобы чаще говорить «да», чем «нет».

Объёмы Больших данных продолжат расти. Когда-то транзакционные данные из системы торговых терминалов или телекоммуникационных сетей были настоящими «Большими данными». Затем связь людей с социальными платформами породила ещё большие Большие данные. Но эти источники были относительно малы по сравнению с тем, что получается, если связать вместе автомобили, холодильники, дома, сотовые телефоны, фургоны и т. п. В «интернете вещей» количество, разнообразие и загрузка от этих источников данных сделает интеграцию довольно непростой.

Проблемой номер один называют интеграцию данных и компании малого и среднего бизнеса. Они всё чаще рассматривают CRM системы (Customer Relationship Management, управление взаимоотношениями с клиентами) как бизнес-системы критической важности, хотя качество данных и интеграция останутся главными задачами для этих организаций в 2013 году. Такого мнения придерживаются эксперты из Scribe Software - провайдера решений для интеграции данных CRM. Согласно опросу, проведенному этой компанией, основная сложность, с которой сталкивается малый и средний бизнес, сегодня заключена в качестве и интеграции данных. Выяснилось, что эти организации серьёзно сомневаются в своих способностях внутреннего обмена критически важными финансовыми данными о клиентах. Лишь 40% респондентов сообщили о бесшовном обмене данных между финансами и отделом продаж, между финансами и маркетингом. Оставшиеся 60% говорят о трудностях при обмене данными. При этом почти 52% находят несколько или довольно сложной подготовку маркетинговой отчётности и 44% - отчётности о продажах.

Согласно исследованию, для интеграции данных организации используют неэффективные методы – получение лишь 18% данных для маркетинговой отчётности полностью автоматизировано в CRM-системе.

По словам Лу Гарсия, генерального директора Scribe Software, малый и средний бизнес увеличивает инвестиции в CRM-решения ради повышения прибыли, несмотря на ряд проблем. Он считает, что производители должны сделать интеграцию проще, легче и доступнее для малых и средних компаний, чтобы они могли принимать более взвешенные решения и расширять возможности своих сотрудников для обеспечения качественного обслуживания клиентов.

Публикации

1. Джордж Лопез (George A. Lopez) «Интеграция данных: три главных тенденции 2013 года» (Data Integration: 2013's Top 3 Trends), 8 января 2013 года.
2. PublicNet «2013: год, когда интеграция данных достигла совершеннолетия» (2013: THE YEAR DATA INTEGRATION COMES OF AGE), 8 февраля 2013 года.
3. Джон Майерс (John Myers) «Интеграция данныхв 2013: дайте платформу, и мы заполним её» (Data Integration in 2013: Give us a platform and we will fill it), 21 января 2013 года.
4. Информационная панель CXOtoday «Интеграция данных остаётся главной задачей предприятий малого и среднего бизнеса» (Data integration remains top challenge for SMBs), 28 января 2013 года.

Автор: По материалам зарубежных сайтов