Консалтинг и автоматизация в области управления
эффективностью банковского бизнеса

Журнал ВРМ World

Наиболее существенные тенденции в области интеграции данных

Сегодня отделы информационных технологий сталкиваются с новыми проблемами. В их число входит приведение данных в соответствие регуляторным нормам, распространение облачных вычислений и усиливающееся использование больших данных (Big Data). Поскольку существующие проблемы остаются, а новые продолжают появляться, самое время рассмотреть истинный потенциал технологии интеграции данных. Очевидно, что на протяжении лет она будет приобретать всё большую важность. Несколько прогнозов относительно интеграции данных на 2013 год представил Дэвид Линтикум, технический директор Blue Mountain Labs и известный эксперт в области сервис-ориентированной архитектуры.

1.    Рост баз данных, находящихся в публичных облаках, будет стимулировать потребность в технологии интеграции данных и соответствующих специалистах

В последние дни 2012 года Amazon Web Services анонсировала новое хранилище данных в облачном пространстве под названием Redshift, которое позволяет управлять огромными объемами данных (до петабайтов и выше) всего за тысячу долларов в год.

Тем не менее существует одна проблема.  При перемещении данных из локальной базы в облачную, такую как Redshift и ей подобные, возникает необходимость в обеспечении синхронизации данных с локальными источниками, а делается это обычно «задним числом». В результате ведётся серьёзная работа по поиску подходящего интеграционного решения, и, следовательно, наблюдается как развитие технологии интеграции данных, так и рост спроса на специалистов в области проектирования и развёртывания таких решений.

2.    С ростом баз данных технология интеграции данных становится критически важной

Распространение больших данных означает несколько новых тенденций. Во-первых, данные больше не привязаны к статичной структуре, теперь это сочетание структурированных и неструктурированных данных. Во-вторых, размер источников и кластеров данных преодолел рубеж в петабайт и таких прецедентов уже немало. И, наконец, сегодня, уже недопустимо понятие «вчерашних данных». Информация должна быть высококачественной и актуальной.

Наряду со стратегией больших данных должна существовать стратегия интеграции данных, а также должна использоваться надлежащая технология интеграции данных. Она становится основным механизмом синхронизации и очистки данных на их пути между источниками данных.

Применение традиционных подходов к построению хранилищ данных подразумевает перенос данных из транзакционных и оперативных источников в хранилище данных структурированной информации, как правило, с выполнением агрегирования данных во время их перемещения (например, традиционного ETL). Новые подходы к большим данным и визуализации данных подразумевают, что они существуют в более примитивном, не нормализованном виде.

Рассматривая фрагментированную природу данных, находящихся в пределах кластера или файловой системы, становится понятно, что это те данные, которые должны быть актуальными, чтобы быть полезными. Роль интеграции данных становится даже более критичной. В самом деле, не существует способа осуществления успешного проекта больших данных без использования технологии интеграции данных.

3.    Акцент на интеграции машинно-генерируемых данных

В январе 2013 года корпорация GE начала внедрять концепцию «промышленного интернета», идея которого заключается в том, чтобы использовать возможности облака для соединения машин, оснащённых программным обеспечением и сенсорами с другими машинами и людьми. Таким образом, появляется возможность извлечь данные, понять, что они означают, и удостовериться в том, что машины или люди имеют доступ к информации, необходимой им для выполнения своих обязанностей. Это новое видение того, как машины взаимодействуют с другими машинами, компьютерами и пользователями в процессе интеграции данных.

По мнению Дэвида Линтикума, это новое название для старой идеи. Тем не менее, сегодня существует высокая пропускная способность сетей, масштабируемые средства хранения и сервисы баз данных для «общения» с магнитно-резонансными томографами, промышленными роботами и даже автомобилями. Таким образом, интеграция данных ещё раз берёт на себя важную роль перемещения данных, в рамках развивающегося «промышленного интернета». Роль подходов и технологии интеграции данных продолжает изменяться.

Эта тенденция продлится в 2013 году, а также в ближайшем и отдалённом будущем. Характер использования, как и проблемы, будет меняться. Тем не менее, основной ценностью технологии интеграции данных будет способность адаптироваться и меняться вокруг развивающегося IT-ландшафта. Интеграция данных по-прежнему остаётся неоценимой частью технологической инфраструктуры. С течением времени, она станет ещё более важным условием успеха.

Актуальные течения отрасли интеграции данных оказались и в поле зрения специалистов  издания Markets Media. По их мнению, вопросы управления данными и системами бэк-офиса – это наиболее острые темы для заказчиков, так как они связаны с проблемами соответствия требованиям органов регулирования. Опрос инвестиционных менеджеров региона EMEA, проведённый Bonaire Software Solutions на ежегодной пользовательской конференции в Лондоне, показал, что в сфере инвестиционного управления больше всего внимания уделяется эффективности использования  данных. Так, 67% респондентов назвали обеспечение согласованности данных между бизнес-единицами в качестве одной из самых больших проблем в управлении расходами. Ещё 42% заявили, что объединение данных из различных систем при формировании отчётности о доходах является серьёзной проблемой.

«За последние годы возникло несколько ключевых тем, в том числе и растущая зависимость от технологий, предназначенных для повышения операционной эффективности, совершенствования обслуживания клиентов и повышения производительности, а также спрос на инструменты управления данных и обеспечения их качестве, - говорит Крис Джон, генеральный директор Bionaire Software Solutions. - В будущем можно ожидать большего регуляторного давления в Северной Америке и усиливающейся тенденции для дальнейшей гармонизации законодательства в Европе, наряду с акцентом на операционную эффективность, чтобы помочь перенести растущую стоимость соответствия регуляторным требованиям».

Публикации

  1. Дэвид Линтикум (David Linthicum) 3 предсказания об интеграции данных на 2013 год (3 Data Integration Predictions for 2013). 18 декабря 2012 г.
  2. «Болезнь» бухгалтерских проблем (Accounting Issues Plague Buy Side), 7 ноября 2012 г.