Консалтинг и автоматизация в области управления
эффективностью банковского бизнеса

Журнал ВРМ World

Рынок Хранилищ данных: взгляд западных аналитиков

Как и в прошлом году, аналитики Gartner и IDC дают крайне благоприятный прогноз развития рынка. По их мнению, Хранилища данных перешли в разряд систем, критически важных для функционирования бизнеса.

В целом рынок СУБД для Хранилищ данных растет, но демонстрирует замедление темпов роста (в 2007 году доходы поставщиков выросли на 14,5%, а в 2008 году – только на 10,7%). По оценкам аналитиков компании IDC, в 2008 году рынок инструментов для управления Хранилищами данных составил 5,5 млрд. долларов. Первое место среди поставщиков СУБД для Хранилищ данных занимает компания Oracle, доля которой, по данным компании IDC, в 2008 г. составляла почти 40%.

Положительную оценку ближайшему будущему рынка Хранилищ данных дают и аналитики TDWI, согласно мнению участников ежегодной конференции, проводимой этой организации, 2010 год будет знаменательным как для технологий Хранилищ данных, так и средств бизнес-аналитики (Business Intelligence).

Возвращаясь к итогом году, стоит заметить, что один из основных трендов 2009 года – обострение конкуренции. По оценке аналитиков Gartner, более чем у 60% заказчиков оказывается более одного поставщика, часто обслуживающих одну и ту же группу потребителей. Такая ситуация является стандартной для крупных поставщиков, но представляет угрозу для менее крупных компаний.

По мнению Gartner, в 2010 году как все существующие поставщики, так и новые будут пересматривать свои позиции в предстоящей борьбе за долю на этом рынке. Каждому поставщику придется заново определять свою конкурентную позицию, разрабатывая и реализуя периферийные оборонительные конкурентные стратегии, дифференциацию на основе вертикального или горизонтального опыта, стратегию партнерских каналов продаж, более масштабную поддержку. Кроме того, решения будут еще более сфокусированы на возможности изолировать и устанавливать приоритетность различных типов загрузки. Поставщики, которые не смогут дифференцировать свои продукты, покинут рынок по своей воле или будут вынуждены уйти. “Решающая битва” начнется ближе к концу 2013 года, после того, как поставщики определят свои позиции в ближайшие несколько лет.

Практически все аналитики подчеркивают, что наблюдается рост объемов данных в Хранилищах. По данным Института Хранилищ данных (The Data Warehousing Institute, TDWI), полученным в ходе опроса IT-специалистов в мае 2009 года, в ближайшие три года число компаний, использующих Хранилища данных размером более 3 терабайт, увеличится, а менее 3 – уменьшится: эти компании перейдут в категорию использующих более крупных Хранилища. Кроме того, доля компаний, которые используют Хранилища данных, превышающие 10 терабайт, удвоится в ближайшие три года с 17% до 34%.

По данным того же опроса, более половины участников исследования планируют сменить свою платформу Хранилищ данных, причем каждая пятая компания рассчитывает это сделать в 2010 году. Основная причина смены платформы Хранилищ данных - неудовлетворенность производительностью, а также отсутствие поддержки смешанной нагрузки. Еще в прошлом году аналитики Gartner обращали внимание на то, что различные типы смешанной нагрузки приносят большие сложности для поставщиков, чем фактический размер Хранилища данных. По их прогнозам, до 2011 года обработка смешанной нагрузки будет единственным серьезным вопросом производительности при создании Хранилища данных. (Подробнее о типах смешанной нагрузки рассказывается в статье «Рынок СУБД для Хранилищ данных 2007. Итоги года, тенденции».)

Возвращаюсь к проблеме роста данных, признанные эксперты рынка Билл Уинмон и Жжено Валенте выделяют следующие причины, почему сегодня невозможно использовать все имеющиеся данные:

  • Стоимость – очевидно, что стоимость современных технологий хранения данных должна снизится. В противном случае, несмотря на все бизнес преимущества, заказчики просто не смогут себе позволить использовать все свои петабайты данных.
  • Загрузка данных – непрерывный рост объемов данных приводит в тому, что время загрузки становится ключевым требованием – неудивительно, что IT-специалистам требуется производительность порядка 5 ТБ в час.
  • Неограниченные нерегламентированные запросы – сегодня данные организованы гораздо более сложным образом, чем ранее, что означает, что в управлении данными требуются новые подходы.
  • Масштабируемость – пользователям необходимо учитывать возраст данных, иметь возможность архивировать данных в соответствии с их возрастом и использовать ряды данных с более высокой историчностью.

Еще один интересный тренд 2009 года – признание рынком в качестве стандартной практики внедрения двух копий одного Хранилища данных для разрешения конфликтов на уровне сервиса в условиях смешанной загрузки. Многие заказчики передают функции загрузки и оперативной аналитики одной копии Хранилища, а другой – стратегический data mining, тактические запросы и статистические отчеты. При этом возникают задачи, связанные с необходимостью быстрой репликации между двумя копиями Хранилищ данных, а также с управлением разделением ближайших данных для периодических обновлений из одной копии Хранилища в другую. По мнению аналитиков Gartner, начиная с 2009 года и далее, в 2010 году, эта тенденция усилится, и будет использована поставщиками для дифференцирования своих продуктов.

Второй год подряд аналитики Gartner отмечают, что продолжается распространение витрин данных. Поворотным оказался 2008 год, а в 2009 году началось широкое возрождение практики их использования. Аналитики рекомендуют заказчикам рассматривать специализированные платформы – базы данных, ориентированные на хранение записей по столбцам (column-store) или оптимизированные для работы с оперативной памятью (in-memory).

Еще одно из перспективнейших направлений на рынке Хранилищ (по мнению аналитиков Forrester Research) – базы данных, оптимизированные для выполнения аналитических операций (in-database analytics). В рамках этого подхода все аналитические операции (разнообразная отчетность, прогнозирование, data mining), которые, как правило, выполняются в витринах данных, осуществляются непосредственно в корпоративном Хранилище данных. Несмотря на очевидные плюсы такого подхода (обеспечение согласованности данных, сокращение издержек на обслуживание витрин данных), эта технология предъявляет повышенные требования к самому Хранилищу данных и требует новых методов его реализации, в том числе и с точки зрения архитектуры. В этой связи аналитики Forrester Research особо выделают набирающую сегодня популярность технологию облачных вычислений (cloud computing). Примечательно, что известный эксперт Майкл Шифф полагает, что в 2010 году облачные вычисления продолжат свое «победное шествие» и превратится в устоявшийся компонент инфраструктуры Хранилищ данных.

Подтвердился прогноз 2008 г. компании IDC, которая предполагала усиление проникновения на рынок готовых программно-аппаратных комплексов Хранилищ данных (ПАКХД, [Data Warehouse appliance]). Сегодня многие поставщики разработали такие комплексы в качестве своего единственного продукта или продукта в составе СУБД и аппаратного обеспечения.

Таким образом, несмотря на кризис, наблюдается устойчивый рост рынка Хранилищ данных и активное развитие этой категории программного обеспечения.

Публикации

  1. Магические квадранты Gartner для СУБД Хранилищ данных (Gartner Magic Quadrant for Data Warehouse Database Management Systems).
  2. Отчет IDC «Мировые рыночные доли поставщиков инструментов для платформ Хранилищ данных, 2008 год» (IDC, Worldwide Data Warehouse Platform Tools 2008 Vendor Shares).
  3. Уэейн Экерсон (Wayne Eckerson). Отчет об исследовании в TDWI: “Трансформация финансового отдела” (Transforming Finance).
  4. Стивен Суойер (Stephen Swoyer) «Конференция TDWI прошла под знаком возрождения рынка Хранилища данных и бизнес-аналитики» (TDWI Conference Presages BI, DW Industry Rebirth)
  5. Майкл Шифф (Michael Schiff) “2010 год каким он был: главные события 2009 года (и прогнозы на 2010)” (That Was the Year That Was: Major Data Warehousing Events of 2009 (and Predictions for 2010))
  6. Билл Уинмон (Bill Inmon), Жжено Валенте (Geno Valente) «Взгляд в будущее: следующее поколение Хранилищ данных» (A Peek into the Future: The Next Wave of Data Warehousing)