Рынок СУБД для Хранилищ данных. Результаты исследования Gartner за 2008 год

В материале предложены краткие итоги отраслевого исследования аналитической
компании Gartner, посвященного СУБД для Хранилищ данных. Описываются основные
тенденции развития систем, достижения и будущие задачи поставщиков, а также
даются рекомендации по выбору продуктов для клиентов.

По мнению аналитиков Gartner, рынок СУБД для Хранилищ данных (DWH DBMS) расширяется рекордными темпами, появляются новые поставщики, новые предложения и наблюдается существенный рост. Постоянно модернизируются и повсеместно внедряются устройства для Хранилищ, а также расширяются функциональные возможности СУБД, появляются продукты низкой ценовой категории.

Сегодня как экспертам, так и обычным пользователям очевидно, что Хранилище данных является критически важным звеном в информационной инфраструктуре. Однако, по данным Gartner, его обслуживание ведется в режиме постоянно увеличивающейся нагрузки. В тоже время само DWH сегодня служит источником данных для транзакционных приложений. Бизнес-аналитики выпоняют сложные, и требующие быстрого ответа запросы, при этом уровень требований может быть самым разным. Постоянное изменение нагрузки ставит проблему подбора мощностей процессора, памяти и объемов накопителей. В то же самое время, требования к временной задержки становятся все более строгими, и постепенно происходит переход от пакетной к непрерывной загрузке.

Отчет аналитиков показывает, что за 2008 год на рынке произошли существенные изменения. Несмотря на то, что это зрелый сектор, и крупные поставщики постоянно решают задачи масштабирования и разработки инновационных технологий, однако небольшие компании часто привносят нечто новое и интересное.

По данным отраслевых опросов, последняя волна внедрений ХД приходится на крупные клиентские организации, не имеющие опыта управления Хранилищами. Многие из них имеют такую структуру, для которой наиболее удобно внедрение витрин. В итоге лидирующие поставщики разработали новые устройства для ХД и активно продвигают их на рынке.

Обзор рынка

Рассмотренный в отчете рынок представлен поставщиками, предлагающими СУБД, обеспечивающие инфраструктуру Хранилища.

Напомним, что под СУБД понимается программная систем, поддерживающая и управляющая логической базой или базами. СУБД для ХД помимо поддержки реляционной модели данных (расширенной для поддержки новых структур и типов данных, таких как XML), обеспечивают доступ к информации со стороны независимых приложений, а также включают механизмы выявления требований к нагрузке и контроль различных параметров доступа пользователей к отдельной сущности данных. Важно заметить, что СУБД сама по себе не является Хранилищем. Это всего лишь платформа, на которой внедряется ХД.

В целом можно сказать, что для крупных компаний Хранилище сегодня является критически важным компонентом. Кроме того, эксперты Gartner считают, что размер базы данных становится менее важным факторов. В прошлом, клиенты считали, что лидером является поставщик, обеспечивающий СУБД с максимальным объемом данным. Сегодня небольшие СУБД (менее 5 Тбайт) часто позволяют выполнить все аналитические задачи компании. Другие критерии (в частности расходы в условиях экономического кризиса) намного важнее, чем размер СУБД.

Пользователи и аналитики наблюдали весь год появление новых поставщиков и новых решений от зрелых разработчиков. Вероятнее всего в 2009 году также появится несколько СУБД, удовлетворяющих практически всем требованиям. Результаты успешного развития сбалансированных преконфигурированных устройств для Хранилищ настолько впечатлили всех, что некоторые поставщики традиционных СУБД также предложили свои продукты в этом сегменте, и довольно удачно.

Рассмотрим основные особенности и задачи, которые, по-мнению Gartner, сегодня особенно важны для поставщиков и клиентов.

Смешанные нагрузки

Традиционная нагрузка Хранилища, определявшаяся объемом отчетов и запросов, существенно изменилась в последнее время, и приобрела смешанный характер. В статье («Рынок СУБД для Хранилищ данных 2007. Итоги года, тенденции») описаны шесть видов нагрузки, характерной для сегодняшней BI-среды. Проблема балансировки нагрузки стоит перед поставщиками гораздо серьезнее, чем вопросы объемов Хранилища. Помимо ожиданий клиентов, объем и продолжительность хранения «полезных» данных для каждой отрасли и компании может быть разным. В связи с этим проблема учета нагрузки вовлекает в себя все аспекты разработки ХД-среды, начиная с балансировки канала ввода-вывода, управления дисковым пространством, и заканчивая распределением памяти и процессорных мощностей. До 2011 года задача эффективности смешанной нагрузки останется самой насущной проблемой эффективности, если говорить о СУБД для ЗД. В связи со сложной смешанной нагрузкой, непрерывной загрузкой данных и ростом количества автоматических транзакций из функциональной аналитики в OLTP, транзакционные СУБД возможно перейдут ту грань производительности, которая раньше была доступна только для специализированных продуктов.

Оптимизация и эффективность

Сегодня сложные платформы для Хранилищ встречаются все чаще и чаще. Они включают в себя аппаратное управление вводом-выводом, балансировку хранения, мощностей процессора и памяти. Тем не менее, новые клиенты часто не знают, в чем состоят основные отличия оптимизации аналитической обработки от оптимизации транзакционной обработки. И им нужно в этом разобраться.

Новички убеждены в том, что рынок СУБД для Хранилищ зрелый, а значит, на нем хватает квалифицированных поставщиков, архитекторов систем, администраторов и разработчиков моделей. Однако и тут можно столкнуться с некачественными услугами. Некоторые «внедренцы» следуют тактике, согласно которой вопросов оптимизации вообще не стоит касаться до тех пор, пока не возникнут реальные проблемы. Поэтому клиентам необходимо знать, что далеко не каждое внедрение Хранилище сразу ставит проблему повышения производительности. Часто такие вопросы встают через год-полтора. Однако если уж трудности возникают, то настолько серьезные, что сразу нивелируют сколь угодно краткие сроки внедрения и запуска.

Лидирующие поставщики сегодня предлагают всевозможные виды оптимизации. Длительный опыт работы в области ХД поставил их в идеальное положение, позволил разобраться в коренных причинах проблем и создать решения, отвечающие реальным условиям функционирования. Здесь имеются в виду технологии сжатия, поэтапного обновления и т.п.

Новичкам тоже есть что предложить. Например, в прошлом году появилось несколько СУБД с хранением данных по столбцам, с разметкой данных, параллелизацией аппаратных средств и т.п. Наконец, некоторые поставщики решают вопросы оптимизации средств хранения за счет различных размеров запоминающих устройств, что позволяет сократить расходы (крупные по объему устройства применяются для задач, где не очень важна производительность, а небольшие устройства для дорогих и быстрых операций).

Волна инноваций в области Хранилищ

В 2008 году волна инновационных идей нашла свой спрос на рынке. В итоге лидирующим компаниям пришлось несколько пересмотреть свою ценовую политику. За последние 15 месяцев практически все разработчики предложили новые готовые продукты, обладающие достаточно высокой эффективностью при относительно низкой стоимости. Кроме того, поставщики выработали стратегии масштабирования проектов для клиентов. Специалисты Gartner утверждают, что традиционные лидеры рынка начали «круговую оборону» предлагая низкие расценки, обеспечивая базовые решения, и затем дополняя их прочими функциями без дополнительных затрат со стороны клиента.

Согласно результатам исследования, еще одним результатом всплеска интереса к Хранилищам стало возрождение некоторых старых, но по-прежнему эффективных методов управления ХД. Их нельзя назвать «оптимальными», однако в некоторых случаях они удобны и полезны. В частности, внедрение витрин вышло на новый виток. Многие организации осознают, что если эти витрины считать базовым решением, то в дальнейшем их можно реогранизовать в более сложную и эффективную стратегию. В 2008 году эта маркетинговая позиция получила практическую реализацию. Когда компания начинает выработку стратегии для Хранилища и не имеет в своем распоряжении ничего, кроме витрины данных с удачной архитектурой, то оптимальной стратегией является ее дальнейшее расширение до крупного корпоративного Хранилища

Далее можно отметить, что в этом году возрождение получили и специализированные аналитические платформы, так как опытные разработчики осознали необходимость выделения наиболее серьезной нагрузки (такой как, data mining, например) в отдельный процесс.

Альтернативные режимы поставки

• Хранилище данных, предоставляемое в качестве управляемой услуги (data warehouses as a managed service). Этот способ поставки появился на рынке более 10 лет назад. Суть его состояла в том, что поставщик СУБД разрабатывал и запускал Хранилище для клиента, который приобретал «управляемую услугу», а не собственное Хранилище. Сегодня эту форму поставки в той или иной форме предлагают очень многие разработчики. Использование исключительно этого способа не жизнеспособно, хотя представляет собой хорошую альтернативу. Вероятно, в ближайшие годы данный подход будет распространяться, особенно если речь идет о внедрении в рамках одного подразделения или специфического приложения для ХД. Эксперты Gartner считают, что эта модель постепенно преобразуется в SaaS подход, и клиенты из малого и среднего бизнеса, которым не хватает опыта и средств для поддержки собственно Хранилища, будут обязательно его использовать.
• Хранилища данных с открытым кодом. СУБД с открытым кодом широко используются в экспериментальных и формализованных средах. На данный момент DWH с открытым кодом мало распространены и, как правило, невелики по размеру. Кроме того, они требуют сложной поддержки, выполняемой вручную. Однако некоторые СУБД этого вида специально оптимизированы для ХД-технологии.
• Возрождение витрин. В 2008 году резко возрос интерес к витринам данных. Этот процесс имеет свои преимущества и недостатки. Широкое распространение и нарастающее разнообразие приложений для ХД, а также колебания нагрузки приводят к неограниченному разрастанию количества витрин. И это становится проблемой. Использование витрин для аналитических нужд связано не только с той нагрузкой, которую создает аналитика для корпоративного Хранилища, но также и потому, что аналитические механизмы СУБД для ХД на сегодняшний день очень развиты. Оптимизация Хранилища достигается за счет переноса части нагрузки в витрину, обеспечивая более высокую производительность вычислительной среды.
• Особенно хорошие результаты демонстрируют СУБД с хранением данных по столбцам. В некоторых случаях эффективность повышается на два порядка. Однако, при использовании таких СУБД для сложных запросов, где множество столбцов участвует во множественных соединениях, производительность может падать. Поэтому предварительное тестирование продукта в соответствии с требованиями клиента обязательно.
• Распределенные Хранилища. Такой тип Хранилищ неуклонно распространяется, однако не очень быстро. Причин для применения несколько. Начиная от создания безопасных физических зон хранения, до выполнения глобальных операций в круглосуточном режиме и до аналитических расчетов, связанных с часовыми поясами. Такой подход нужно сочетать с федеративной архитектурой ХД.

Рекомендации пользователям

Эксперты не советуют конечным пользователям обращать серьезного внимания на рекламу, но принимать основные решения, исходя из опыта и отзывов других клиентов, а также доказательств работоспособности продуктов поставщиков в реальной среде.

Согласно рекомендациям специалистов Gartner, при выборе СУБД для Хранилища стоит исходить из собственных требований, учитывая следующие факторы:

• большинство ведущих поставщиков обеспечивают как программные, так и аппаратные средства (в частности решения на базе устройств), поэтому клиент вполне может выбрать продукт того разработчика, чье ПО уже используются в компании. Однако, необходимо учитывать особые преимущества некоторых разрабочиков в управлении крупными объемами данных и смешанной нагрузки. А также принимать во внимание растущую важность управленческой поддержки.
  Аналитики Gartner утверждают, что большинство крупнейших лидирующих компаний обеспечивают решение, не несущее в себе существенных рисков, даже в том случае, если выбранная платформа не соответствует тем стандартам, что приняты в организации;
• специализированные поставщики предлагают новые технологии, например маркировка данных (data tokenization), специальные методы сжатия и хранения, устраняющие некоторые ограничения системы ввода/вывода. Все эти возможности в той или иной мере повышают эффективность и сокращают риски внедрения. Компании-клиенты, готовые принять на себя более высокие риски, могут получить преимущества за счет скидок, расширенных пилотных внедрений, а также снижения цен на внедрение и поддержку;
• некоторые крупнейшие поставщики программного и аппаратного обеспечения сегодня предлагают новые, еще не зарекомендовавшие себя продукты. Здесь для клиента велик риск того, что поставщик занят исключительно будущим развитием продукта. Прежде чем принять решение о покупке, нужно оценить потенциальную стратегию разработчика, а также сопоставить свои задачи, с целями поставщика;

Согласно результатам исследования, одна из наиболее интересных тенденций 2008 года в том, что лидирующие поставщики разработали множество различных решений для выполнения функциональных и технологических требований рынка Экономическая ситуация потребовала недорогих решений, которые хорошо масштабируются. Вырос спрос на поддержку витрин данных, и поставщики тут же отреагировали новыми услугами. Cмешанная нагрузка стала основной «головной болью» и поставила серьезные проблемы производительности. Поставщики тут же предложили новые типы синхронизированного, парного внедрения Хранилищ. В то же время, сам рынок созрел настолько, чтобы использовать все преимущества существующей функциональности на нескольких платформах.

Аналитики Gartner утверждают, что сегодня разработчики готовы решать все возникающие проблемы и выбиваться в лидеры любой ценой. Клиенту же необходимо проводить тщательнейший предварительный анализ. Компания Gartner рекомендует использовать в с этой целью максимально возможный объем данных из исходных операционных систем. Тем самым в тестируемом хранилище создается нагрузка, приближенная к реальной среде. Не стоит заранее предлагать поставщику набор сложных запросов (до выполнения тестирования), дабы убедиться, что СУБД не была специально настроена поставщиком под конкретные нужды. В процессе тестирования аналитики рекомендуют обязательно выполнить первоначальную загрузку данных, даже если данный этап не считается критически важным. Если же для компании-клиента принципиальным моментом является непрерывная загрузка (или наоборот предпочтительна пакетная), то эти этапы тем более важно тщательно протестировать. В целом советы Gartner сводятся к тому, что клиент обязан понять все возможности и ограничения системы и оценить собственные риски.

Публикации:

1. Магический квадрат СУБД для Хранилищ данных (Magic Quadrant for Data Warehouse Database Management Systems), декабрь 2008 г, Доналд Фейнберг (Donald Feinberg), Марк Бейер (Mark A. Beyer), http://mediaproducts.gartner.com/reprints/ncr/article2/article2.html.

Автор: По материалам зарубежных сайтов