Рынок СУБД для Хранилищ данных. Итоги 2006 года

Предлагаем вниманию читателя материал, в котором освещается текущая ситуация
на рынке СУБД для Хранилищ данных и предлагаются рекомендации по выбору
платформы. Статья расширяет информацию о выборе СУБД для Хранилища данных,
предложенную в одной из ранних публикаций Журнала.

Текущее состояние рынка

Рынок СУБД для ХД состоит из продуктов, обеспечивающих программную инфраструктуру для поддержки Хранилища любого размера. Небольшим считается хранилище размером меньше 5 Тбайт, средним — 5–30 Тбайт, а крупное ХД — больше 20 Тбайт. Для измерения масштабов ХД учитывается объем данных, извлеченных из исходной системы, за исключением всех специфических структур, связанных с дизайном Хранилища (индексов, кубов, звезд и таблиц суммирования).

Рынок СУБД для ХД продолжает развиваться, все больше отмечается ориентация на BI, при этом новые поставщики вступают в этот сектор, а зрелые производители предлагают инновационные решения. Проявляется острая конкуренция среди лидеров. IBM, Oracle и Teradata продолжают соперничать в области внедрения крупных Хранилищ, интенсивно проводя маркетинговые мероприятия и  разрабатывая новую функциональность. Хорошими возможностями обладает и СУБД компании Microsoft. Однако сегодня известные поставщики и сталкиваются с новой конкуренцией со стороны производителей устройств для ХД (DW appliances) (см. материал «Что такое устройства для Хранилищ данных»), таких как DATAllegro и Netezza.

Некоторые из новичков за последние полтора года завоевали небольшую или даже существенную долю рынка. В связи с этим преконфигурированные устройства вызывают большой интерес у лидеров. Компания IBM разработала свои собственные устройства. Oracle объединилась с партнерами-разработчиками оборудования для создания «апробированных конфигураций», с существенно более низкими затратами на внедрение. Даже Sun Microsystems вступает в конкурентную борьбу в  этой сфере, объявив в конце 2006 года выпуск дешевого ХД-устройства на основе СУБД параллельной обработки Greenplum. Станут ли «устройства» распространенной практикой на рынке — покажет будущее, однако они привлекают существенное внимание к «физике» Хранилищ данных и СУБД.

Размер СУБД становится менее важным. В прошлом считалось, что поставщик с самой крупной базой — лучший. Сегодня Хранилище объемом от 5 до 20 Тбайт считается обычным.

В результате ряда факторов, таких как — необходимость соответствия нормативным требованиям, возрастающее тактическое использование business intelligence — Хранилища данных и СУБД должны адаптироваться к сочетанию загрузки аналитических, операционных и транзакционных функций.

То есть сегодня ХД вынуждены обслуживать системы со смешанной нагрузкой (mixed workload), где выполняются слабо-структурированные, но сложные запросы, а также быстро выполняющиеся тактические запросы, конкурирующие за использование ресурсов процессора, памяти и дискового пространства.

Появление этих проблем связано со следующими типами нагрузки:

• непрерывная (почти в реальном времени) загрузка данных — похожа на загрузку при оперативной обработке транзакций (OLTP);
• большое количество стандартных отчетов, исчисляемых тысячами в день, требующих настройки SQL и  создания индексов;
• растущее число пользователей нерегламентируемых запросов, непредсказуемого использования данных;
• растущий объем аналитики и BI-ориентированной функциональности в OLTP-приложениях, формирующий новый уровень использования ХД.

Четыре типа нагрузки ставят перед поставщиками дополнительные задачи, не касающиеся размера ХД, проявляющиеся даже в базах данных размером меньше 1 Тбайта. В течение ближайших трех лет эффективность обработки смешанной нагрузки станет самой главной проблемой ХД. Критически важной становится задача балансировки физического перемещения данных в электронной и цифровой среде, наряду с хорошим проектирование базы данных.

В связи с нарастанием смешанной нагрузки, которая сопровождается непрерывной загрузкой данных и  ростом числа автоматизированных транзакций из функциональной аналитики в OLTP, транзакционные СУБД получают преимущество, которое осложняет известным поставщикам (таким как Teradata) сохранение лидерства.

Еще одно следствие растущей сложности и объема данных: разные организации по-разному оценивают ресурсы, необходимые для поддержки корпоративного ХД и сопутствующих витрин данных.

В результате усилий поставщиков в области автоматизации физической поддержки СУБД количество администраторов БД (DBAs) постоянно сокращается. Однако все ХД требуют методов оптимизации. В  некоторых случаях комбинирование логических дизайнов создает физический подход в базе данных, например автоматизированные таблицы суммирования и различные виды физических представлений. В других ситуациях оптимизация требует проектирования и внедрения физических таблиц, загружаемых из ETL-процессов микропакетами в течение дня или даже часа.

Так как объемы данных, извлекаемых из исходных систем, выходят за рамки 5–10 Тбайт, то использование отраслевых стандартов разработки ХД становится все более важным. Необходимость в привлечении дополнительных человеческих ресурсов и физических носителей (для настройки дизайна ХД) не должна рассматриваться как отрицательный фактор, но как этап процесса повышения ценности информации. Доступ к Хранилищу необходимо для множества приложений, и их оптимизацию можно рассматривать как один из видов расходов на Хранилище.

Критерии оценки продуктов

Критериев выбора СУБД для Хранилища данных множество. В частности, исследовательская компания Gartner предлагает два основных параметра:

• возможность полноценного функционирования и поддержки (ability to execute);
• полнота и завершенность (completeness of vision) (См. материал На что обратить внимание при выборе СУБД для Хранилища данных).

Рассмотрим эти критерии подробнее.

Возможность полноценного функционирования

Возможность полноценного функционирования в первую очередь определяется зрелостью продукта и  организации.

Оценивая СУБД по качеству функционирования, необходимо учесть следующие факторы:

• Сам продукт и услуги. К этой категории относятся технические атрибуты СУБД, в том числе масштабируемость, управляемость, переносимость, безопасность, доступность, поддержка смешанной загрузки. Эти параметры рассчитываются на различных размерах баз и загрузках.
• Общая эффективность. Корпоративные аспекты возможности выполнения, касающиеся персонала, финансовой стабильности, исследовательских работ, активности в области слияний и поглощений.
• Продажи и ценообразование. Цена и различные модели ценообразования для СУБД, возможность управления со стороны отдела продаж.
• Рыночная активность, достижения. Здесь рассматриваются отзывы клиентов, а также возможности поставщика адаптироваться к изменениям рынка, гибкость.
• Понимание рынка. Насколько поставщик разбирается на своем рынке и корректирует продукт в ответ на потребности пользователя, добавляя специфические функции. В этот критерий входит и завершенность продукта.
• Клиентский опыт. Поддержка клиента, профессиональные услуги, а  также отзывы пользователей и мера их удовлетворенности.
• Операции. Согласованность операций компании.

Полнота и завершенность продукта

Полнота и завершенность определяются:

• функциональностью, необходимой для поддержки процесса разработки ХД,
• стратегией продукта для удовлетворения рыночных требований,
• пониманием рыночных тенденций и умением влиять на них.

Этот критерий связан и с умением компании донести свое представление до существующих и  потенциальных клиентов. Возможности географического распространения продукта также получают все большую важность, так как технологии ХД и BI становятся одним из главных приоритетов для информационных служб в во всем мире.

Оценивая СУБД по полноте и  завершенности, необходимо учесть следующие факторы:

• Понимание рынка. Определяет компетенцию поставщика и его способность формировать свой рынок и проявлять лидерство.
• Маркетинговая стратегия. Умение поставщика выбирать соответствующие целевые рынки, а также организовывать партнерство для расширения маркетинговых возможностей продукта.
• Стратегия продаж. Разнообразие каналов продаж и поддерживаемое партнерство, поддерживаемое отделом продаж. Маркетинговые сообщения.
• Стратегия предложения продукта. Охватывает все области переносимости и пакетирования продуктов. Поставщики должны продемонстрировать стратегию, которая заставляет клиентов выбрать то, что им необходимо для построения законченного ХД-проекта.
• Бизнес-модель. Насколько модель целевого рынка поставщика сочетается с предложенным продуктом и его ценой, а также способность компании получать прибыль на основе этой модели.
• Отраслевая (вертикальная) ориентация стратегии. Не является важнейшим критерием, но влияет на понимание производителем своих заказчиков.
• Внедрение инноваций. Основной критерий для СУБД для ХД. Здесь речь идет о разработке новых технологии, вложения средств в  научные исследования, влияние на развитие рынка. К этому критерию также относится способность поставщика внедрить в СУБД новую функциональность, предназначенную специально для ХД.
• Географическая стратегия. Способность компании использовать свои ресурсы в различных географических регионах, открывать филиалы и организовывать партнерство.

Классификация поставщиков

Согласно методологии компании Gartner  поставщиков можно разделить на 4 категории: «Лидеры» (Leaders), «Компании, обладающие стратегическим видением» (Visionaries), «Претенденты» (Challengers) и «Компании, занимающие рыночные ниши» (Niche Players). Их деятельность оценивалась по ряду технических качеств и возможностей реализовывать клиентские требования.

Лидеры

К лидерам относятся те поставщики, которые обеспечивают поддержку ХД любых размеров (как больших, так и малых), а  также большое количество одновременно оперирующих пользователей и высокий уровень смешанной загрузки Хранилища. Эти производители первенствуют на рынке, постоянно обеспечивая удовлетворенность клиентов, хорошую поддержку и  профессиональные услуги, а также обладают надежным партнерством с поставщиками оборудования. Лидеры предлагают продукты, снижающие риск и обеспечивающие успешное внедрение ХД. Их средства уже давно и стабильно применяются для реализации Хранилищ на корпоративном уровне. Кроме того, сегодня все лидеры ответили на ценовые требования рынка, публикуют свои прайс-листы, предлагают больше скидок, а не только некоторые квоты на определенные сделки, как это было раньше.

В 2006 году среди лидеров названы: Teradata, IBM, Oracle. Компания Microsoft и ее продукт SQL Server 2005 близки к переходу эту категорию.

Претенденты

К категории «претенденты» отнесены те поставщики, которые добиваются хорошей реализации, но еще не достигли полного понимания требований клиентов.

В эту группу попадают производители с  широкой клиентской базой. Они обладают хорошим опытом на рынке СУБД для ХД, однако еще не проявили всех лидерских качеств. Как правило владеют качественной моделью функционирования. Простота внедрения, согласованность работы с конечными пользователями делают их успешными.

Претенденты демонстрируют целый диапазон возможностей внедрения Хранилищ разных масштабов со смешанной загрузкой, однако не всегда обеспечивают внедрение на корпоративном уровне, особенно в тех случаях, когда растет объем данных или количество пользователей. Маркетинговые мероприятия у них более слабые, чем у лидеров. Однако продукты этих поставщиков демонстрируют хороший потенциал.

В 2006 году в данную категорию попали компании Sybase и Microsoft.

Компании, обладающие стратегическим видением

Эти поставщики предлагают передовой подход к управлению аппаратными, программными и пользовательскими возможностями ХД. Однако они часто страдают недостатком глобального или даже регионального присутствия. Занимают меньшую долю рынка. В эту категорию часто попадают новички, обладающие оригинальной технологией, которая уже внедряется, но еще не получила полного признания на рынке. Однако это не просто первооткрыватели с хорошей идеей. У этих категории поставщиков все-таки есть свои клиенты, подтверждающие успешность новой функциональности и  архитектуры. Часто такие компании подталкивают лидеров к внедрению новых концепций и усовершенствований. В последнее время мелкие поставщики доказали, существует рынок для преконфигурированных систем, использующих недорогое оборудование и  базы данных.

В 2006 году к категории Visionaries отнесены компании: Netezza и DatAllegro.

Компании, занимающие рыночные ниши (Специализированные поставщики)

Работают на узком участке рынка. Часто предлагают оригинальную СУБД для ХД, предназначенную для специфической категории пользователей или отрасли. Решение само по себе может не иметь ощутимых рамок, однако его использование на рынке всегда ограничено. К этой категории относятся поставщики двух видов — небольшие производители, владеющие СУБД для ХД, но не имеющие широкой клиентской базой, либо поставщиков продукта с  недостаточной для лидера функциональностью. Такие программные средства как правило предназначены для потребностей конкретного клиента. В эту категорию попадают и новички, еще не получившие признания или не доказавшие качества своей функциональности. Чаще всего эта категория — стартовая площадка для дальнейшего развития.

В 2006 году к категории занимающих рыночные ниши отнесены компании: Kognito (Великобритания), MySQL (Швеция),Sand Techology (Канада), о которых два года назад еще не было слышно. Другие поставщики, относившиеся к специализированным 2 года назад (Netezza, DatAllegro), уже перешли в разряд «компаний, обладающих стратегическим видением».

Заключение

Современным компания требуются системы, способные обрабатывать смешанные нагрузки, а также выполнять различные комбинации функций. Следовательно, нужно выбирать программное и аппаратное обеспечение, соответствующим образом сконфигурированное и сбалансированное для этих целей. В зависимости от требований может быть выбрано как устройство, так и полноценная система.

Традиционные СУБД для ХД имеют развитые возможности конфигурирования, поэтому их можно настраивать под любые нужды компаний. Устройства, как правило, разрабатываются для конкретных целей и определенных загрузок, и их всегда надо применять по назначению. Например, устройство для стратегической аналитики или data mining сконфигурировано иначе, чем аналогичный продукт для операционных и тактических функций business intelligence. Можно попробовать расширить использование устройства, но вероятно оно не будет показывать такую хорошую производительность, как было задумано.

При выборе СУБД для ХД не стоит ориентироваться на рекламу, важнее опираться отзывы клиентов и доказательства концепций, которые гарантируют, что обещания поставщиков выполняются в реальной среде. И хотя данный рынок вполне зрелый, и крупные производители постоянно добиваются компромисса между масштабом проектов и внедрением инноваций, однако более мелкие компании иногда предлагают удачные узкоспециализированные решения.

Автор: По материалам зарубежных сайтов