Риски успешного Хранилища данных

Обсуждаются проблемы, связанные со снижением производительности Хранилища
данных, и даются рекомендации, как можно избежать этого.

Хранилища данных завоевывают все большую популярность и получают все более широкое распространение. Как и в любой области новых информационных технологий, внедрение и использование Хранилищ может сопровождаться не только положительными моментами, но и проблемами, подчас совершенно неожиданными. Предлагаем читателям небольшой обзор практического опыта использования Хранилищ данных от американского специалиста в этой области. Возможно, его информация поможет вовремя распознать назревающие проблемы и не повторять чужих ошибок.

Успешное Хранилище данных - "это палка о двух концах". Поскольку растущий спрос ведет к увеличению нагрузки на ограниченные ресурсы, успешное использование Хранилища данных требует постоянного контроля приоритетов. Если конкурирующие запросы различных пользователей не могут быть удовлетворены в рамках ограниченного бюджета, то это вызывает разочарование.

Такая проблема может быть вызвана просто текущей ситуацией, связанной с бюджетным циклом, но также может оказаться и индикатором более устойчивого неблагоприятного положения. Хранилище данных должно расти и развиваться вместе с бизнесом. Снижение эффективности вначале может быть очень незначительным и трудно распознаваемым. Для того, чтобы этого избежать, необходимо вовремя увидеть основные признаки такого процесса. Ниже приводятся некоторые из них.

Растущее количество невыполненных заявок на расширение возможностей программного обеспечения. Требования пользователей на предоставление дополнительных данных или запросов не могут быть удовлетворены из-за ограниченных возможностей.

Ограничения на использование Хранилища данных. Устанавливаются ограничения на такие параметры, как незапланированные запросы, совмещение операций, окна (периоды) доступа, время выполнения запросов, сложность запросов (отсутствие операций соединения), неприоритетное использование (исследование), дополнительные пользователи и т.д.

Невозможность установки новых приложений. Существуют нужные новые приложения, которые используют уже имеющиеся данные, но платформа не может справиться с дополнительной нагрузкой.

Исторические данные слишком быстро помещаются в архив. Пользователи хотят иметь доступ к более глубоким историческим слоям, но для этого недостает мощности.

Если для успешного нового Хранилища данных еще допустимы некоторые ограничения (поступление запросов опережает их выполнение), то для успешного зрелого Хранилища непозволительно иметь значительное и непрерывно растущее количество неудовлетворенных требований, поскольку его рентабельность уже установлена и планирование операций более предсказуемо. Если в зрелом Хранилище накапливаются невыполненные запросы, то нужно обязательно проанализировать ситуацию, чтобы выяснить причину этого.

Если обнаруживается хотя бы один из вышеназванных признаков, то, возможно, производительность Хранилища данных снижается. Причина часто кроется в недостатке масштабируемости в той или иной форме, что, в свою очередь, может быть связанно с так называемым разрывом производительности (capability gap) Хранилища данных (см. рис. 1). Он возникает, когда увеличение количества данных опережает возможности платформы Хранилища. В результате вначале возрастает стоимость использования Хранилища (даже небольшое увеличение производительности стоит все больше), а затем достигается и технологический барьер (т.е. превышаются физические возможности платформы). Обе эти ситуации приводят к тому, что полноценное функционирование Хранилища становится невозможным (ограничения использования, задержки выполнения запросов и т.д.) и, таким образом, снижается его производительность.

Рис.1. Разрыв производительности Хранилища данных

Примечание: ТВ - терабайты; закон Мура (Moore's Law) - закономерность, обнаруженная в 1965 г. американцем Гордоном Муром, согласно которой емкость микросхем удваивается примерно каждые два года.

Использование технологических новшеств - это важная часть общей стратегии, направленной на то, чтобы избежать проблемы снижения производительности Хранилища данных. Вот несколько рекомендаций, как это лучше сделать.

Использовать быстрые улучшения соотношения стоимость/технические характеристики. Сегодня, при быстро появляющихся все новых технологических улучшениях и приспособлении технологий к нуждам потребителей, становится гораздо легче обеспечить хорошее соотношение стоимость/технические характеристики. Проектирование среды Хранилища данных таким образом, чтобы его можно было легко адаптировать к улучшениям соотношения стоимость/технические характеристики, поможет получить лучшую отдачу в рамках имеющегося бюджета на развитие Хранилища.

Снизить количество операций по интеграции. Укрепление открытых стандартов и тенденция развития "предварительной интеграции" означают, что большее количество операций по интеграции может обеспечиваться поставщиками программных средств. Это позволит тратить меньше времени и сил на внедрение новых функциональных инструментов.

Обеспечить масштабируемость платформы Хранилища. Недостаток масштабируемости (совмещение операций, сложность, мощность) ограничивает производительность Хранилища данных. Выбирая технологию Хранилища, нужно быть уверенным, что она может обеспечить линейное увеличение (удвоение ресурсов платформы ведет к удвоению производительности) и расширение (удвоение ресурсов платформы и нагрузки обеспечивает ту же производительность).

Если удастся избежать искушения ограничить использование Хранилища данных, а вместо этого применить технологические новшества, обеспечивающие улучшение соотношения стоимость/технические характеристики, то производительность Хранилища можно довести до максимума, а его успешное использование будет гарантировано на долгое время.

Автор: По материалам зарубежных сайтов