Сокращение времени выполнения запросов в Хранилищах данных

Что может быть реально сделано для того, чтобы улучшить производительность
Хранилищ данных: итоги опроса американских компаний.

Одна из наиболее актуальных современных проблем, связанных с использованием Хранилищ данных, - это проблема соотношения их производительности (т.е. скорости загрузки данных и выполнения расчетов), с одной стороны, и скорости получения отчетов - с другой. И то, и другое одинаково важно для оперативного принятия решений. Повышение производительности может быть достигнуто за счет использования нового, наиболее быстродействующего оборудования и современных средств программного обеспечения. Так, например, компания Intersoft Lab портировала свое Хранилище данных на аппаратную платформу Intel Itanium 2 под управлением операционной системы Microsoft SQL Server 2003 Enterprise Edition (64-bit). В результате, удалось добиться троекратного ускорения выполнение расчетов (расчета данных формы 101 обязательной отчетности Банка России) и уменьшения времени загрузки данных в 2.5 раза.

Что касается скорости выполнения запросов, то здесь, как показало недавнее исследование аналитической компании Ventana Research, очень важно взаимопонимание между IT-специалистами и бизнесом, поскольку один из ключевых моментов в данном вопросе - это оценка реальных выгод, которые могут быть получены от сокращения времени на получение отчетов. С какими проблемами при выполнении этой оценки сталкиваются американские компании и что может быть сделано для улучшения ситуации - в предлагаемом ниже отчете по материалам опроса 225 IT- и бизнес-профессионалов, который компания Ventana Research провела в конце 2004 г. Темой исследования было обеспечение и улучшение производительности Хранилищ и витрин данных.

Удовлетворенность производительностью исполнения незапланированных запросов

Большинство (55%) опрошенных сказали, что пользователи были полностью или частично не удовлетворены временем выполнения незапланированных запросов. Значительная часть (84%) участников исследования считают, что пользователи могут существенно выиграть от десятикратного сокращения времени выполнения запросов. В то же время 60% респондентов не смогли оценить такое сокращение в денежном эквиваленте. По оценкам 20% участников, денежный выигрыш от повышения производительности составит не более 20 тысяч долларов.

Вывод: хотя сокращение времени выполнения незапланированных запросов очевидно является актуальным и выгодным, IT-специалисты не имеют представления о финансовом выигрыше от такого улучшения.

Способы сокращения времени выполнения незапланированных запросов

В то же время 31% участников опроса заявили, что собираются покупать дополнительное оборудование в течение ближайших 12-18 месяцев для того, чтобы повысить производительность Хранилищ и витрин данных.

Вывод: IT-специалисты осознают, что производительность - это ключ к успеху, и готовы тратить деньги на ее улучшение. Но, как было показано выше, пока не установлено денежного измерения тех выгод, которые могут быть получены в результате.

Опрошенные организации выражали большее желание тратить деньги на оборудование (31%) или программное обеспечение (18%), чем на обучение по оптимизации производительности (17%) или прием на работу консультантов (12%) или администраторов баз данных (8%), обладающих соответствующими навыками.

Вывод: IT-специалисты склонны решать проблемы скорее с помощью изменения инфраструктуры, а не работы с персоналом.

Удовлетворенность возможностями многомерного анализа

Значительная часть (71%) опрошенных заявила, что их пользователи хотели бы иметь существенно больше измерений OLAP или фильтров запросов в реляционных базах данных. Но в финансовой оценке потенциальных выгод, которые могут быть получены в результате, участники исследования были не столь единодушны. Половина из них (52%) не смогли дать такую оценку. Треть (30%) участников опроса считают, что выгоды не превысят 100 тысяч долларов.

Вывод: хотя IT-специалисты осознают, что большее количество данных и, в частности, пространственных данных, несет финансовые выгоды, они не могут оценить эти выгоды количественно.

Проблемы с пакетной генерацией отчетов

Почти половина (45%) опрошенных заявили, что у них допустимые периоды для пакетной генерации отчетов будут превышены уже в ближайшие 12 месяцев. Периоды с интервалом 2-4 часа наиболее часто упоминались участниками исследования (40%). Тем не менее, как и в случае с временем выполнения незапланированных запросов, проблема решалась в основном путем покупки дополнительного оборудования (32%).

Вывод: превышение допустимых периодов пакетной генерации отчетов - это хроническая проблема, которая чаще всего решается за счет увеличения количества оборудования.

Проблема различных тактических подходов к повышению производительности исполнения запросов

Набор решений для повышения производительности исполнения запросов включал модернизацию серверов, различные процедуры оптимизации, ограничение доступа и создание витрин данных или кубов OLAP. Модернизация серверов чаще других называлась в качестве наиболее трудной процедуры.

Вывод: добавление нового оборудования к серверу хотя и является популярной мерой, но в то же время оказывается сложной и тяжелой задачей.

Затраты на персонал, занимающийся обеспечением производительности Хранилищ данных

Затраты на персонал, занятый поддержкой Хранилищ данных, сильно варьировались среди участников исследования. Четверть (25%) опрошенных компаний указали суммы от нуля до 250 тыс. долларов, 16% - от 250 до 500 тыс., 8% - от 500 тыс. до миллиона, а у 10% компаний эти затраты составляют от миллиона до двух миллионов долларов. При этом 34% компаний не смогли ответить на данный вопрос.

Вывод: диапазон затрат на персонал Хранилищ данных очень широк, но они составляют значительную долю расходов любой организации. Эти затраты должны включаться в стратегии модернизации производительности Хранилищ данных. Компромиссный выбор между расходами на дополнительную инфраструктуру и сотрудников должен быть сделан после оценки и тех, и других затрат.

Общая оценка ситуации

Одна из причин недопонимания между IT-персоналом и бизнесом - это неясность того, как можно оценить производительность выполнения запросов к Хранилищу данных. Незнание этой величины вынуждает IT- и бизнес-организации делать необоснованные оценки потребностей в увеличении производительности и размера этих затрат. Такой подход нельзя признать удовлетворительным, поскольку, несмотря на сколь угодно большие затраты IT-отделов, направленные на улучшение производительности, все равно могут возникать неудовлетворенные ожидания.

Частично сложность в получении оценки стоимости производительности объясняется недопониманием, что же такое собственно производительность. Ventana Research рекомендует организациям использовать инструменты мониторинга производительности для того, чтобы установить ее базовые уровни. Данные уровни затем могут быть связаны со степенью удовлетворенности пользователей. А это, в свою очередь, уже может служить основой планирования будущих уровней производительности.

Помимо этого, IT- и бизнес-профессионалы должны совместно работать над определением того, что может дать сокращение времени выполнения запросов. Стоимость времени выполнения запросов должна быть связана со скоростью выполнения аналитических задач пользователей, которая, в свою очередь, должна сопоставляться с альтернативными издержками. К этим издержкам можно отнести:

• предоставление аналитикам возможности для проведения большего количества аналитической работы при одновременном сокращении времени ожидания выполнения запросов;
• предоставление аналитикам возможности проводить исследования быстрее, что приведет к увеличению объема выполняемой работы и/или сокращению числа аналитиков;
• предоставление возможности быстрее получать необходимую информацию;
• предоставление аналитикам возможностей для проведения подробного анализа путем создания дополнительных запросов.

В заключение компания Ventana Research рекомендует организациям постараться получить ясное представление о том, что может дать увеличение производительности Хранилищ данных. Если невозможно оценить выгоды от улучшения производительности, то, вероятно, их и нет, даже если интуиция подсказывает обратное.

Автор: По материалам зарубежных сайтов