Что такое производительность информационной системы?
В процессе рабочего проектирования информационных систем и по его окончанию требуется оценивать качество спроектированной информационной системы. Основной характеристикой качества информационной системы является ее производительность. Что же это такое — производительность информационной системы?
Производительность это вид эффективности информационной системы, определяющий ее мощность через количество информационных услуг, обеспечиваемых системой в единицу времени.
Производительность информационной системы (ИС) это важнейший фактор удовлетворенности пользователей при ее использовании. Для того чтобы однозначно оценить производительность информационной системы с количественной точки зрения используются специальные метрики производительности.
Метрика — это система (совокупность единиц и отношений между ними) измерения того или иного аспекта производительности системы. Одна из основных метрик производительности — время отклика (response time). Эта величина определяется как интервал времени между инициализацией запроса и началом отображения результата запроса.
Время отклика складывается из времени работы центрального процессора на обслуживание запроса, времени ожидания в очереди на обслуживание процессором, времени ожидания ввода – вывода, времени обслуживание ввода – вывода, задержки блокировки и задержки передачи данных. Время отклика информационной системы наиболее полно отражает такой показатель качества, ка удовлетворенность пользователей.
В настоящее время создано много систем оценки, анализа и управления производительностью информационных систем и их программного обеспечения. Среди них особого внимания заслуживает программный комплекс Российской компании ProLAN. ProLAN SLA-ON — это комплекс программ, предназначенный для диагностики и управления «здоровьем» активного сетевого оборудования, серверов, каналов связи, сетевых сервисов, пользовательских приложений, сетей VoIP и т.д.
В настоящее время наиболее широкое применение для оценки производительности ИС применяется индекс производительности Apdex (Application Performance Index) и его обобщенный вариант — операционный индекс производительности OPdex .
Наиболее общая схема мониторинга производительности информационной системы с элементарной архитектурой представлена на рисунке
На компьютерах, где выполняются клиентские или бизнес-приложения, устанавливаются программные наблюдатели (зонды), передающие информацию о времени выполнения того или иного приложения, трафике сети и т.п. в систему мониторинга. В системе мониторинга выполняется сбор данных о времени выполнения приложений и обработка их по заранее выбранному методу.
Закон распределения времени отклика информационной системы
Наряду с указанными подходами для оценки производительности информационной системы используется статистический подход, основанный на обработке всех выполненных измерений времени отклика ИС. Далее показано, что производительность информационной системы с помощью статистического подхода оценивается более достоверно за счет того, что используется полный набор измерений времени отклика.
Основным недостатком вычисления индексов APdex и OPdex следует считать, что при анализа результатов измерений принимается показательный(экспоненциальный) закон распределения времени отклика ИС. Из этого следует, что вероятность появления времени отклика длительности близкой к нулевому значению равна единицы. Однако в реальных ИС это не соответствует действительности. Более того в реальных ИС вероятность того, что время отклика равно нулю должна быть практически равна нулю или быть очень маленькой по своему значению.
Следовательно, для реальных ИС более правдоподобной гипотезой может быть гипотеза о том, что результаты измерения времени отклика в процессе тестирования ИС подчинены закону Гамма-распределения или закону Эрланга.
Анализ графиков кривых плотности распределения Эрланга для различных ИС, представленных на рисунке, показывает, что уже по их виду можно судить о качественных характеристиках информационной системы. Информационная система, имеющая плотность распределения времени отклика с максимальным значением (модой), ближе расположенным к началу координат, а также более узким графиком считается более быстродействующей.
Поэтому, располагая информацией о плотности распределения времени отклика информационной системы и ее числовыми характеристиками, можно судить о производительности информационной системы. Для этого осуществляется статистическая обработка измерений времени отклика информационной системы.
Формула расчета статистического индекса производительности информационной системы
Известно, что основными параметрами распределения Эрланга измерений времени отклика, характеризующими качество информационной системы, следует считать эксцесс (островершинность) и асимметрия (скошенность). Чем острее распределение и больше прижато влево, тем лучше производительность системы.
Из теории вероятностей известно, что коэффициент асимметрии характеризует «скошенность» распределения относительно симметричного нормального распределения и в основном зависит от крайних значений выборки. Поэтому с помощью этого коэффициента показатель производительности будет учитывать времена отклика, находящиеся далеко справа.
Коэффициент эксцесса характеризует островершинность распределения относительно нормального распределения. Чем уже кривая распределения, тем качественнее система, так как время отклика сосредоточено около моды распределения.
Очевидно, показатель производительности должен быть пропорционален коэффициенту асимметрии и обратно пропорционален коэффициенту эксцесса. Кроме того, для учета всех имеющихся результатов измерений времени отклика ИС в показателе производительности следует учитывать среднее значение времени отклика системы.
Это обусловлено тем, что чем ближе среднее значение времени отклика к среднему целевому времени отклика Тцс, тем выше должен быть показатель качества системы. В результате формула для вычисления статистического индекса производительности информационной системы примет вид, показанный на рисунке. Коэффициент Сs в формуле введен для настройки статистического индекса.
Методика статистической оценки производительности информационной системы
Производительность информационной системы с помощью статистического индекса оценивается по следующей методике. Прежде всего необходимо получить информацию о фактическом времени выполнения всех операций в системе. Измерения можно выполнить с помощью таких современных средств, как продукты семейства ProLAN SLA-ON и им подобные. Все измеренные метрики (времена отклика) в течение представительного периода времени необходимо статистически обработать.
Далее необходимо распределить измерения по заданному количеству интервалам и построить гистограмму. Гистограмма представляется как фигура, состоящая из прямоугольников, основаниями которых служат интервалы длиною Т, а высоты равны соответствующей частоты или количеству измерений.
Гистограмма позволяет подобрать вид теоретической функции плотности распределения для аппроксимации исходных данных о времени отклика. Для получения теоретической функции плотности распределения по гистограмме следует определить оценки основных параметров закона распределения, считая его Эрланговским.
Для получения теоретической функции плотности распределения по гистограмме следует определить оценки основных параметров закона распределения, считая его Эрланговским. Распределение характеризуется двумя параметрами k и l, поэтому следует выразить один параметр через оценку математического ожидания, а другой – через оценку дисперсии.
Для вычисления указанных коэффициентов по гистограмме вычисляются оценки математического ожидания и дисперсии, по которым вычисляются оценки коэффициентов асимметрии Ka и эксцесса Kэ, как показано ниже на рисунке.
Качество оценок будет определяться косвенно путем проверки согласованности эмпирических данных и теоретического закона распределения в процессе имитационного моделирования.
Статистический индекс производительности информационной системы вычисляется по формуле, показанной выше, где вместо истинных значений параметров распределения используются их оценки.
Оценки параметров распределения вычисляются по сгруппированным статистическим данным. Поэтому для применения данной формулы необходимо располагать достаточным количеством статистических данных.
Результаты исследования статистического индекса производительности
Для проверки работоспособности разработанной методики была создана имитационная модель и программное обеспечение, позволяющее имитировать процесс оценки производительности информационной системы с использованием статистического индекса. В эксперименте использовались 1000 значений времени отклика ИС.
По результатам эксперимента построена гистограмма распределения времени отклика на тридцати интервалах с дискретностью одна секунда, представленная на рисунке выше. По статистическим характеристикам вычислен статистический индекс производительности, равный 0,91 и построена функция распределения времени отклика, показанная на рисунке.
Для этих же исходных данных вычислены различные значения индексов APdex и OPdex, представленные на рисунке ниже.
Полученные результаты свидетельствуют о совпадении различных индексов для исходных данных без так называемого “длинного хвоста”.
Далее имитировались исходные данные с различными функциями распределения и выполнялись расчеты статистического индекса производительности.
Для сравнения статистического индекса STdex с индексами APdex и ОPdex проведено имитационное моделирование с расчетом трех индексов для различных значений целевого времени(мягкого порога). Вычисленные значения различных показателей производительности для различных вариантов времени отклика ИС представлены на рисунке ниже.
Анализ результатов, представленных в таблице, свидетельствует о совпадении в основном индексов производительности, вычисленных по различным формулам, что подтверждает правомерность использования формулы статистического индекса STdex.
Существенные отличия некоторых показателей свидетельствуют о не достаточно правильной формуле их расчета.
Заключение
Производительность информационной системы оценивается по статистическим параметрам функции распределения времени отклика.
Основным недостатком используемых индексов производительности информационных систем APdex и OPdex является то, что при их вычислениях принимается показательный (экспоненциальный) закон распределения времени отклика ИС и учитываются не все измерения.
Статистический индекс производительности STdex информационной системы вычисляется на основе всех полученных измерений времени отклика.
Смотри также…
Методологии проектирования информационных систем
Методы проектирования информационных систем
