Просмотров-2972
0

Статистический индекс производительности информационной системы

Закон распределения времени отклика информационной системы

При оценке качества информационных систем сначала определяют характеристики качества, среди которых могут быть: удобство эксплуатации, общая и исходная польза системы и т.п. Основным показателем, по которому осуществляется оценка качества информационных систем является их производительность.

Производительность информационных систем важный фактор удовлетворенности пользователей и важнейший показатель ее качества и эффективности использования на практике. Оценки производительности информационных систем выполняется, как правило, на этапе реализации(рабочего проектирования) системы.

Такая оценка качества информационных систем осуществляется с помощью специальных индексов производительности, показывающих степень удовлетворенности пользователей.

Основным показателем(метрикой), по которому осуществляется оценка производительности информационной системы является время отклика.

В настоящее время наиболее широкое применение для оценки производительности информационных систем применяется индекс производительности Apdex (Application Performance Index), созданный и широко используемый для оценки системы 1С. Для устранения некоторых недостатков индекса Apdex был создан его обобщенный вариант — операционный индекс производительности OPdex .

Но оба эти индексы производительности вычисляются не по полному, а ограниченному набору измеренных данных о времени отклика системы, без учета, так называемого «хвоста» измеренных данных. Поэтому оценка качества информационных систем с помощью указанных индексов является не достаточно достоверной.

Для устранения этого недостатка, наряду с представленными выше подходами для оценки производительности информационных систем используется статистический подход, основанный на обработке всех выполненных измерений времени отклика информационной системы. Далее показано, что производительность информационной системы с помощью статистического подхода оценивается более достоверно за счет того, что используется полный набор измерений времени отклика.

Кроме указанных выше недостатков вычисления индексов производительности APdex и OPdex, а также статистического подхода, следует считать то, что при анализа результатов измерений принимается показательный(экспоненциальный) закон распределения времени отклика информационной системы. Из этого следует, что вероятность появления времени отклика длительности близкой к нулевому значению равна единицы.

Однако в реальных информационных системах это не соответствует действительности. Более того в реальных информационных системах вероятность того, что время отклика равно нулю должна быть практически равна нулю или быть очень маленькой по своему значению.

Следовательно, для реальных информационных систем более правдоподобной гипотезой может быть гипотеза о том, что результаты измерения времени отклика в процессе тестирования ИС подчинены закону Гамма-распределения или закону Эрланга.

Закон распределения времени отклика ИС

Анализ графиков кривых плотности распределения Эрланга для различных ИС, представленных на рисунке, показывает, что уже по их виду можно судить о качественных характеристиках информационной системы. Информационная система, имеющая плотность распределения времени отклика с максимальным значением (модой), ближе расположенным к началу координат, а также более узким графиком считается более быстродействующей.

Производительность информационной системы характеризуется параметрами распределения времени отклика

Поэтому, располагая информацией о плотности распределения времени отклика информационной системы и ее числовыми характеристиками, можно судить о производительности информационной системы. Для этого осуществляется статистическая обработка измерений времени отклика информационной системы.

Формула расчета статистического индекса производительности информационной системы

Известно, что основными параметрами распределения Эрланга измерений времени отклика, характеризующими качество информационной системы, следует считать эксцесс (островершинность) и асимметрия (скошенность). Чем острее распределение и больше прижато влево, тем лучше производительность системы.

Из теории вероятностей известно, что коэффициент асимметрии характеризует «скошенность» распределения относительно симметричного нормального распределения и в основном зависит от крайних значений выборки. Поэтому с помощью этого коэффициента показатель производительности будет учитывать времена отклика, находящиеся далеко справа.

Коэффициент эксцесса характеризует островершинность распределения относительно нормального распределения. Чем уже кривая распределения, тем качественнее система, так как время отклика сосредоточено около моды распределения.

Формулы параметров распределения

Очевидно,  показатель производительности должен быть пропорционален коэффициенту асимметрии и обратно пропорционален коэффициенту эксцесса. Кроме того, для учета всех имеющихся результатов измерений времени отклика ИС в показателе производительности следует учитывать среднее значение времени отклика системы. 

Оценка статистического индекса

Это обусловлено тем,  что чем ближе среднее значение времени отклика  к среднему целевому времени отклика Тцс, тем выше должен быть показатель качества системы. В результате формула для вычисления статистического индекса производительности информационной системы примет вид, показанный на рисунке. Коэффициент Сs в формуле введен для настройки статистического индекса.

Методика статистической оценки производительности информационной системы

Производительность информационной системы с помощью статистического индекса оценивается по следующей методике. Прежде всего необходимо получить информацию о фактическом времени выполнения всех операций в системе. Измерения можно выполнить с помощью таких современных средств, как продукты семейства ProLAN SLA-ON и им подобные. Все измеренные метрики (времена отклика) в течение представительного периода времени необходимо статистически обработать.

Далее необходимо распределить измерения по заданному количеству интервалам и построить гистограмму. Гистограмма представляется как фигура, состоящая из прямоугольников, основаниями которых служат интервалы длиною Т, а высоты равны соответствующей частоты или количеству измерений.

Гистограмма времени отклика

Гистограмма позволяет подобрать вид теоретической функции плотности распределения для аппроксимации исходных данных о времени отклика. Для получения теоретической функции плотности распределения по гистограмме следует определить оценки основных параметров закона распределения, считая его Эрланговским.

Для получения теоретической функции плотности распределения по гистограмме следует определить оценки основных параметров закона распределения, считая его Эрланговским. Распределение характеризуется двумя параметрами k и l, поэтому следует выразить один параметр через оценку математического ожидания, а другой – через оценку дисперсии.

Для вычисления указанных коэффициентов по гистограмме вычисляются оценки математического ожидания и дисперсии, по которым вычисляются оценки коэффициентов асимметрии Ka и эксцесса Kэ, как показано ниже на рисунке.

Методика расчета статистического индекса производительности информационной системы

Качество оценок будет определяться косвенно путем проверки согласованности эмпирических данных и теоретического закона распределения в процессе имитационного моделирования.

Статистический индекс производительности информационной системы вычисляется по формуле, показанной выше, где вместо истинных значений параметров распределения используются их оценки.

Производительность информационной системы -формула STdex

Оценки параметров распределения вычисляются по сгруппированным статистическим данным. Поэтому для применения данной формулы необходимо располагать достаточным количеством статистических данных.

Результаты исследования статистического индекса производительности

Для проверки работоспособности разработанной методики оценки производительности информационной системы была создана имитационная модель и программное обеспечение, позволяющее имитировать процесс оценки производительности информационной системы с использованием статистического индекса. В эксперименте использовались 1000 значений времени отклика информационной системы.

По результатам  эксперимента построена гистограмма распределения времени отклика на тридцати интервалах с дискретностью одна секунда, представленная на рисунке выше. По статистическим характеристикам вычислен статистический индекс производительности, равный 0,91 и построена функция распределения времени отклика, показанная на рисунке.

Восстановленная функция распределения

Для этих же исходных данных вычислены различные значения индексов APdex и  OPdex, представленные на рисунке ниже.

Полученные результаты свидетельствуют о совпадении различных индексов для исходных данных без так называемого “длинного хвоста”.

Далее имитировались исходные данные с различными функциями распределения и выполнялись расчеты статистического индекса производительности.

Для сравнения статистического индекса STdex с индексами APdex и ОPdex проведено имитационное моделирование с расчетом трех индексов для различных значений целевого времени(мягкого порога).  Вычисленные значения различных показателей производительности для различных вариантов времени отклика ИС представлены на рисунке ниже.

Производительность информационной системы - оценка различными индексами

Анализ результатов, представленных в таблице, свидетельствует о совпадении в основном значений индексов производительности, вычисленных по различным формулам, что подтверждает правомерность использования формулы статистического индекса производительности STdex

Существенные отличия некоторых показателей свидетельствуют о не достаточно правильной формуле их расчета.

Таким образом, оценка качества информационных систем по статистическому индексу производительности является более достоверной.

Заключение

Чаще всего оценка качества информационных систем осуществляется через их производительность. Оценка качества информационных систем с помощью индексов производительности, показывающих степень удовлетворенности пользователей

Основным недостатком используемых индексов производительности информационных систем APdex и OPdex является то, что при их вычислениях принимается показательный (экспоненциальный) закон распределения времени отклика ИС и учитываются не все измерения.

Статистический индекс производительности STdex информационной системы вычисляется на основе всех полученных измерений времени отклика. Производительность информационной системы оценивается по статистическим параметрам функции распределения времени отклика, определенной опытным путем.

Смотрите также…

Внимание! Кто хочет своевременно узнавать о выходе новой статьи на сайте должен подписаться.

ПОДПИСКА НА РАССЫЛКУ

Статьи об онлайн курсах обучения

Дистанционное обучение
Обучение программированию
Проектирование информационных систем
 
Реклама. Информация о рекламодателе по ссылкам в статье.

brasm

Пенсионер с 33 - летним педагогическим стажем

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *