Уравнения Колмогорова. Предельные вероятности состояний

Рассмотрим математическое описание марковского случайного процесса с дискретными состояниями и непрерывным временем по данным примера 7.2. Соответствующий граф состояний процесса изображен на рис. 7.4. Будем полагать, что все переходы системы из состояния 5} в Sj происходят под воздействием простейших потоков событий с интенсивностями (г,у = 0, 1,2,3); так, переход системы из состояния 5₀ в будет происходить под воздействием потока отказов первого узла, а обратный переход из состояния в 5₀ — под воздействием потока «окончаний ремонтов» первого узла и т.п.

Граф состояний системы с проставленными у стрелок интенсивностями будем называть размеченным (см. рис. 7.4). Рассматриваемая система 5 имеет четыре возможных состояния: 5₀, 5₃.

Вероятностью г-го состояния называется вероятность р^С) того, что в момент С система будет находиться в состоянии 5,. Очевидно, что для любого момента С сумма вероятностей всех состояний равна единице:

Рассмотрим систему в момент С и, задав малый промежуток АС, найдем вероятность р^С + АС) того, что система в момент С + АС будет находиться в состоянии 5₀. Это достигается разными способами.

1. Система в момент С с вероятностью р₀(С) находилась в состоянии б’о, а за время АС не вышла из него.

Вывести систему из этого состояния (см. граф на рис. 7.4) можно суммарным простейшим потоком с интенсивностью (^₀₁ + ^₀₂), т.е. в соответствии с формулой (7.11), с вероятностью, приближенно равной (А,₀₁ + А,₀₂)Д?. А вероятность того, что система не выйдет из состояния 5₀, равна [1 - (А.₀₁ + А,₀₂) АС. Вероятность того, что система будет находиться в состоянии 5₀ и не выйдет из него за время Ас, равна по теореме умножения вероятностей:

2. Система в момент С с вероятностями Р(С) (или Р2(С)) находилась в состоянии 5! или 5₂ и за время АС перешла в состояние 5₀.

Потоком интенсивностью Х₁₀ (или Х₂₀) (см. рис. 7.4) система перейдет в состояние ^ с вероятностью, приближенно равной А,₁₀Д? (или ^20^0- Вероятность того, что система будет находиться в состоянии 5₀, но этому способу равна р_{(С)Х_]0АС (или р₂(С)Х₂₀АС).

Применяя теорему сложения вероятностей, получим: откуда

Переходя к пределу при А( —> 0 (приближенные равенства, связанные с применением формулы (7.11), перейдут в точные), получим в левой части уравнения производную р'_{)(() (обозначим ее для простоты р'_{)):

Получено дифференциальное уравнение первого порядка, т.е. уравнение, содержащее как саму неизвестную функцию, так и ее производную первого порядка.

Рассуждая аналогично для других состояний системы 5, можно получить систему дифференциальных уравнений Колмогорова для вероятностей состояний:

Сформулируем правило составления уравнений Колмогорова. В левой части каждого из них стоит производная вероятности г-го состояния. В правой части — сумма произведений вероятностей всех состояний (из которых идут стрелки в данное состояние) на интенсивности соответствующих потоков событий минус суммарная интенсивность всех потоков, выводящих систему из данного состояния, умноженная на вероятность данного (?-го состояния) — см. рис. 7.4.

В системе (7.13) независимых уравнений на единицу меньше общего числа уравнений. Поэтому для решения системы необходимо добавить уравнение (7.12).

Особенность решения дифференциальных уравнений вообще состоит в том, что требуется задавать так называемые начальные условия, в данном случае — вероятности состояний системы в начальный момент ? = 0. Так, например, систему уравнений (7.13) естественно решать при условии, что в начальный момент оба узла исправны и система находилась в состоянии 5₀, т.е. при начальных условиях р₀(0) = 1, р_х(0) = р₂(0) = Рз(0) ⁼ 0-

Уравнения Колмогорова дают возможность найти все вероятности состояний как функции времени. Особый интерес представляют вероятности системы р0) в предельном стационарном режиме, т.е. при / —> оо, которые называются предельными (финальными) вероятностями состояний.

7.6. Уравнения Колмогорова. Предельные вероятности состояний
231

В теории случайных процессов доказывается, что если число состояний системы конечно и из каждого из них можно (за конечное число шагов) перейти в любое другое состояние, то предельные вероятности существуют.

Предельная вероятность состояния 5, имеет четкий смысл: она показывает среднее относительное время пребывания системы в этом состоянии. Например, если предельная вероятность состояния 5₀, т.е. р₀= 0,5, то это означает, что в среднем половину времени система находится в состоянии 5₀.

Так как предельные вероятности постоянны, то, заменяя в уравнениях Колмогорова их производные нулевыми значениями, получим систему линейных алгебраических уравнений, описывающих стационарный режим. Для системы 5 с графом состояний, изображенном на рис. 7.4, такая система уравнений имеет вид

Систему (7.14) можно составить непосредственно по размеченному графу состояний, если руководствоваться правилом, согласно которому слева в уравнениях стоит предельная вероятность данного состояния р_г умноженная на суммарную интенсивность всех потоков, ведущих из данного состояния, а справа — сумма произведений интенсивностей всех потоков, входящих в 1-е состояние, на вероятности тех состояний, из которых эти потоки исходят.

0 Пример 7.4. Найти предельные вероятности для системы 5 из примера 7.2, граф состояний которой приведен на рис. 7.4, при Х₀₁ = 1, ^₀₂ = 2, ^10 ⁼ 2, А^з ⁼ 2, Х<2о ⁼ 3, Х*2з ⁼ 1» ^*31⁼ 3, Х.32⁼ 2.

Решение. Система алгебраических уравнений, описывающих стационарный режим для данной системы, имеет вид (7.14) или

(Здесь вместо одного «лишнего» уравнения системы (7.14) записали нормировочное условие (7.12).)

Решив систему (7.15), получим р₀ = 0,40, р_х = 0,20, р₂ = 0,27, р₃ = 0,13, т.е. в предельном стационарном режиме система 5 в среднем 40% времени будет находиться в состоянии 5₀ (оба узла исправны), 20% — в состоянии 5^ (первый узел ремонтируется, второй работает), 27% — в состоянии 5₂ (второй узел ремонтируется, первый работает) и 13% времени — в состоянии 5₃(оба узла ремонтируются). ?

Р> Пример 7.5. Найти средний чистый доход от эксплуатации в стационарном режиме системы 5 в условиях примеров 7.2 и 7.4, если известно, что в единицу времени исправная работа первого и второго узлов приносит доход соответственно в 10 и 6 ден. ед., а их ремонт требует затрат соответственно в 4 и 2 ден. ед. Оценить экономическую эффективность имеющейся возможности уменьшения вдвое среднего времени ремонта каждого из двух узлов, если при этом придется вдвое увеличить затраты на ремонт каждого узла (в единицу времени).

Решение. Из примера 7.4 следует, что в среднем первый узел исправно работает долю времени, равную р₀ + р₂ = 0,40 + 0,27 = 0,67, а второй узел — Ро + Р = 0,40 + 0,20 = 0,60. В то же время первый узел находится в ремонте в среднем долю времени, равную р₁ + р₂ = 0,20 + 0,13 = 0,33, а второй узел — Р2 ⁺ Рз ⁼ 0,27 + 0,13 = 0,40. Поэтому средний чистый доход в единицу времени от эксплуатации системы, т.е. разность между доходами и затратами, равен

Уменьшение вдвое среднего времени ремонта каждого из узлов в соответствии с формулой (7.10) будет означать увеличение вдвое интенсивностей потока «окончаний ремонтов» каждого узла, т.е. теперь А.₁₀ = 4, А.₂о = 6, А,₃₁ = 6, Х₃₂ = 4 и система линейных алгебраических уравнений (7.14), описывающая стационарный режим системы 5, вместе с нормировочным условием (7.12) примет вид¹

Решив систему, получим р₀ = 0,60, р_{ = 0,15, р₂ = 0,20, р₃ = 0,05.

Учитывая, что р₀ + р₂ = 0,60 + 0,20 = 0,80, Ро ⁺ Р = 0,60 + 0,15 = 0,75, Р ⁺ Рз ⁼ 0.15 + 0,05 = 0,20, р₂ + р_А = 0,20 + 0,05 = 0,25, а затраты на ремонт первого и второго узлов составляют теперь соответственно 8 и 4 деи. ед., вычислим средний чистый доход в единицу времени:

Так как больше ?> (примерно на 20%), то экономическая целесообразность ускорения ремонтов узлов очевидна. ?