6.6. Полумарковские процессы

Пусть

Определение 6.25. Последовательность случайных векторов ((?,„,7’_;);п = 0,1,2,...), где принимает значения в X, Т_п — в М+, называют

полумарковской последовательностью, если для любого п> 1 выполнено соотношение

Компонента носит название ведущей компоненты, компонента Т_п — сопровождающей компоненты полумарковской последовательности, Qy(0 называют переходной функцией.

Для проверки полумарковости вместо соотношения (6.15) удобно проверять следующие свойства условной зависимости:

Лемма 6.1. Последовательность ((n,T_n);n = 0,1,2,...) удовлетворяет соотношению (6.15) тогда и только тогда, когда она удовлетворяет соотношениям (6.16) и (6.17).

Будем считать, что с вероятностью 1 Г₀ = 0. Сконструируем СП {?,(?); t е R+} следующим образом:

Для того чтобы процесс был определен для всех t > 0, будем считать, что на любом конечном отрезке времени [0; ?] может произойти лишь конечное число скачков ^(?). Построенный таким образом процесс {^(?); t > 0} называют полумарковским процессом (ПМП), построенным по полумарков- ской последовательности (?„, Т_п). Реализация такого процесса может быть осуществлена следующим образом. Зададим начальное распределение (Р,(0) = Д{^о ^{= г})>^{г е} ^0- Пусть г₀ — значение, которое приняла СВ в соответствии с этим распределением. Далее разыгрываем значение вектора (?,, Т_х) в соответствии с распределением (),•,(?); пусть оно равно (г), р). Тогда реализация q(t) на [0; /:,) будет равна i₀. После этого разыгрываем значение вектора (%₂, Т₂) в соответствии с распределением QjXt), и пусть оно равно (i₂, t₂). Тогда реализация %(?) на [?,; ?, + ?₂) будет равна г, и т.д. Типичная реализация полумарковского процесса представлена на рис. 6.3.

Рас. 6.3. Пример реализации полумарковского процесса

Реализации ПМП являются непрерывными справа ступенчатыми функциями. По формуле умножения вероятностей если Р{с,„ = j / ?,„_| = *} = Рц * 0, то Qjj(t) = PjjFy(t), гдеFjj(t) = Р{Т_п = г}. F^t) можно интерпретировать как функцию распределения времени пребывания t,(t) в состоянии г, если известно, что следующим состоянием будет/ Если рассматривать ^(?) в случайные моменты 0, 7), Г, + Т₂, 7’, + Т₂ + Т₃, .... то $(0) - q(7’,) = q_t, q( 7) + Г₂) = Ъ,₂,.... Такой процесс называется вложенным в случайный процесс <;(?). В данном случае вложенный процесс является цепью Маркова с матрицей переходных вероятностей (Ру). Если P_i} = 0, то (/(?) = 0, и можно записать Qy(t) = РуРу(?), где в качестве //(?) можно взять любую функцию распределения. Таким образом, ПМП полностью характеризуется следующими величинами: