Определение и классификация марковских случайных процессов. Марковские процессы: примеры

Под случайным процессом понимают изменение во времени состояний некоторой физической системы заранее неизвестным случайным образом. При этом под физической системой будем понимать любое техническое устройство, группу устройств, предприятие, отрасль, биологическую систему и т.д.

Случайный процесс протекающий в системе называется Марковским – если для любого момента времени ,вероятностные характеристики процесса в будущем (t > ) зависят только от его состояния в данный момент времени (в настоящем ) и не зависят от того, когда и как система пришла в это состояние в прошлом .(Например, счетчик Гейгера, регистрирующий число космических частиц).

Марковские процессы принято делить на 3 вида:

1. Марковская цепь – процесс, состояния которого дискретны (т.е. их можно перенумеровать), и время, по которому он рассматривается, также дискретно (т.е. процесс может менять свои состояния только в определенные моменты времени). Такой процесс идет (изменяется) по шагам (иначе - по тактам).

2. Дискретный марковский процесс – множество состояний дискретно (можно перечислить), а время непрерывно (переход из одного состояния в другое – в любой момент времени).

3. Непрерывный марковский процесс – множество состояний и время -непрерывные.

На практике Марковские процессы в чистом виде встречаются не часто. Однако нередко приходится иметь место с процессами, для которых влиянием предыстории можно пренебречь. Кроме того, если все параметры из «прошлого»,от которых зависит «будущее» включить в состоянии системы в «настоящем», то ее также можно рассматривать как Марковскую. Однако это часто приводит к значительному росту числа учитываемых переменных и невозможности получить решение задачи.

В исследование операций большое значение занимают так называемые Марковские случайные процессы с дискретными состояниями и непрерывным временем .

Процесс называется процессом с дискретными состояниями , если все его возможные состояния , ,... можно заранее перечислить (перенумеровать). Переход системы из состояния в состояние переходит практически мгновенно –скачком.

Процесс называется процессом с непрерывным временем , если моменты перехода из состояния в состояние могут принимать любые случайные значения на временной оси.

Например : Техническое устройство S состоит из двух узлов , каждый из которых в случайный момент времени может выйти из строя (отказать ). После этого мгновенно начинается ремонт узла (восстановление ),который продолжается случайное время.

Возможны следующие состояния системы:

Оба узла исправны;

Первый узел ремонтируется,второй исправен.

– второй узел ремонтируется,первый исправен

Оба узла ремонтируются.

Переход системы из состояния в состояние происходит в случайные моменты времени практически мгновенно. Состояния системы и связь между ними удобно отобразить с помощью графа состояний .

Состояния

Переходы

Переходы и отсутствуют т.к. отказы и восстановления элементов происходят независимо и случайно и вероятность одновременного выхода из строя (восстановления) двух элементов бесконечно мала и ею можно пренебречь.

Если все потоки событий, переводящие систему S из состояния в состояние –простейшие , то процесс, протекающий в такой системе будетМарковским . Это обуславливается тем, что простейший поток не обладает последействием, т.е. в нем «будущее» не зависит от «прошлого» и, кроме того, он обладает свойством ординарности – вероятность одновременного появления двух и более событий бесконечно мала, т.е невозможен переход из состояния в состояние, минуя несколько промежуточных состояний.

Для наглядности на графе состояний удобно у каждой стрелки перехода проставить интенсивность того потока событий, который переводит систему из состояния в состояние по данной стрелке ( -интенсивность потока событий, переводящего систему из состояния в . Такой граф называется размеченным.

Используя размеченный граф состояний системы можно построить математическую модель данного процесса.

Рассмотрим переходы системы из некоторого состояния в предыдущее или последующее . Фрагмент графа состояний в этом случае будет выглядеть следующим образом:

Пусть система в момент времени t находится в состоянии .

Обозначим (t)- вероятность i-ого состояния системы – вероятность того, что система в момент времени t находится в состоянии . Для любого момента времени t справедливо =1.

Определим вероятность того, что и в момент времени t+∆t система будет находиться в состоянии . Это может быть в следующих случаях:

1) и за время ∆ t из него не вышла. Это означает, что за время ∆t не возникло события, переводящего систему в состояние (поток с интенсивностью ) или события, переводящего её в состояние (поток с интенсивностью ). Определим вероятность этого при малых ∆t.

При экспоненциальном законе распределения времени между двумя соседними требованиями, соответствующему простейшему потоку событий вероятность того, что на интервале времени ∆t не возникнет ни одного требования в потоке с интенсивностью λ 1 будет равна

Разлагая функцию f(t) в ряд Тейлора (t>0) получим (для t=∆t)

f(∆t)=f(0)+ (0)* ∆t + *∆ + *∆ +…=

= +(-l) *∆t+ (∆ + *(∆ +…»1-l*∆t при ∆t®0

Аналогично для потока с интенсивностью λ 2 получим .

Вероятность, что на интервале времени ∆t (при ∆t®0) не возникнет ни одного требования будет равна

(∆t)/ = (∆t/ * (∆t/ = (1- *∆t)(1- *∆t) =

1 - - *∆t + 1 - ( + )*∆t + б.м.

Таким образом, вероятность того, что система за время ∆t не вышла из состояния , при малых ∆t будет равна

P( / )=1 – ( + )* ∆t

2) Система находилась в состоянии S i -1 и за время перешла в состояние S i . То есть в потоке с интенсивностью возникло хотя бы одно событие. Вероятность этого равна для простейшего потока с интенсивностью λ будет

Для нашего случая вероятность такого перехода будет равна

3)Система находилась в состоянии и за время ∆tперешла в состояние . Вероятность этого будет

Тогда вероятность, что система в момент времени (t+∆t) будет в состоянии S i равна

Вычтем из обеих частей P i (t), разделим на ∆tи, перейдя к пределу, при ∆t→0, получим

Подставив соответствующие значения интенсивностей переходов из состояний в состояния, получим систему дифференциальных уравнений, описывающих изменение вероятностей состояний системы как функций времени.

Данные уравнения называются уравнениями Колмогорова-Чепмена для дискретного марковского процесса.

Задав начальные условия (например, P 0 (t=0)=1,P i (t=0)=0 i≠0) и решив их, получим выражения для вероятностей состояния системы как функций времени. Аналитические решения достаточно просто получить, если число уравнений ≤ 2,3. Если их больше, то обычно решают уравнения численно- на ЭВМ (например методом Рунге-Кутта).

В теории случайных процессов доказано , что если число n состояний системы конечно и из каждого из них можно (за конечное число шагов) перейти в любое другое, то существует предел , к которому стремятся вероятности при t→ . Такие вероятности называются финальными вероятностями состояний, а установившийся режим - стационарным режимом функционирования системы.

Так как в стационарном режиме все , следовательно, все =0. Приравняв в системе уравнений левые части 0 и, дополнив их уравнением =1, получим систему линейных алгебраических уравнений, решив которую найдём значения финальных вероятностей.

Пример. Пусть в нашей системе интенсивности отказов и восстановления элементов следующие

Отказы 1эл:

2эл:

Ремонт 1эл:

2эл:

P 0 +P 1 +P 2 +P 3 =1

0=-(1+2)P 0 +2P 1 +3 P 2

0=-(2+2)P 1 +1P 0 +3P 3

0=-(1+3)P 2 +2P 0 +2P 3

0=-(2+3)P 3 +2P 1 +1P 2

Решив данную систему, получим

P 0 =6/15=0.4; P 1 =3/15=0.2; P 2 =4/15=0.27; P 3 =2/15≈0.13.

Т.е. в стационарном состоянии система в среднем

40% находится в состоянии S 0 (оба узла исправны),

20%- в состоянии S 1 (1-й эл-т ремонтируется, 2-й исправен),

27%- в состоянии S 2 (2-й эл-тремонтируется, 1исправен),

13%- в состоянии S 3 – оба эл-та в ремонте.

Знание финальных вероятностей позволяет оценить среднюю эффективность работы системы и загрузку службы ремонта.

Пусть система в состоянии S 0 приносит доход 8 усл.ед. в единицу времени; в состоянии S 1 -доход 3 усл.ед.; в состоянии S 2 - доход 5;в состоянии S 3 -доход=0

Стоимость ремонта в единицу времени для эл-та 1- 1(S 1, S 3) усл.ед., эл-та 2- (S 2, S 3) 2 усл.ед. Тогда в стационарном режиме:

Доход системы в единицу времени будет:

W дох =8P 0 +3P 1 +5P 2 +0P 3 =8·0.4+3·0.2+5·0.27+0·0.13=5.15 усл.ед.

Стоимость ремонта в ед. времени:

W рем =0P 0 +1P 1 +2P 2 +(1+2)P 3 =0·0.4+1·0.2+2·0.27+3·0.13=1.39 усл.ед.

Прибыль в единицу времени

W= W дох -W рем =5.15-1.39=3.76 усл.ед

Проведя определённые расходы можно изменить интенсивности λи μ и, соответственно, эффективность системы. Целесообразность таких расходов можно оценить, проведя пересчёт P i . и показателей эффективности системы.

Марковские случайные процессы названы по имени выдающегося русского математика А.А. Маркова (1856-1922), впервые начавшего изучение вероятностной связи случайных величин и создавшего теорию, которую можно назвать “динамикой вероятностей”. В дальнейшем основы этой теории явились исходной базой общей теории случайных процессов, а также таких важных прикладных наук, как теория диффузионных процессов, теория надежности, теория массового обслуживания и т.д. В настоящее время теория Марковских процессов и ее приложения широко применяются в самых различных областях таких наук, как механика, физика, химия и др.

Благодаря сравнительной простоте и наглядности математического аппарата, высокой достоверности и точности получаемых решений особое внимание Марковские процессы приобрели у специалистов, занимающихся исследованием операций и теорией принятия оптимальных решений.

Несмотря на указанную выше простоту и наглядность, практическое применение теории Марковских цепей требует знания некоторых терминов и основных положений, на которых следует остановиться перед изложением примеров.

Как указывалось, Марковские случайные процессы относятся к частным случаям случайных процессов (СП). В свою очередь, случайные процессы основаны на понятии случайной функции (СФ).

Случайной функцией называется функция, значение которой при любом значении аргумента является случайной величиной (СВ). По- иному, СФ можно назвать функцию, которая при каждом испытании принимает какой-либо заранее неизвестный вид.

Такими примерами СФ являются: колебания напряжения в электрической цепи, скорость движения автомобиля на участке дороги с ограничением скорости, шероховатость поверхности детали на определенном участке и т.д.

Как правило, считают, что если аргументом СФ является время, то такой процесс называют случайным. Существует и другое, более близкое к теории принятия решений, определение случайных процессов. При этом под случайным процессом понимают процесс случайного изменения состояний какой-либо физической или технической системы по времени или какому-либо другому аргументу.

Нетрудно заметить, что если обозначить состояние и изобразить зависимость, то такая зависимость и будет случайной функцией.

Случайные процессы классифицируются по видам состояний и аргументу t. При этом случайные процессы могут быть с дискретными или непрерывными состояниями или временем.

Кроме указанных выше примеров классификации случайных процессов существует еще одно важное свойство. Это свойство описывает вероятностную связь между состояниями случайных процессов. Так, например, если в случайном процессе вероятность перехода системы в каждое последующее состояние зависит только от предыдущего состояния, то такой процесс называется процессом без последействия.

Отметим, во-первых, что случайный процесс с дискретными состояниями и временем называется случайной последовательностью.

Если случайная последовательность обладает Марковским свойством, то она называется цепью Маркова.

С другой стороны, если в случайном процессе состояния дискретны, время непрерывно и свойство последействия сохраняется, то такой случайный процесс называется Марковским процессом с непрерывным временем.

Марковский случайный процесс называется однородным, если переходные вероятности остаются постоянными в ходе процесса.

Цепь Маркова считается заданной, если заданы два условия.

1. Имеется совокупность переходных вероятностей в виде матрицы:

2. Имеется вектор начальных вероятностей

описывающий начальное состояние системы.

Кроме матричной формы модель Марковской цепи может быть представлена в виде ориентированного взвешенного графа (рис. 1).

Рис. 1

Множество состояний системы Марковской цепи, определенным образом классифицируется с учетом дальнейшего поведения системы.

1. Невозвратное множество (рис. 2).

Рис.2.

В случае невозвратного множества возможны любые переходы внутри этого множества. Система может покинуть это множество, но не может вернуться в него.

2. Возвратное множество (рис. 3).

Рис. 3.

В этом случае также возможны любые переходы внутри множества. Система может войти в это множество, но не может покинуть его.

3. Эргодическое множество (рис. 4).

Рис. 4.

В случае эргодического множества возможны любые переходы внутри множества, но исключены переходы из множества и в него.

4. Поглощающее множество (рис. 5)

Рис. 5.

При попадании системы в это множество процесс заканчивается.

В некоторых случаях, несмотря на случайность процесса, имеется возможность до определенной степени управлять законами распределения или параметрами переходных вероятностей. Такие Марковские цепи называются управляемыми. Очевидно, что с помощью управляемых цепей Маркова (УЦМ) особенно эффективным становится процесс принятия решений, о чем будет сказано впоследствии.

Основным признаком дискретной Марковской цепи (ДМЦ) является детерминированность временных интервалов между отдельными шагами (этапами) процесса. Однако часто в реальных процессах это свойство не соблюдается и интервалы оказываются случайными с каким-либо законом распределения, хотя марковость процесса сохраняется. Такие случайные последовательности называются полумарковскими.

Кроме того, с учетом наличия и отсутствия тех или иных, упомянутых выше, множеств состояний Марковские цепи могут быть поглощающими, если имеется хотя бы одно поглощающее состояние, или эргодическими, если переходные вероятности образуют эргодическое множество. В свою очередь, эргодические цепи могут быть регулярными или циклическими. Циклические цепи отличаются от регулярных тем, что в процессе переходов через определенное количество шагов (циклов) происходит возврат в какое-либо состояние. Регулярные цепи этим свойством не обладают.

Эволюция которого после любого заданного значения временно́го параметра t {\displaystyle t} не зависит от эволюции, предшествовавшей t {\displaystyle t} , при условии, что значение процесса в этот момент фиксировано («будущее» процесса не зависит от «прошлого» при известном «настоящем»; другая трактовка (Вентцель): «будущее» процесса зависит от «прошлого» лишь через «настоящее»).

Энциклопедичный YouTube

1 / 3

✪ Лекция 15: Марковские случайные процессы

✪ Происхождение марковских цепей

✪ Обобщенная модель марковского процесса

Субтитры

История

Определяющее марковский процесс свойство принято называть марковским; впервые оно было сформулировано А. А. Марковым , который в работах 1907 г. положил начало изучению последовательностей зависимых испытаний и связанных с ними сумм случайных величин. Это направление исследований известно под названием теории цепей Маркова .

Основы общей теории марковских процессов с непрерывным временем были заложены Колмогоровым .

Марковское свойство

Общий случай

Пусть (Ω , F , P) {\displaystyle (\Omega ,{\mathcal {F}},\mathbb {P})} - вероятностное пространство с фильтрацией (F t , t ∈ T) {\displaystyle ({\mathcal {F}}_{t},\ t\in T)} по некоторому (частично упорядоченному) множеству T {\displaystyle T} ; и пусть (S , S) {\displaystyle (S,{\mathcal {S}})} - измеримое пространство . Случайный процесс X = (X t , t ∈ T) {\displaystyle X=(X_{t},\ t\in T)} , определённый на фильтрованном вероятностном пространстве, считается удовлетворяющим марковскому свойству , если для каждого A ∈ S {\displaystyle A\in {\mathcal {S}}} и s , t ∈ T: s < t {\displaystyle s,t\in T:s,

P (X t ∈ A | F s) = P (X t ∈ A | X s) . {\displaystyle \mathbb {P} (X_{t}\in A|{\mathcal {F}}_{s})=\mathbb {P} (X_{t}\in A|X_{s}).}

Марковский процесс - это случайный процесс, удовлетворяющий марковскому свойству с естественной фильтрацией .

Для марковских цепей с дискретным временем

В случае, если S {\displaystyle S} является дискретным множеством и T = N {\displaystyle T=\mathbb {N} } , определение может быть переформулировано:

P (X n = x n | X n − 1 = x n − 1 , X n − 2 = x n − 2 , … , X 0 = x 0) = P (X n = x n | X n − 1 = x n − 1) {\displaystyle \mathbb {P} (X_{n}=x_{n}|X_{n-1}=x_{n-1},X_{n-2}=x_{n-2},\dots ,X_{0}=x_{0})=\mathbb {P} (X_{n}=x_{n}|X_{n-1}=x_{n-1})} .

Пример марковского процесса

Рассмотрим простой пример марковского случайного процесса. По оси абсцисс случайным образом перемещается точка. В момент времени ноль точка находится в начале координат и остается там в течение одной секунды. Через секунду бросается монета - если выпал герб, то точка X перемещается на одну единицу длины вправо, если цифра - влево. Через секунду снова бросается монета и производится такое же случайное перемещение, и так далее. Процесс изменения положения точки («блуждания ») представляет собой случайный процесс с дискретным временем (t=0, 1, 2, …) и счетным множеством состояний. Такой случайный процесс называется марковским, так как следующее состояние точки зависит только от настоящего (текущего) состояния и не зависит от прошлых состояний (неважно, каким путём и за какое время точка попала в текущую координату).

Для математического описания многих операций, развивающихся в форме случайного процесса, может быть с успехом применен математический аппарат, разработанный в теории вероятностей для Марковских случайных процессов.

Функция X(t) называется случайной, если ее значение при любом аргументе t является случайной величиной.

Случайная функция X(t) , аргументом которой является время, называетсяслучайным процессом .

Марковские процессы являются частным видом случайных процессов. Особое место марковских процессов среди других классов случайных процессов обусловлено следующими обстоятельствами: для марковских процессов хорошо разработан математический аппарат, позволяющий решать многие практические задачи; с помощью марковских процессов можно описать (точно или приближенно) поведение достаточно сложных систем.

Определение. Случайный процесс, протекающий в какой-либо системе S , называется марковским (или процессом без последействия), если он обладает следующим свойством: для любою момента времени t 0 вероятность любого состояния системы в будущем (при t > t 0 ) зависит только от ее состояния в настоящем (при t = t 0 ) и не зависит от того, когда и каким образом система S пришла в это состояние. То есть в марковском случайном процессе будущее развитие процесса не зависит от его предыстории.

Классификация марковских процессов. Классификация марковских случайных процессов производится в зависимости от непрерывности или дискретности множества значений функции X(t) и параметра t . Различают следующие основные виды марковских случайных процессов:

· с дискретными состояниями и дискретным временем (цепь Маркова);

· с непрерывными состояниями и дискретным временем (марковские последовательности);

· с дискретными состояниями и непрерывным временем (непрерывная цепь Маркова);

· с непрерывным состоянием и непрерывным временем.

Здесь будут рассматриваться только марковские процессы с дискретными состояниями S 1 , S 2 ,…, S n . То есть эти состояния можно перенумеровать одно за другим, а сам процесс состоит в том, что система случайным образом скачком меняет свое состояние.

Граф состояний. Марковские процессы с дискретными состояниями удобно иллюстрировать с помощью так называемого графа состояний (рис. 1.1.), где квадратиками обозначены состояния S 1 , S 2 , ... системы S , а стрелками - возможные переходы из состояния в состояние. На графе отмечаются только непосредственные переходы, а не переходы через другие состояния. Возможные задержки в прежнем состоянии изображают «петлей», т. е. стрелкой, направленной из данного состояния в него же. Число состояний системы может быть как конечным, так и бесконечным (но счетным).

Рис. 3.1. Граф состояний системы S

Задача 1. Система S – автомобиль, которая может находиться в одном из пяти состояний.

S 1 – исправна, работает;

S 2 – неисправна, ожидает осмотра;

S 3 –осматривается;

S 4 – ремонтируется;

S 5 – списана.

Построить граф состояний системы.

Задача 2. Техническое устройство S состоит из 2-х узлов: 1 и 2, каждый из которых может в любой момент времени отказать. У каждого узла может быть только 2 состояния. 1 – исправен, 2 – неисправен. Построить граф состояний системы.

Задача 3. Построить граф состояний в условиях предыдущей задачи, предполагая, что ремонт узлов в ходе процесса не производится.

Задача 4. Техническое устройство S состоит из 2-х узлов: 1 и 2, каждый из которых может в любой момент времени отказать. Каждый узел, перед тем как начать восстанавливаться подвергается осмотру с целью локализации неисправности. Состояния системы нумеруются 2-мя индексами: S ij (i – состояния первого узла, j – состояния второго узла). У каждого узла три состояния (работает, осматривается, восстанавливается).

Рассмотрим возможные состояния марковских

процессов .

0 Достижимые состояния : состояние / приводит к состоянию j (обозначают /->/), если существует путь i 0 =i, i=j такой, что все переходные вероятности я,- д j > 0, к = 0,..., п-1 .

Рис. 12.13.

На рис. 12.13 показан путь из одного состояния в другое. Гово- рят, что состояние j достижимо из состояния /.

О Сообщающиеся состояния : состояния /" и j сообщающиеся (обозначают //), если i~>j и у-»/- Сообщающиеся состояния могут быть сгруппированы в класс эквивалентности. Внутри класса все состояния сообщающиеся. Два состояния из различных классов не сообщаются друг с другом. Такие классы называются неприводимыми. Марковская цепь с состояниями, образующими неприводимый класс, называется неприводимой.

Рис. 12.14.

Все состояния эргодической цепи Маркова сообщающиеся и образуют эргодическое множество состояний. Марковская цепь называется эргодической , если все состояния эргодические (рис. 12.14).

О Невозвратные состояния : состояние к называется невозвратным, если существует такое состояние j (к ф j) и такое число шагов п, что д.,(«)> 0,71., (т) = Одля всех т> п. Бывают случаи, когда цепь

состоит из нескольких эргодических множеств, не сообщающихся друг с другом (многокомпонентный граф). Попав в одно эрго- дическое множество, процесс никогда не сможет его покинуть. Это множество по отношению к первоначальному является невозвратным, а входящие в него состояния называются невозвратными.

О Поглощающее состояние : состояние / называется поглощающим тогда и только тогда, когда я и (п) = 1 для любого п. Множество состояний называется замкнутым, если ни одно из них не приводит к состоянию, не входящему в это множество. Если эргодическое множество состоит из одного состояния, то это состояние поглощающее, так что, попав в него, уже нельзя из него выйти. Если среди всех состояний цепи Маркова имеется хотя бы одно поглощающее, то такая цепь называется поглощающей.

Каждое состояние может быть проходящим или повторяющимся рекуррентно.

О Проходящее состояние : состояние /" будет проходящим, если существует ненулевая вероятность того, что система никогда не возвратится в него. Подмножество состояний называется транзитивным (проходящим), если можно войти в это подмножество и выйти из него. Транзитивные состояния могут быть посещены лишь конечное число раз.

О Рекуррентное состояние : состояние будет рекуррентным, если вероятность возвращения равна 1. Рекуррентные состояния могут быть классифицированы в зависимости от времени первого возвращения в это состояние: если это время меньше бесконечности, то состояния называются положительно рекуррентные ; если время равно бесконечности, то нуль рекуррентные. Рекуррентные состояния могут быть периодическими и непериодическими. Непериодические положительно рекуррентные состояния называются эргоди- ческими.

В зависимости от типа состояний цепи Маркова матрицу переходных вероятностей можно представить в том или ином виде путем перестановки строк и столбцов. Если матрицу переходных вероятностей можно представить в виде блоков

то процесс, выходящий из некоторого состояния, принадлежащего множеству состояний S, никогда не сможет оказаться за любое число шагов в состоянии, принадлежащем множеству Q, и наоборот . Матрица П при этом называется разложимой, а два рассмотренных множества состояний замкнутыми. Данное утверждение очевидно, так как

то для всех четных степеней матрица будет блочно-диагональной, а для нечетных - иметь первоначальный вид. Например:

Процесс будет по очереди переходить от состояний, принадлежащих Т, к состояниям, принадлежащим R, и обратно. Такой процесс будет периодическим.

Если матрица переходных вероятностей имеет вид

то вероятность того, что процесс будет находиться в одном из состояний, принадлежащих Q, не возрастет с увеличением числа шагов. Переход из какого-либо состояния, принадлежащего Q, в одно из состояний, принадлежащих S, возможен, если R ф 0, но обратный переход произойти не может. Следовательно, состояния, соответствующие Q, невозвратные, a S - поглощающие.

Матрицу переходных вероятностей поглощающей цепи записывают в следующей канонической форме :

Подматрица 0 состоит из одних нулей, подматрица I - единичная матрица поглощающих состояний, подматрица Q описывает поведение процесса до выхода из множества невозвратных состояний, подматрица R отвечает переходам из невозвратных состояний в поглощающие.