матрица перехода абсорбировать высокого порядка марковской цепи

Question

У меня есть поглощающий цепь Маркова, пусть у меня есть состояния
S = {START, S1, S2, end1, END2}
Состояние Старт всегда будет отправной точкой цепи, однако после выхода из этого состояния невозможно вернуться в это состояние.
Мне любопытно, как матрица перехода будет выглядеть для поглощающей цепи марковского высшего порядка.

Теперь представьте, я создал второго порядка Маркова матрицу перехода цепи, как follwing:

__________C1 C2 C3 START end1 END2
С1, С1
С1, С2
С1, START
С1, END1
C1, END2
.
.
.

Как это будет выглядеть, например, на C1, START? Это будет ноль для всех столбцов, но не строка, требуемая для суммирования до 1? Я просто удаляю это из матрицы?
А также, как это будет для C1, END1, эта строка также будет иметь нуль? Состояние END1 и END2 с другой стороны будет невозможно покинуть, когда вы находитесь в нем, то есть они поглощают.

Интересно, как матрица транзистора будет выглядеть как цепь второго порядка или k-го порядка. Я не могу найти хорошую литературу по этой проблеме, пожалуйста, внесите свой вклад в сольную хорошую литературу.

Answer 1

Строка (C1, START) должна быть удалена из матрицы. Это связано с тем, что состояние (C1, START) не существует на графике, описывающем цепочку. Причина, по которой она не существует, - это просто то, что государство недоступно и, следовательно, не должно считаться действительным состоянием.

В общем случае матрица перехода, представляющая цепочку Маркова k-го порядка, не должна содержать строки недопустимых k-кортежей (кортежи, представляющие последовательность состояний, соответствующих невозможному пути).

Что касается (C1, END1) подряд, это не все нулевой строки, потому что, когда вы на END1 ваше следующее состояние END1 с вероятностью 1. Следовательно, из (C1, END1) у вас есть ненулевая вероятность шагнуть в (END1, END1).

Answer 2

хорошо, если вы считаете, что цепь Маркова второго порядка, чем ваши начальные состояния должны быть как (C1, C1), (C1, C2), ..., и, таким образом, ваша матрица будет как

__________ (С1, С1) (С1, С2) (С1, С3) (С1, СНВ) ...

(С1, С1)

(С1, С2)

(С1, С3)

(C1, START)

(С1, END1)

(С1, END2)

...

с множеством нулей (например, проблема (C1, C2) - (C1, C1) равна нулю). В вашем случае это матрица 25 * 25.

Если вы утверждаете, что это второй заказ, вам необходимо иметь 2 последовательных состояния для оценки следующего.