Я считаю, что вы смешиваете 2 понятия: энтропию и уравнение Маркова. Энтропия измеряет «беспорядок» распределения по состояниям, используя предоставленное вами уравнение: H = -SUM (p (i) lg (p (i)), где p (i) - вероятность наблюдения каждого состояния i.
Свойство Маркова не означает, что каждое состояние имеет ту же вероятность. Примерно, система, как говорят, проявляет свойство Маркова, если вероятность наблюдения состояния зависит только от наблюдения нескольких предыдущих состояний - после определенного предела, дополнительные состояния, которые вы наблюдаете, не добавляют никакой информации для прогнозирования следующего состояния.
Прототипическая марковская модель известна как цепь Маркова. В ней говорится, что из каждого состояния i вы можете перейти в любое состояние с другой вероятностью, представленной как вероятность матрица:
0 0,2 0,5 0,3
1 0,8 0,1 0,1
2 0,3 0,3 0,
В этом примере, вероятность перехода от состояния 0 к 1, 0,5, и зависит только от того, в состоянии 0 (зная больше о предыдущих состояниях, эта вероятность не изменится).
До тех пор, пока все штаты могут быть посещены, начиная с любого состояния, независимо от исходного распределения, вероятность того, что в каждом государстве будет сходиться к стабильному, долгосрочному распределению, и по «длинной серии», наблюдаем каждое состояние со стабильной вероятностью, что не обязательно равно для каждого состояния.
В нашем примере мы получим вероятности p (0), p (1) и p (2), и вы могли бы вычислить энтропию этой цепочки, используя вашу формулу.
Рассматривали ли вы размещение в [Теоретической компьютерной науке SE] (http://cstheory.stackexchange.com/)? Вероятно, этот вопрос лучше подходит для этого вопроса! – Ashe
Или даже [ссылка] (http://dsp.stackexchange.com/)? – Totero
@Totero: Я не уверен, что это вопрос DSP ... – Ashe