Марковский процесс — что это такое?

Марковский процесс — это особый вид случайного процесса, у которого будущее состояние системы зависит только от ее текущего состояния, но не от того, как она к нему пришла.

Иными словами: если мы знаем настоящее, то прошлое для предсказания будущего уже не важно.

Формальное определение

Марковский процесс — это случайный процесс

$\{X_t\}$

, обладающий марковским свойством:

$$P(X_{t+1} \mid X_t, X_{t-1}, \dots, X_0) = P(X_{t+1} \mid X_t).$$

То есть условное распределение будущего зависит только от текущего состояния, а не от всей истории.

Примеры

1. Блуждание по городу:
   Представим, что человек идет по кварталам, и в каждом квартале он выбирает случайное направление. Его следующая позиция зависит только от того, где он сейчас находится, а не от того, по какой улице он пришёл.
2. Игры в кости:
   Результат следующего броска не зависит от предыдущих, только от текущего состояния («сейчас еще не брошено»).
3. Очередь в магазине:
   В каждый момент времени в очередь может прийти новый покупатель или кто-то уйти к кассе. Будущее состояние очереди зависит только от текущего числа людей в ней.

Где применяют

• в физике (случайное движение частиц, диффузия);
• в экономике (модели рынков, кредитный риск);
• в информатике (поисковые алгоритмы, скрытые марковские модели в распознавании речи);
• в биологии (генетика, популяционные модели).

Разница между марковскими цепями и марковскими процессами

Отличный вопрос! Давайте разберём разницу:

Марковский процесс

Это общее понятие — случайный процесс, обладающий марковским свойством (будущее зависит только от настоящего). Он может быть:

• дискретным по времени (состояния меняются пошагово, через равные интервалы),
• непрерывным по времени (состояния меняются в произвольные моменты).

Примеры: броуновское движение частицы, теория очередей, модели радиационного распада.

Марковская цепь

Это частный случай марковского процесса:

• время дискретное (шагаем 1, 2, 3, …),
• множество состояний дискретное (конечное или счётное).

Вся динамика описывается матрицей переходных вероятностей, где каждая строка показывает, с какой вероятностью система перейдет из одного состояния в другое за один шаг.

Пример:
шахматная лошадь на доске. Ее положение в следующий момент зависит только от текущей клетки и вероятностей возможных ходов.