Матрица вероятностей перехода однородной цепи маркова может иметь вид. Однородные цепи маркова. Список использованной литературы

Изумруд

ИЗУМРУ́Д -а; м. Драгоценный прозрачный камень густого ярко-зелёного цвета. Кольцо с изумрудом.

◁ Изумру́дец, -дца; м. Изумру́дик, -а; м. Уменьш.-ласк.

изумру́д

минерал, прозрачная разновидность берилла, окрашенная примесью Cr 3+ (до 2%) в густой зелёный цвет. Драгоценный камень 1-го класса; бездефектные кристаллы массой свыше 5 карат ценятся выше равновеликих алмазов. Синтетические изумруды используются в квантовой электронике.

ИЗУМРУД

ИЗУМРУ́Д, минерал, прозрачная разновидность берилла (см. БЕРИЛЛ) , окрашенная примесью Cr 3+ (до 2%) в густой зеленый цвет. Драгоценный камень 1-го класса; бездефектные кристаллы массой св. 5 кар ценятся выше равновеликих алмазов. Синтетические изумруды используются в квантовой электронике. Самый крупный и знаменитый изумруд в мире - «Девонширский изумруд (см. ДЕВОНШИРСКИЙ ИЗУМРУД) ».
Название
Слово изумруд восходит к санскритскому мараката, или маракат, встречающемуся в древнеиндийском эпосе «Махабхарата (см. МАХАБХАРАТА) », или же к персидско-арабскому зумурруд, к которому русское название ближе по звучанию. Европейские названия: греческое смарагдос, латинское смарагдус, немецкое смарагд, французское эмерод, испанское эсмеральд.
Состав
Силикат бериллия и алюминия Be 3 Al 2 (Si 6 O 18). Наличие Cr 2 O 3 (от 0,15% в бледных до 0,6% в густоокрашенных разновидностях) обусловливает его характерную окраску.
Кристаллическая структура
Сингония гексагональная (см. ГЕКСАГОНАЛЬНАЯ СИНГОНИЯ) . Структура образована колоннами, составленными из колец, в каждом из которых связаны шесть кремнекислородных тетраэдров . Кольца скреплены между собой октаэдрами, в центрах которых помещаются ионы Al, и искаженными тетраэдрами с Be в центрах. Хром и ванадий замещают в октаэдрических позициях алюминий.
Физические свойства
Цвет изумрудов зеленый - от бледного до наиболее ценимого сочного и яркого травяно-зеленого, интенсивно-зеленого с легким голубоватым или желтоватым оттенком, вплоть до темно-зеленого. Распределение окраски неравномерное: обычно свободный конец кристалла окрашен ярче, чем его основание. Встречаются и зональные кристаллы с продольным изменением интенсивности окраски (часто с более ярким ядром) и с поперечным чередованием светло- и темно-зеленых зон. У яркоокрашенных изумрудов даже на глаз заметен дихроизм (см. ДИХРОИЗМ) : изменение окраски от желтовато- до голубовато-зеленой при повороте кристалла. Прозрачны только изумруды наивысшего качества. Чаще они замутнены включениями пузырьков жидкости и газа, залеченными трещинками, а также точечными включениями других минералов, захваченных изумрудами при их росте. По минеральному составу включений определяют, из какого именно месторождения происходит тот или иной кристалл изумруда. Мелкие включения не считаются существенными дефектами, они помогают отличить природные камни от искусственных.
Густоокрашенные прозрачные изумруды -одни из самых дорогостоящих ювелирных камней. Крупные изумруды массой более 5-6 кар стоят дороже алмазов той же величины.
Светопреломление: 1,576-1,582. Люминесценция (см. ЛЮМИНЕСЦЕНЦИЯ) : красное или зеленое свечение в ультрафиолетовых лучах, наблюдающееся, однако, не у всех изумрудов.
Прочие физические свойства изумрудов такие же, как у других бериллов: черта белая, блеск стеклянный, плотность 2,6-2,78 г/см 3 (у колумбийских и уральских изумрудов - 2,68-2,74, у африканских - до 2,78). Твердость -7,5-8 (изумруд несколько мягче остальных бериллов), весьма хрупок, легко раскалывается и трескается. Излом неровный до раковистого. Спайность несовершенная или отсутствует, но имеется четко выраженная поперечная отдельность.
Форма выделений в природе
Изумруд в природе часто встречается в виде отдельных кристаллов либо их сростков. Кристаллы обычно шестигранные, призматические, ограниченные с обоих концов плоской гранью. У большинства природных кристаллов имеется лишь верхняя грань, основанием же они прикреплены к материнской породе. Длина кристаллов в 2-2,5 раза (реже в 4-5 раз) превышает поперечник. Чаще встречаются изумрудно-зеленые бериллы неправильной, слегка вытянутой формы, овальные в сечении, некондиционные для ювелирного дела из-за трещиноватости, обилия включений и других дефектов. На Урале их принято называть «изумрудной зеленью» или просто «зеленью». Однако образцы с подобными кристаллами весьма ценятся как коллекционный материал. Особенно красивы параллельные или радиально-лучистые сростки, ярко выделяющиеся на фоне мелкочешуйчатой серебристо-серой слюдки. Иногда на подобных образцах присутствуют также блестящие черные «иглы» турмалина (см. ТУРМАЛИН) .
Уникальные изумруды
Размер ювелирных кристаллов изумруда обычно не превышает долей сантиметра, реже достигает одного сантиметра. Их масса измеряется каратами (см. КАРАТ) , но иногда встречаются уникально крупные камни высокого качества, которым принято присваивать собственные имена. Самый крупный кристалл изумруда имеет массу 24000 кар и назван по месту его находки - руднику Соммерсет (ЮАР). К крупнейшим в мире относятся также: «Кочубеевский изумруд» - 11000 кар (Урал), «Гачала» - 7025 кар (Колумбия), изумруд из месторождения Караиба (Бразилия) -6300 кар, «Славный уральский» - 3362,5 кар (Урал). В Северной Америке найдены изумруды: «Гордость Америки» - сросток кристаллов массой 1470 кар, «Изумруд Стефансона» - 1438 кар, «Украденный изумруд» и «Гидденит-изумруд» - оба по 1270 кар. В Англии находится знаменитый «Девонширский изумруд (см. ДЕВОНШИРСКИЙ ИЗУМРУД) ». Колумбийский изумруд, хранящийся в Вене, представляет собой небольшой сосуд (вероятно, для благовоний); он имеет форму слегка вытянутого куба высотой около 10 см и массой 2680 кар. Достойна упоминания коллекция из пяти безымянных колумбийских кристаллов, принадлежащая банку Боготы. Самый крупный из них, массой 1795,85 кар, интересен своей формой. Он огранен двумя сочетающимися шестигранными призмами, так что более широкая грань через одну чередуется с более узкой. Кристалл найден на руднике Музо. Близкую форму имеет великолепный по качеству кристалл «Патриций» (высота 8 см, диаметр около 5 см, масса 630 кар), также найденный в Колумбии. В 1990 году в Свердловской области был добыт уникальный изумруд «Президент» весом более килограмма.
В России известен крупный, почти квадратный, колумбийский изумруд, массой 136,25 кар - один из семи «исторических камней» Алмазного фонда (см. АЛМАЗНЫЙ ФОНД Российской Федерации) . Он вправлен в брошь и обрамлен крупными бриллиантами. Среди сокровищ Оружейной палаты (см. ОРУЖЕЙНАЯ ПАЛАТА) выделяется оклад иконы Владимирской Божьей Матери с тремя крупными изумрудами, заказанными патриархом Никоном (см. НИКОН (патриарх)) для Успенского собора Московского Кремля. Изумруды украшают «Большой наряд», изготовленный в 1627-28 для царя Михаила Романова - венец, скипетр и державу. Прекрасные изумруды можно видеть также в Восточной и Золотой кладовых Эрмитажа (см. ЭРМИТАЖ) .
Самые большие коллекции изумрудов находятся, однако, не в России, Колумбии или США, а в Тегеране и Стамбуле, так как зеленый цвет в странах мусульманского Востока почитается священным.
Происхождение, месторождения
Большинство месторождений изумрудов образуется при взаимодействии гранитной магмы (см. МАГМА) (богатой кремнекислотой, алюминием и содержащей бериллий) с вмещающими ультраосновными (см. УЛЬТРАОСНОВНЫЕ ГОРНЫЕ ПОРОДЫ) породами - источниками хрома. Это прежде всего зоны грейзенизации (см. ГРЕЙЗЕНИЗАЦИЯ) , возникающие при переработке твердых пород восходящими парами, газами и горячими растворами, проникающими по трещинам и порам и разрушающими старые минералы, способствуя кристаллизации новых - слюды (флогопита (см. ФЛОГОПИТ) ), апатита (см. АПАТИТ) , черного турмалина (шерла), флюорита (см. ФЛЮОРИТ) и, главное, - изумруда. Подобный генезис имеют изумрудные копи Урала, исторические «копи Клеопатры», а также месторождения Африки - в Зимбабве, ЮАР, Танзании, Замбии и многие другие. В более редких случаях изумруды приурочены к полостям в пегматитах, залегающих среди ультраосновных пород (месторождения в Норвегии и в США, штат Сев. Каролина).
Однако лучшие по качеству изумруды встречаются в гидротермальных (см. ГИДРОТЕРМАЛЬНЫЕ МЕСТОРОЖДЕНИЯ) жилах, пересекающих углисто-карбонатные сланцы (см. СЛАНЦЫ (горные породы)) . Наиболее значительные из подобных месторождений находятся в Колумбии, поставляющей на рынок в среднем около 80% добываемых в мире изумрудов. Это рудник Мусо, или Музо, в 100 км к северо-западу от Боготы (изумруды добывали здесь еще инки (см. ИНКИ) , но затем он был утерян и открыт вновь испанцами лишь в 17 в.). Другое крупное, также известное еще инкам, месторождение Чивор, севернее Боготы, расположено в горах на высоте 2360 м. Сравнительно недавно - в 1953 - было открыто месторождение Гачала по соседству с Чивором. Из прочих месторождений Колумбии наиболее значимы Коскуэс и Пеньяс Бланкас.
Ежегодный объем мировой добычи изумрудов не превышает сотен кг. Среди стран - поставщиков изумрудов на мировой рынок помимо Колумбии (от 55 до 90%) существенную роль играет Бразилия (до 25%), страны Африки (около 10%), и с 80-х гг. - Австралия. В России изумруды ювелирного качества еще с 19 в. добываются на Урале.
Синтез, имитации, формы огранки
Изумруд успешно синтезируется как за рубежом, так и в России. Первый искусственный изумруд ювелирного качества был получен во Франции в 1888. В 1911-40 синтетические изумруды поставляла на рынок немецкая фирма «И. Г. Фарбениндустри (см. И. Г. ФАРБЕНИНДУСТРИ) », с 1930 - фирма «Чэтэм» (США), позднее - другие фирмы США и Австрии.
В России ювелирный искусственный изумруд был синтезирован в начале 1980-х гг. в Новосибирске и затем в Александрове. В 1995 в Санкт-Петербурге в Михайловском манеже экспонировался гигантский изумруд диаметром 53 см, выращенный специалистами Всероссийского института синтеза минерального сырья (г. Александров).
Для изготовления имитации изумруда употребляют различные более дешевые природные самоцветы: турмалин, корунд (см. КОРУНД) , флюорит, жадеит (см. ЖАДЕИТ) , диоптаз, хромдиопсид, хризолит (см. ХРИЗОЛИТ) , отличимые от изумруда при точном анализе физических и оптических свойств.
Изумруды, природные и искусственные, гранят обычно таблицей (ступенчатая огранка (см. ОГРАНКА) ). Специфическая «изумрудная огранка» предусматривает особые маленькие грани на углах таблицы, предохраняющие хрупкий камень от скалывания. Камни невысокого качества гранят кабошоном.
Исторические сведения
До 17 в. изумруды поступали из Индии и из легендарных египетских «копей Клеопатры», расположенных в 50-60 км от побережья Красного моря. С открытием богатых месторождений изумрудов в Колумбии «копи Клеопатры» были заброшены. Первоначально из Колумбии в Европу вывозилось огромное количество изумрудов, изъятых испанцами из сокровищниц индейцев. Так, известно сообщение Кортеса (см. КОРТЕС Эрнандо) о громадном изумруде величиной со страусовое яйцо, хранившемся в Тенотчитлане (см. ТЕНОЧТИТЛАН) во Дворце правосудия (считалось, что камень способствует выяснению виновности подсудимых). Однако далеко не все испанские галионы с награбленными сокровищами достигали Европы. В наши дни поиски затонувших кораблей приносят редкостную удачу. Так, в 1987 с испанского галиона «Нуэстра сеньора де Маравильяс» был поднят изумруд массой 100 кар, который был помещен в Музей затонувших сокровищ на Каймановых островах.
В России месторождение изумрудов (изумрудные копи) было открыто в 1830 на Урале крестьянином-смолокуром Максимом Кожевниковым, нашедшим несколько зеленых камней в корнях вывороченного пня. Обергиттенфервальтер (командир) Екатеринбургской гранильной фабрики Яков Коковин определил в находке изумруд и начал разработку месторождения. В 1834 был извлечен уникальный по красоте и размеру прозрачный кристалл изумруда, получивший позже название «Изумруд Коковина». Камень долго находился в конторе Коковина, затем был доставлен в Петербург, но дальнейшие его следы теряются. Яков Коковин по обвинению в хищении (справедливому или облыжному, не выяснено и по сей день) был отстранен от дел, заключен в тюрьму, где вскоре умер. Позже название «Изумруд Коковина» было ошибочно присвоено другому камню - более крупному, но менее совершенному - темно-зеленому малопрозрачному кристаллу изумруда из коллекции князя В. П. Кочубея.

Энциклопедический словарь . 2009 .

Синонимы :

Смотреть что такое "изумруд" в других словарях:

Драгоценный зеленый камень, встречающейся во многих местах, между проч. и у нас на Урале; иначе смарагд. Полный словарь иностранных слов, вошедших в употребление в русском языке. Попов М., 1907. ИЗУМРУД пер. zoumouroud, или zoumroud. Драгоценный… … Словарь иностранных слов русского языка

Изумруд - Изумруд символизирует гармоничные отношения. Изделия из изумруда или чистый изумруд снятся к примирению, к возобновлению отношений. Если вам приснился изумруд, то скоро вы получите наследство, из за которого у вас возникнет конфликт с… … Большой универсальный сонник

Способы математических описаний марковских случайных процессов в системе с дискретными состояниями (ДС) зависят от того, в какие моменты времени (заранее известные или случайные) могут происходить переходы системы из состояния в состояние.
Если переход системы из состояния в состояние возможен в заранее фиксированные моменты времени, имеем дело со случайным марковским процессом с дискретным временем. Если переход возможен в любой случайный момент времени, то имеем дело со случайным марковским процессом с непрерывным временем.
Пусть имеется физическая система S , которая может находиться в n состояниях S 1 , S 2 , …, S n . Переходы из состояния в состояние возможны только в моменты времени t 1 , t 2 , …, t k , назовём эти моменты времени шагами. Будем рассматривать СП в системе S как функцию целочисленного аргумента 1, 2, …, k , где аргументом является номер шага.
Пример: S 1 → S 2 → S 3 → S 2 .
Условимся обозначать S i ( k ) – событие, состоящее в том, что после k шагов система находится в состоянии S i .
При любом k события S 1 ( k ) , S 2 ( k ) ,…, S n ( k ) образуют полную группу событий и являются несовместными.

Процесс в системе можно представить как цепочку событий.
Пример:S 1 (0) , S 2 (1) , S 3 (2) , S 5 (3) ,….
Такая последовательность называется марковской цепью , если для каждого шага вероятность перехода из любого состояния S i в любое состояние S j не зависит от того, когда и как система пришла в состояние S i .
Пусть в любой момент времени после любого k -го шага система S может находиться в одном из состояний S 1 , S 2 , …, S n , т. е. может произойти одно событие из полной группы событий: S 1 ( k ) , S 2 ( k ) , …, S n ( k ) . Обозначим вероятности этих событий:
P 1 (1) = P (S 1 (1)); P 2 (1) = P (S 2 (1)); …; P n (1) = P (S n ( k ));
P 1 (2) = P (S 1 (2)); P 2 (2) = P (S 2 (2)); …; P n (2) = P (S n (2));
P 1 (k ) = P (S 1 (k )); P 2 (k ) = P (S 2 (k )); …; P n (k ) = P (S n (k )).
Легко заметить, что для каждого номера шага выполняется условие
P 1 (k ) + P 2 (k ) +…+ P n (k ) = 1.
Назовём эти вероятности вероятностями состояний .следовательно, задача будет звучать следующим образом: найти вероятности состояний системы для любого k .
Пример. Пусть имеется какая-то система, которая может находиться в любом из шести состояний. тогда процессы, происходящие в ней, можно изобразить либо в виде графика изменения состояния системы (рис. 7.9, а ), либо в виде графа состояний системы (рис. 7.9, б ).

а)

Рис. 7.9
Также процессы в системе можно изобразить в виде последовательности состояний: S 1 , S 3 , S 2 , S 2 , S 3 , S 5 , S 6 , S 2 .
Вероятность состояния на (k + 1)-м шаге зависит только от состояния на k- м шаге.
Для любого шага k существуют какие-то вероятности перехода системы из любого состояния в любое другое состояние, назовем эти вероятности переходными вероятностями марковской цепи.
Некоторые из этих вероятностей будут равны 0, если переход из одного состояния в другое невозможен за один шаг.
Марковская цепь называется однородной , если переходные состояния не зависят от номера шага, в противном случае она называется неоднородной .
Пусть имеется однородная марковская цепь и пусть система S имеет n возможных состояний: S 1 , …, S n . Пусть для каждого состояния известна вероятность перехода в другое состояние за один шаг, т. е. P ij (из S i в S j за один шаг), тогда мы можем записать переходные вероятности в виде матрицы.

. (7.1)
По диагонали этой матрицы расположены вероятности того, что система переходит из состояния S i в то же состояние S i .
Пользуясь введенными ранее событиями , можно переходные вероятности записать как условные вероятности:
.
Очевидно, что сумма членов в каждой строке матрицы (1) равна единице, поскольку события образуют полную группу несовместных событий.

При рассмотрении марковских цепей, так же как и при анализе марковского случайного процесса, используются различные графы состояний (рис. 7.10).

Рис. 7.10

Данная система может находиться в любом из шести состояний, при этом P ij – вероятность перехода системы из состояния S i в состояние S j . Для данной системы запишем уравнения, что система находилась в каком-либо состоянии и из него за время t не вышла:

В общем случае марковская цепь является неоднородной, т. е. вероятность P ij меняется от шага к шагу. Предположим, что задана матрица вероятностей перехода на каждом шаге, тогда вероятность того, что система S на k -м шаге будет находиться в состоянии S i , можно найти по формуле

Зная матрицу переходных вероятностей и начальное состояние системы, можно найти вероятности состояний после любого k -го шага. Пусть в начальный момент времени система находится в состоянии S m . Тогда для t = 0
.
Найдем вероятности после первого шага. Из состояния S m система перейдет в состояния S 1 , S 2 и т. д. с вероятностями P m 1 , P m 2 , …, P mm , …, P mn . Тогда после первого шага вероятности будут равны

. (7.2)
Найдем вероятности состояния после второго шага: . Будем вычислять эти вероятности по формуле полной вероятности с гипотезами:
.
Гипотезами будут следующие утверждения:

• после первого шага система была в состоянии S 1 -H 1 ;
• после второго шага система была в состоянии S 2 -H 2 ;
• после n -го шага система была в состоянии S n -H n .

Вероятности гипотез известны из выражения (7.2). Условные вероятности перехода в состояние А при каждой гипотезе тоже известны и записаны в матрицы переходных состояний. Тогда по формуле полной вероятности получим:

Вероятность любого состояния после второго шага:

(7.3)
В формуле (7.3) суммируются все переходные вероятности P ij , но учитываются только отличные от нуля. Вероятность любого состояния после k -го шага:

(7.4)
Таким образом, вероятность состояния после k -го шага определяется по рекуррентной формуле (7.4) через вероятности (k – 1)-го шага.

Задача 6. Задана матрица вероятностей перехода для цепи Маркова за один шаг. Найти матрицу перехода данной цепи за три шага.
Решение. Матрицей перехода системы называют матрицу, которая содержит все переходные вероятности этой системы:

В каждой строке матрицы помещены вероятности событий (перехода из состояния i в состояние j ), которые образуют полную группу, поэтому сумма вероятностей этих событий равна единице:

Обозначим через p ij (n) вероятность того, что в результате n шагов (испытаний) система перейдет из состояния i в состояние j . Например p 25 (10) - вероятность перехода из второго состояния в пятое за десять шагов. Отметим, что при n=1 получаем переходные вероятности p ij (1)=p ij .
Перед нами поставлена задача: зная переходные вероятности p ij , найти вероятности p ij (n) перехода системы из состояния i в состояние j заn шагов. Для этого введем промежуточное (между i и j ) состояние r . Другими словами, будем считать, что из первоначального состояния i за m шагов система перейдет в промежуточное состояние r с вероятностью p ij (n-m) , после чего, за оставшиеся n-m шагов из промежуточного состояния r она перейдет в конечное состояние j с вероятностью p ij (n-m) . По формуле полной вероятности получаем:
.
Эту формулу называют равенством Маркова. С помощью этой формулы можно найти все вероятности p ij (n) , а, следовательно, и саму матрицу P n . Так как матричное исчисление ведет к цели быстрее, запишем вытекающее из полученной формулы матричное соотношение в общем виде.
Вычислим матрицу перехода цепи Маркова за три шага, используя полученную формулу:

Ответ: .

Задача №1 . Матрица вероятностей перехода цепи Маркова имеет вид:
.
Распределение по состояниям в момент времени t=0 определяется вектором:
π 0 =(0.5; 0.2; 0.3)
Найти: а) распределение по состояниям в моменты t=1,2,3,4 .
в) стационарное распределение.

Все возможные состояния системы в однородной цепи Маркова, а - определяющая эту цепь стохастическая матрица, составленная из переходных вероятностей (см. стр. 381).

Обозначим через вероятность нахождения системы в состоянии в момент времени если известно, что в момент времени система находилась в состоянии (,). Очевидно, . Пользуясь теоремами о сложении и умножении вероятностей, мы легко найдем:

или в матричной записи

Отсюда, давая последовательно значения , получим важную формулу

Если существуют пределы

или в матричной записи

то величины называются предельными или финальными переходными вероятностями.

Для выяснения, в каких случаях существуют предельные переходные вероятности, и для вывода соответствующих формул введем следующую терминологию.

Мы будем стохастическую матрицу и соответствующую ой однородную цепь Маркова называть правильной, если у матрицы нет характеристических чисел, отличных от единицы и равных по модулю единице, и регулярной, если дополнительно единица является простым корнем характеристического уравнения матрицы .

Правильная матрица характеризуется том, что в ее нормальной форме (69) (стр. 373) матрицы являются примитивными. Для регулярной матрицы дополнительно .

Кроме того, однородная цепь Маркова называется неразложимой, разложимой, ациклической, циклической, если для этой цепи стохастическая матрица является соответственно неразложимой, разложимой, примитивной, импримитивной.

Поскольку примитивная стохастическая матрица является частным видом правильной матрицы, постольку ациклическая цепь Маркова является частным видом правильной цепи.

Мы покажем, что предельные переходные вероятности существуют только у правильных однородных цепей Маркова.

Действительно, пусть - минимальный многочлен правильной матрицы . Тогда

Согласно теореме 10 можно принять, что

На основании формулы (24) гл. V (стр. 113)

(96)

где - приведенная присоединенная матрица и

Если - правильная матрица, то

и потому в правой части формулы (96) все слагаемые, кроме первого, при стремится к нулю. Поэтому для правильной матрицы существует матрица , составленная из предельных переходных вероятностей, и

Обратное положение очевидно. Если существует продел

то матрица не может иметь характеристического числа , для которого , а , так как тогда не существовал бы предел [Этот же предел должен существовать в силу существования предела (97").]

Мы доказали, что для правильной (и только для правильной) однородной цепи Маркова существует матрица . Эта матрица определяется формулой (97).

Покажем, как можно выразить матрицу через характеристический многочлен

и присоединенную матрицу .

Из тождества

в силу (95), (95") и (98) вытекает:

Поэтому формулу (97) можно заменить формулой

(97)

Для регулярной цепи Маркова, поскольку она является частным видом правильной цепи, матрица существует и определяется любой из формул (97), (97"). В этом случае и формула (97") имеет вид

2. Рассмотрим правильную цепь общего типа (нерегулярную). Соответствующую матрицу запишем в нормальной форме

(100)

где - примитивные стохастические матрицы, а у неразложимых матриц максимальные характеристические числа . Полагая

,

запишем в виде

(101)

Но , поскольку все характеристические числа матрицы по модулю меньше единицы. Поэтому

(102)

Поскольку - примитивные стохастические матрицы, то матрицы согласно формулам (99) и (35) (стр. 362) положительны

и в каждом столбце любой из этих матриц все элементы равны между собой:

.

Заметим, что нормальному виду (100) стохастической матрицы соответствует разбиение состояний системы на группы:

Каждой группе в (104) соответствует своя группа рядов в (101). По терминологии Л. Н. Колмогорова состояния системы, входящие в , называются существенными, а состояния, входящие в остальные группы - несущественными.

Из вида (101) матрицы следует, что при любом коночном числе шагов (от момента к моменту ) возможен только переход системы а) из существенного состояния в существенное состояние той же группы, б) из несущественного состояния в существенное состояние и в) из несущественного состояния в несущественное состояние той же или предшествующей группы.

Из вида (102) матрицы следует, что в продело при переход возможен только из любого состояния в существенное состояние, т. е. вероятность перехода в любое несущественное состояние при числе шагов стремится к нулю. Поэтому существенные состояния иногда называются и предельными состояниями.

3. Из формулы (97) следует:

.

Отсюда видно, что каждый столбец матрицы является собственным вектором стохастической матрицы для характеристического числа .

Для регулярной матрицы число 1 является простым корнем характеристического уравнения и этому числу соответствует только один (с точностью до скалярного множителя) собственный вектор матрицы . Поэтому в любом -м столбце матрицы все элементы равны одному и тому же неотрицательному числу :

Таким образом, в регулярной цепи предельные переходные вероятности но зависят от начального состояния.

Обратно, если в некоторой правильной однородной цепи Маркова продельные переходные вероятности не зависят от начального состояния, т. е. имеют место формулы (104), то в схеме (102) для матрицы обязательно . Но тогда и цепь является регулярной.

Для ациклической цепи, которая является частным случаем регулярной цепи, - примитивная матрица. Поэтому при некотором (см. теорему 8 на стр. 377). Но тогда и .

Обратно, из следует, что при некотором , а это по теореме 8 означает примитивность матрицы и, следовательно, ацикличность данной однородной цепи Маркова.

Полученные результаты мы сформулируем в виде следующей теоремы:

Теорема 11. 1 .Для того чтобы в однородной цепа Маркова существовали все предельные переходные вероятности, необходимо и достаточно, чтобы цепь была правильной. В этом случае матрица , составленная из предельных переходных вероятностей, определяется формулой (95) или (98).

2. Для того чтобы в правильной однородной цепи Маркова предельные переходные вероятности не зависели от начального состояния, необходимо и достаточно, чтобы цепь была регулярной. В этом случае матрица определяется формулой (99).

3. Для того чтобы в правильной однородной цепи Маркова все предельные переходные вероятности были отличны от нуля, необходимо и достаточно, чтобы цепь была ациклической.

4. Введем в рассмотрение столбцы из абсолютных вероятностей

(105)

где - вероятность нахождения системы в момент в состоянии (,). Пользуясь теоремами сложения и умножения вероятностей, найдем:

(,),

или в матричной записи

где - транспонированная матрица для матрицы .

Все абсолютные вероятности (105) определяются из формулы (106), если известны начальные вероятности и матрица переходных вероятностей

Введем в рассмотрение предельные абсолютные вероятности

Переходя в обоих частях равенства (106) к пределу при , получим:

Заметим, что существование матрицы предельных переходных вероятностей влечет существование предельных абсолютных вероятностей при любых начальных вероятностях и наоборот.

Из формулы (107) и из вида (102) матрицы вытекает, что предельные абсолютные вероятности, соответствующие несущественным состояниям, равны нулю.

Умножая обе части матричного равенства

справа на , мы в силу (107) получим:

т. е. столбец предельных абсолютных вероятностей является собственным вектором матрицы для характеристического числа .

Если данная цепь Маркова регулярна, то является простым корнем характеристического уравнения матрицы . В этом случае столбец предельных абсолютных вероятностей однозначно определяется из (108) (поскольку и ).

Пусть дана регулярная цепь Маркова. Тогда из (104) и из (107) следует:

(109)

В этом случае предельные абсолютные вероятности не зависят от начальных вероятностей .

Обратно, может не зависеть от при наличии формулы (107) тогда и только тогда, когда все строки матрицы одинаковы, т. е.

,

и потому (согласно теореме 11) - регулярная матрица.

Если - примитивная матрица, то , а отсюда в силу (109)

Наоборот, если все и не зависят от начальных вероятностен, то в каждом столбце матрицы все элементы одинаковы и согласно (109) , а это по теореме 11 означает, что - примитивная матрица, т. е. данная цепь ациклична.

Из изложенного вытекает, что теорему 11 можно сформулировать так:

Теорема 11". 1. Для того чтобы в однородной цепи Маркова существовали все предельные абсолютные вероятности при любых начальных вероятностях, необходимо и достаточно, чтобы цепь была правильной.

2. Для того чтобы в однородной цепи Маркова существовали предельные абсолютные вероятности при любых начальных вероятностях и не зависели от этих начальных вероятностей, необходимо и достаточно, чтобы цепь была регулярной.

3. Для того чтобы в однородной цепи Маркова при любых начальных вероятностях существовали положительные предельные абсолютные вероятности и эти предельные вероятности не зависели от начальных, необходимо и достаточно, чтобы цепь была ациклической.

5. Рассмотрим теперь однородную цепь Маркова общего типа с матрицей переходных вероятностей .

Возьмем нормальную форму (69) матрицы и обозначим через индексы импримитивности матриц в (69). Пусть - наименьшее общее кратное целых чисел . Тогда матрица не имеет характеристических чисел, равных по модулю единице, но отличных от единицы, т. е. - правильная матрица; при этом - наименьший показатель, при котором - правильная матрица. Число назовем периодом данной однородной цепи Маркова и.. Обратно, если и , определяемые формулами (110) и (110").

Средние предельные абсолютные вероятности, соответствующие несущественным состояниям, всегда равны нулю.

Если в нормальной форме матрицы число (и только в этом случае), средние предельные абсолютные вероятности не зависят от начальных вероятностей и однозначно определяются из уравнения (111).

Голосование: 41, 23

Настоящая статья носит реферативный характер, написана на основе приведенных в конце источников, которые местами цитируются.

Введение в теорию марковских цепей

Цепью Маркова называют такую последовательность случайных событий, в которой вероятность каждого события зависит только от состояния, в котором процесс находится в текущий момент и не зависит от более ранних состояний. Конечная дискретная цепь определяется:

1. множеством состояний S = { s 1 , …, s n }, событием является переход из одного состояния в другое в результате случайного испытания
2. вектором начальных вероятностей (начальным распределением) p (0) = { p (0) (1),…, p (0) (n)}, определяющим вероятности p (0) (i) того, что в начальный момент времени t = 0 процесс находился в состоянии s i
3. матрицей переходных вероятностей P = { p i j }, характеризующей вероятность перехода процесса с текущим состоянием s i в следующее состояние s j , при этом сумма вероятностей переходов из одного состояния равна 1:

∑ j =1… n p i j = 1

Пример матрицы переходных вероятностей с множеством состояний S = { S 1 , …, S 5 }, вектором начальных вероятностей p (0) = {1, 0, 0, 0, 0}:

С помощью вектора начальных вероятностей и матрицы переходов можно вычислить стохастический вектор p (n) — вектор, составленный из вероятностей p (n) (i) того, что процесс окажется в состоянии i в момент времени n . Получить p (n) можно с помощью формулы:

P (n) = p (0) × P n

Векторы p (n) при росте n в некоторых случаях стабилизируются — сходятся к некоторому вероятностному вектору ρ , который можно назвать стационарным распределением цепи. Стационарность проявляется в том, что взяв p (0) = ρ, мы получим p (n) = ρ для любого n .
Простейший критерий, который гарантирует сходимость к стационарному распределению, выглядит следующим образом: если все элементы матрицы переходных вероятностей P положительны, то при n , стремящемуся к бесконечности, вектор p (n) стремится к вектору ρ , являющемуся единственным решением системы вида
p × P = p .
Также можно показать, что если при каком-нибудь положительном значении n все элементы матрицы P n положительны, тогда вектор p (n) все-равно будет стабилизироваться.
Доказательство этих утверждений есть в в подробном виде.

Марковская цепь изображается в виде графа переходов, вершины которого соответствуют состояниям цепи, а дуги — переходам между ними. Вес дуги (i , j), связывающей вершины s i и s j будет равен вероятности p i (j) перехода из первого состояния во второе. Граф, соответствующий матрице, изображенной выше:

Классификация состояний марковских цепей

При рассмотрении цепей Маркова нас может интересовать поведение системы на коротком отрезке времени. В таком случае абсолютные вероятности вычисляются с помощью формул из предыдущего раздела. Однако более важно изучить поведение системы на большом интервале времени, когда число переходов стремится к бесконечности. Далее вводятся определения состояний марковских цепей, которые необходимы для изучения поведения системы в долгосрочной перспективе.
Марковские цепи классифицируются в зависимости от возможности перехода из одних состояний в другие.
Группы состояний марковской цепи (подмножества вершин графа переходов), которым соответствуют тупиковые вершины диаграммы порядка графа переходов, называются эргодическими классами цепи. Если рассмотреть граф, изображенный выше, то видно, что в нем 1 эргодический класс M 1 = { S 5 }, достижимый из компоненты сильной связности, соответствующей подмножеству вершин M 2 = { S 1 , S 2 , S 3 , S 4 }. Состояния, которые находятся в эргодических классах, называются существенными, а остальные — несущественными (хотя такие названия плохо согласуются со здравым смыслом). Поглощающее состояние s i является частным случаем эргодического класса. Тогда попав в такое состояние, процесс прекратится. Для S i будет верно p ii = 1, т.е. в графе переходов из него будет исходить только одно ребро — петля.

Поглощающие марковские цепи используются в качестве временных моделей программ и вычислительных процессов. При моделировании программы состояния цепи отождествляются с блоками программы, а матрица переходных вероятностей определяет порядок переходов между блоками, зависящий от структуры программы и распределения исходных данных, значения которых влияют на развитие вычислительного процесса. В результате представления программы поглощающей цепью удается вычислить число обращений к блокам программы и время выполнения программы, оцениваемое средними значениями, дисперсиями и при необходимости — распределениями. Используя в дальнейшем эту статистику, можно оптимизировать код программы — применять низкоуровневые методы для ускорения критических частей программы. Подобный метод называется профилированием кода.

Например, в алгоритме Дейкстры присутствуют следующие состояния цепи:

• vertex (v), извлечение новой вершины из очереди с приоритетами, переход только в состояние b ;
• begin (b), начало цикла перебора исходящих дуг для процедуры ослабления;
• analysis (a), анализ следующей дуги, возможен переход к a , d , или e ;
• decrease (d), уменьшение оценки для некоторой вершины графа, переход к a ;
• end (e), завершение работы цикла, переход к следующей вершине.

Остается задать вероятности переходом между вершинами, и можно изучать продолжительности переходов между вершинами, вероятности попадания в различные состояния и другие средние характеристики процесса.

Аналогично, вычислительный процесс, который сводится к обращениям за ресурсами системы в порядке, определяемом программой, можно представить поглощающей марковской цепью, состояния которой соответствуют использованию ресурсов системы – процессора, памяти и периферийных устройств, переходные вероятности отображают порядок обращения к различным ресурсам. Благодаря этому вычислительный процесс представляется в форме, удобной для анализа его характеристик.

Цепь Маркова называется неприводимой, если любое состояние S j может быть достигнуто из любого другого состояния S i за конечное число переходов. В этом случае все состояния цепи называются сообщающимися, а граф переходов является компонентой сильной связности. Процесс, порождаемый эргодической цепью, начавшись в некотором состоянии, никогда не завершается, а последовательно переходит из одного состояния в другое, попадая в различные состояния с разной частотой, зависящей от переходных вероятностей. Поэтому основная характеристика эргодической цепи –
вероятности пребывания процесса в состояниях S j , j = 1,…, n , доля времени, которую процесс проводит в каждом из состояний. Неприводимые цепи используются в качестве моделей надежности систем. Действительно, при отказе ресурса, который процесс использует очень часто, работоспособность всей системы окажется под угрозой. В таком случае дублирование такого критического ресурса может помочь избежать отказов. При этом состояния системы, различающиеся составом исправного и отказавшего оборудования, трактуются как состояния цепи, переходы между которыми связаны с отказами и восстановлением устройств и изменением связей между ними, проводимой для сохранения работоспособности системы. Оценки характеристик неприводимой цепи дают представление о надежности поведения системы в целом. Также такие цепи могут быть моделями взаимодействия устройств с задачами, поступающими на обработку.

Примеры использования

Система обслуживания с отказами

Сервер, состоит из нескольких блоков, например модемов или сетевых карт, к которым поступают запросы от пользователей на обслуживание. Если все блоки заняты, то запрос теряется. Если один из блоков принимает запрос, то он становится занятым до конца его обработки. В качестве состояний возьмем количество незанятых блоков. Время будет дискретно. Обозначим за α вероятность поступления запроса. Также мы считаем, что время обслуживания также является случайным и состоящим из независимых продолжений, т.е. запрос с вероятностью β обслуживается за один шаг, а с вероятностью (1 - β) обслуживается после этого шага как новый запрос. Это дает вероятность (1 - β) β для обслуживания за два шага, (1 - β) 2 β для обслуживания за три шага и т.д. Рассмотрим пример с 4 устройствами, работающими параллельно. Составим матрицу переходных вероятностей для выбранных состояний:

1 - α	α	0	0	0
β	1 - α - β	α	0	0
0	2 β	1 - α - 2 β	α	0
0	0	3 β	1 - α - 3 β	α
0	0	0	4β	1 - 4 β

Можно заметить, что она имеет единственный эргодический класс, и, следовательно, система p × P = p в классе вероятностных векторов имеет единственное решение. Выпишем уравнения системы, позволяющей находить это решение:

P 0 (1 - α) + p 1 β = p 0 ,
p 0 α + p 1 (1 - α - β) + p 2 2 β = p 1 ,
p 1 α + p 2 (1 - α - 2 β) + p 3 3 β = p 2 ,
p 2 α + p 3 (1 - α - 3 β) + p 4 4 β = p 3 ,
p 3 α + p 4 (1 - 4 β) = p 4 .

Отсюда получаем (при γ = α / β):

P 1 = γ p 0 ,
p 2 = γ 2 p 0 /2,
p 3 = γ 3 p 0 /3,
p 4 = γ 4 p 0 /4,

из условия нормировки следует:

P 0 = С = (1 + γ + γ 2 /2 + γ 3 /3 + γ 4 /4) -1 .

Теперь известен набор вероятностей π i того, что в стационарном режиме в системе будет занято i блоков. Тогда долю времени p 4 = С γ 4 /4 в системе заняты все блоки, система не отвечает на запросы. Полученные результаты распространяются на любое число блоков. Теперь можно воспользоваться ими: можно сопоставить затраты на дополнительные устройства и уменьшение времени полной занятости системы.
Подробнее можно ознакомиться с этим примером в .

Процессы принятия решений с конечным и бесконечным числом этапов

Рассмотрим процесс, в котором есть несколько матриц переходных вероятностей. Для каждого момента времени выбор той или иной матрицы зависит от принятого нами решения. Понять вышесказанное можно на следующем примере. Садовник в результате анализа почвы оценивает ее состояние одним из трех чисел: (1) - хорошее, (2) - удовлетворительное или (3) - плохое. При этом садовник заметил, что продуктивность почвы в текущем году зависит только от ее состояния в предыдущем году. Поэтому вероятности перехода почвы без внешних воздействий из одного состояния в другое можно представить следующей цепью Маркова с матрицей P1:

Теперь можно сопоставить каждому переходу из одного состояния в другое некоторую функцию дохода, которая определяется как прибыль или убыток за одногодичный период. Садовник может выбирать использовать или не использовать удобрения, именно от этого будет зависеть его конечный доход или убыток. Введем матрицы R1 и R2, определяющие функции дохода в зависимости от затрат на удобрения и качества почвы:

R1
7.00	6.00	3.00
0.00	5.00	1.00
0.00	0.00	-1.00

R2
6.00	5.00	-1.00
7.00	4.00	0.00
6.00	3.00	-2.00

Наконец перед садовником стоит задача, какую стратегию нужно выбрать для максимизации среднего ожидаемого дохода. Может рассматриваться два типа задач: с конечным и бесконечным количеством этапов. В данном случае когда-нибудь деятельность садовника обязательно закончится. Кроме того, визуализаторы решают задачу принятия решений для конечного числа этапов. Пусть садовник намеревается прекратить свое занятие через N лет. Наша задача теперь состоит в том, чтобы определить оптимальную стратегию поведения садовника, то есть стратегию, при которой его доход будет максимальным. Конечность числа этапов в нашей задаче проявляется в том, что садовнику не важно, что будет с его сельскохозяйственным угодьем на N +1 год (ему важны все года до N включительно). Теперь видно, что в этом случае задача поиска стратегии превращается в задачу динамического программирования. Если через f n (i) обозначить максимальный средний ожидаемый доход, который можно получить за этапы от n до N включительно, начиная из состояния с номером i , то несложно вывести рекуррентное соотношение, связывающее f n (i) с числами f n +1 (j)

F n (i) = max k {∑ j =1 m p ij k [ r ij k + f n +1 (j)]}, n = 1, 2, …, N

Здесь k - номер используемой стратегии. Это уравнение основывается на том, что суммарный доход r ij k + f n +1 (j) получается в результате перехода из состояния i на этапе n в состояние j на этапе n +1 с вероятностью p ij k .
Теперь оптимальное решение можно найти, вычисляя последовательно f n (i) в нисходящем направлении (n = N …1). При этом введение вектора начальных вероятностей в условие задачи не усложнит ее решение.
Данный пример также рассмотрен в .

Моделирование сочетаний слов в тексте

Рассмотрим текст, состоящий из слов w . Представим процесс, в котором состояниями являются слова, так что когда он находится в состоянии (S i) система переходит в состояние (s j) согласно матрице переходных вероятностей. Прежде всего, надо «обучить» систему: подать на вход достаточно большой текст для оценки переходных вероятностей. А затем можно строить траектории марковской цепи. Увеличение смысловой нагрузки текста, построенного при помощи алгоритма цепей Маркова возможно только при увеличении порядка, где состоянием является не одно слово, а множества с большей мощностью — пары (u , v), тройки (u , v , w) и т.д. Причем что в цепях первого, что пятого порядка, смысла будет еще немного. Смысл начнет появляться при увеличении размерности порядка как минимум до среднего количества слов в типовой фразе исходного текста. Но таким путем двигаться нельзя, потому, что рост смысловой нагрузки текста в цепях Маркова высоких порядков происходит значительно медленнее, чем падение уникальности текста. А текст, построенный на марковских цепях, к примеру, тридцатого порядка, все еще будет не настолько осмысленным, чтобы представлять интерес для человека, но уже достаточно схожим с оригинальным текстом, к тому же число состояний в такой цепи будет потрясающим.
Эта технология сейчас очень широко применяется (к сожалению) в Интернете для создания контента веб-страниц. Люди, желающие увеличить трафик на свой сайт и повысить его рейтинг в поисковых системах, стремятся поместить на свои страницы как можно больше ключевых слов для поиска. Но поисковики используют алгоритмы, которые умеют отличать реальный текст от бессвязного нагромождения ключевых слов. Тогда, чтобы обмануть поисковики используют тексты, созданные генератором на основе марковской цепи. Есть, конечно, и положительные примеры использования цепей Маркова для работы с текстом, их применяют при определении авторства, анализе подлинности текстов.

Цепи Маркова и лотереи

В некоторых случаях вероятностная модель используется в прогнозе номеров в различных лотереях. По-видимому, использовать цепи Маркова для моделирования последовательности различных тиражей нет смысла. То, что происходило с шариками в тираже, никак не повлияет на результаты следующего тиража, поскольку после тиража шары собирают, а в следующем тираже их укладывают в лоток лототрона в фиксированном порядке. Связь с прошедшим тиражом при этом теряется. Другое дело последовательность выпадения шаров в пределах одного тиража. В этом случае выпадение очередного шара определяется состоянием лототрона на момент выпадения предыдущего шара. Таким образом, последовательность выпадений шаров в одном тираже является цепью Маркова, и можно использовать такую модель. При анализе числовых лотерей здесь имеется большая трудность. Состояние лототрона после выпадения очередного шара определяет дальнейшие события, но проблема в том, что это состояние нам неизвестно. Все что нам известно, что выпал некоторый шар. Но при выпадении этого шара, остальные шары могут быть расположены различным образом, так что имеется группа из очень большого числа состояний, соответствующая одному и тому же наблюдаемому событию. Поэтому мы можем построить лишь матрицу вероятностей переходов между такими группами состояний. Эти вероятности являются усреднением вероятностей переходов между различными отдельными состояниями, что конечно, снижает эффективность применения модели марковской цепи к числовым лотереям.
Аналогично этому случаю, такая модель нейронной сети может быть использована для предсказания погоды, котировок валют и в связи с другими системами, где есть исторические данные, и в будущем может быть использована вновь поступающая информация. Хорошим применением в данном случае, когда известны только проявления системы, но не внутренние (скрытые) состояния, могут быть применены скрытые марковские модели, которые подробно рассмотрены в Викиучебнике (скрытые марковские модели).

Литература

1. Романовский И.В. Дискретный анализ: Учебное пособие для студентов, 3-е изд. - СПб: Невский Диалект; БХВ Петербург, 2003.
2. Таха, Хэмди А. Введение в исследование операций, 6-е изд. — М.: Издательский дом «Вильямс», 2001.
3. Вернер М. Основы кодирования. Учебник для ВУЗов. — М.: Техносфера, 2004.
4. Беляев А., Гаврилов М., Масальских А., Медвинский М. Марковские процессы , 2004.

Визуализаторы

1. Алексеев В. Марковские процессы принятия решений , 2002.
2. Беляев А. Марковские цепи , 2002.

Маркова цепь (Markov Chain) - марковский процесс с дискретным временем, заданный в измеримом пространстве.

Введение

Марковские случайные процессы названы по имени выдающегося русского математика А.А.Маркова (1856-1922), впервые начавшего изучение вероятностной связи случайных величин и создавшего теорию, которую можно назвать "динамикой вероятностей".

В дальнейшем основы этой теории явились исходной базой общей теории случайных процессов, а также таких важных прикладных наук, как теория диффузионных процессов, теория надежности, теория массового обслуживания и т.д. В настоящее время теория марковских процессов и ее приложения широко применяются в самых различных областях.

Благодаря сравнительной простоте и наглядности математического аппарата, высокой достоверности и точности получаемых решений, особое внимание марковские процессы приобрели у специалистов, занимающихся исследованием операций и теорией принятия оптимальных решений.

Простой пример: бросание монеты

Прежде чем дать описание общей схемы, обратимся к простому примеру. Предположим, что речь идет о последовательных бросаниях монеты при игре "в орлянку "; монета бросается в условные моменты времени t = 0, 1, ... и на каждом шаге игрок может выиграть ±1 с одинаковой вероятностью 1/2, таким образом в момент t его суммарный выигрыш есть случайная величина ξ(t) с возможными значениями j = 0, ±1, ...

При условии, что ξ(t) = k, на следующем шаге выигрыш будет уже равен ξ(t+1) = k ± 1, принимая указанные значения j = k ± 1 c одинаковой вероятностью 1/2.

Условно можно сказать, что здесь с соответствующей вероятностью происходит переход из состояния ξ(t) = k в состояние ξ(t+1) = k ± 1.

Формулы и определения

Обобщая этот пример, можно представить себе "систему" со счетным числом возможных "фазовых" состояний, которая с течением дискретного времени t = 0, 1, ... случайно переходит из состояния в состояние.

Пусть ξ(t) есть ее положение в момент t в результате цепочки случайных переходов

ξ(0) - ξ(1) - ... - ξ(t) - ... ... (1)

Формально обозначим все возможные состояния целыми i = 0, ±1, ... Предположим, что при известном состоянии ξ(t) = k на следующем шаге система переходит в состояние ξ(t+1) = j с условной вероятностью

p kj = P(ξ(t+1) = j|ξ(t) = k) ... (2)

независимо от ее поведения в прошлом, точнее, независимо от цепочки переходов (1) до момента t:

P(ξ(t+1) = j|ξ(0) = i, ..., ξ(t) = k) = P(ξ(t+1) = j|ξ(t) = k) при всех t, k, j ... (3) - марковское свойство.

Такую вероятностную схему называют однородной цепью Маркова со счетным числом состояний - ее однородность состоит в том, что определенные в (2) переходные вероятности p kj , ∑ j p kj = 1, k = 0, ±1, ..., не зависят от времени, т.е. P(ξ(t+1) = j|ξ(t) = k) = P ij - матрица вероятностей перехода за один шаг не зависит от n.

Ясно, что P ij - квадратная матрица с неотрицательными элементами и единичными суммами по строкам.

Такая матрица (конечная или бесконечная) называется стохастической матрицей. Любая стохастическая матрица может служить матрицей переходных вероятностей.

На практике: доставка оборудования по округам

Предположим, что некая фирма осуществляет доставку оборудования по Москве: в северный округ (обозначим А), южный (В) и центральный (С). Фирма имеет группу курьеров, которая обслуживает эти районы. Понятно, что для осуществления следующей доставки курьер едет в тот район, который на данный момент ему ближе. Статистически было определено следующее:

1) после осуществления доставки в А следующая доставка в 30 случаях осуществляется в А, в 30 случаях - в В и в 40 случаях - в С;

2) после осуществления доставки в В следующая доставка в 40 случаях осуществляется в А, в 40 случаях - в В и в 20 случаях - в С;

3) после осуществления доставки в С следующая доставка в 50 случаях осуществляется в А, в 30 случаях - в В и в 20 случаях - в С.

Таким образом, район следующей доставки определяется только предыдущей доставкой.

Матрица вероятностей перехода будет выглядеть следующим образом:

Например, р 12 = 0.4 - это вероятность того, что после доставки в район В следующая доставка будет производиться в районе А.

Допустим, что каждая доставка с последующим перемещением в следующий район занимает 15 минут. Тогда, в соответствии со статистическими данными, через 15 минут 30% из курьеров, находившихся в А, будут в А, 30% будут в В и 40% - в С.

Так как в следующий момент времени каждый из курьеров обязательно будет в одном из округов, то сумма по столбцам равна 1. И поскольку мы имеем дело с вероятностями, каждый элемент матрицы 0<р ij <1.

Наиболее важным обстоятельством, которое позволяет интерпретировать данную модель как цепь Маркова, является то, что местонахождние курьера в момент времени t+1 зависит только от местонахождения в момент времени t.

Теперь зададим простой вопрос: если курьер стартует из С, какова вероятность того, что осуществив две доставки, он будет в В, т.е. как можно достичь В в 2 шага? Итак, существует несколько путей из С в В за 2 шага:

1) сначала из С в С и потом из С в В;

2) С-->B и B-->B;

3) С-->A и A-->B.

Учитывая правило умножения независимых событий, получим, что искомая вероятность равна:

P = P(CA)*P(AB) + P(CB)*P(BB) + P(CC)*P(CB)

Подставляя числовые значения:

P = 0.5*0.3 + 0.3*0.4 + 0.2*0.3 = 0.33

Полученный результат говорит о том, что если курьер начал работу из С, то в 33 случаях из 100 он будет в В через две доставки.

Ясно, что вычисления просты, но если Вам необходимо определить вероятность через 5 или 15 доставок - это может занять довольно много времени.

Покажем более простой способ вычисления подобных вероятностей. Для того, чтобы получить вероятности перехода из различных состояний за 2 шага, возведем матрицу P в квадрат:

Тогда элемент (2, 3) - это вероятность перехода из С в В за 2 шага, которая была получена выше другим способом. Заметим, что элементы в матрице P 2 также находятся в пределах от 0 до 1, и сумма по столбцам равна 1.

Т.о. если Вам необходимо определить вероятности перехода из С в В за 3 шага:

1 способ. p(CA)*P(AB) + p(CB)*P(BB) + p(CC)*P(CB) = 0.37*0.3 + 0.33*0.4 + 0.3*0.3 = 0.333, где p(CA) - вероятность перехода из С в А за 2 шага (т.е. это элемент (1, 3) матрицы P 2).

2 способ. Вычислить матрицу P 3:

Матрица переходных вероятностей в 7 степени будет выглядеть следующим образом:

Легко заметить, что элементы каждой строки стремятся к некоторым числам. Это говорит о том, что после достаточно большого количества доставок уж не имеет значение в каком округе курьер начал работу. Т.о. в конце недели приблизительно 38,9% будут в А, 33,3% будут в В и 27,8% будут в С.

Подобная сходимость гарантировано имеет место, если все элементы матрицы переходных вероятностей принадлежат интервалу (0, 1).