10 günlük veriye göre oluşturulan geçiş matrisinde, arızalı durumdan arızalıya geçiş 0.6, çalışır durumdan arızalıya geçiş ise 0.5 olarak hesaplanmıştır.
Metinde, 4. gün saat 12:00'de kaydedilen sıcaklık değerleri üzerinden stokastik süreçlerin sınıflandırılması örneklendirilmiştir.
Kasabadaki A ve B marketlerinden alışveriş yapan toplam 1000 müşterinin geçiş olasılıkları ve pazar payı değişimleri analiz edilmiştir.
A ve B marketleri örneğinde başlangıç durumundaki müşteri sayıları sırasıyla 260 ve 350 kişi olarak sisteme dahil edilmiştir.
Üç dönemlik geçiş matrisi kuvveti (P^3) kullanılarak yapılan hesaplamada müşteri dağılımı yaklaşık 397 ve 213 kişi olarak bulunmuştur.
A, B ve C rakip bisküvi markalarının başlangıç pazar payları sırasıyla 0.5, 0.3 ve 0.2 olarak araştırmaya dahil edilmiştir.
4. dönem sonunda A ve B markalarının pazar payları azalırken, C markasının pazar payı 0.20'den 0.273'e yükselmiştir.
Bir mağazanın alacak takibinde; Ödemiş (Durum 1) ve Cezalı (Durum 4) yutan durumlar, 1 ve 2 hafta gecikmiş borçlar ise geçici durumlardır.
Oyuncunun 2 TL ile başlayıp, tura gelirse 1 TL kazandığı, yazı gelirse 1 TL kaybettiği ve 0 veya 4 TL'de oyunun bittiği bir Markov zinciridir.
Kola 1, Kola 2 ve Kola 3 markalarının geçiş olasılıkları matrisi üzerinden kararlı durum olasılıkları hesaplanmıştır.
Kola örneğinde kararlı durum olasılıkları Kola 1 için 7/21, Kola 2 için 4/21 ve Kola 3 için 10/21 olarak bulunmuştur.
Rus matematikçi Andrei Andreyevich Markov, 1905 yılında kapalı bir kutu içindeki gaz moleküllerinin rastgele hareketlerini (Brownian hareketi) matematiksel olarak açıklamak amacıyla bu analizi geliştirmiştir.
Markov süreçlerinin ilk tutarlı ve doğru matematiksel yapısı, Amerikalı matematikçi Norbert Wiener tarafından 1923 yılında kurulmuş ve olasılık teorisine entegre edilmiştir.
Markov süreçlerinin genel teorisi A.N. Kolmogorov, W. Feller, W. Doeblin, P. Levy ve J.L. Doob gibi bilim insanları tarafından 1930 ve 1940'lı yıllarda geliştirilerek bugünkü halini almıştır.
Metinde verilen 10 günlük iş makinesi verisinde, makinenin arızalı kalma olasılığı 0.6 iken çalışır duruma geçme olasılığı 0.4; çalışır durumdan arızalanma olasılığı ise 0.5 olarak hesaplanmıştır.
A ve B marketlerinin bulunduğu, toplam 1000 müşterisi olan bir kasabada, başlangıçta A marketinde 260, B marketinde 350 müşteri varken, 3 dönem sonra bu dağılım sırasıyla 397 ve 213 kişiye dönüşmüştür.
A, B ve C rakip bisküvi markalarının başlangıç pazar payları sırasıyla 0.5, 0.3 ve 0.2 iken, 4 dönem sonunda A'nın payı 0.466'ya, B'nin payı 0.261'e gerilemiş, C'nin payı ise 0.273'e yükselmiştir.
Başlangıçta 2 TL'si olan bir kumarbazın, her adımda 1 TL kazanıp kaybettiği ve parası 0 TL veya 4 TL olduğunda oyunun bittiği durum uzayı {0, 1, 2, 3, 4} olan klasik bir Markov zinciri örneğidir.
Üç farklı kola markasının geçiş olasılıkları matrisi analiz edildiğinde, uzun dönemde Kola 1'in kararlı durum olasılığı 7/21, Kola 2'nin 4/21 ve Kola 3'ün 10/21 olarak bulunmuştur.
Kola tercihleri modelinde, Kola 1 için ortalama ilk geçiş sayısı m11 = 3, Kola 2 için m22 = 5.25 ve Kola 3 için m33 = 2.1 olarak hesaplanmıştır.
Borcunu ödeyenler ile borcu 2 haftadan fazla gecikip yasal yola (cezalı) düşenlerin yutan durumlara geçtiği, 4 durumlu bir yutan Markov zinciri modelidir.
Metinde, havalimanında 4. gün saat 12:00'de kaydedilen sıcaklık değerlerinin zaman içindeki değişimi kesikli zamanlı stokastik sürece örnek olarak gösterilmiştir.
Bir zarın ardışık olarak 4. kez atılması durumunda gelen sayıların oluşturduğu dizi, geçmiş atışlardan bağımsız olduğu için Markov zinciri yapısına somut bir örnektir.
Öğle saatlerinde bir kafede bulunan müşteri sayısının t = 0, 1, 2, 3 anlarında gözlenmesi, kesikli zamanlı stokastik süreçlerin davranışını tanımlamak için kullanılmıştır.
n adımı sonsuza giderken, durum olasılıkları vektörünün başlangıç durumundan bağımsız olarak Pi = Pi * P eşitliğine yakınsaması Markov analizinin en temel teoremlerindendir.
Kasaba marketi örneğinde uzun vadeli denge durumuna ulaşıldığında, A marketinin müşteri payı 3/4 (195 kişi), B marketinin müşteri payı ise 1/4 (87.5 kişi) olmaktadır.