自從發現馬爾科夫鏈之後，馬爾可夫便開始進行深度挖掘。
一個係統的某些因素在轉移中，第n次結果隻受第n1的結果影響，隻與當前所處狀態有關，與其他無關。在馬爾科夫分析中，引入狀態轉移這個概念。所謂狀態是指客觀事物可能出現或存在的狀態；狀態轉移是指客觀事物由一種狀態轉移到另一種狀態的概率。
馬爾可夫認為自己可以對一個係統進行預測，自己可以當一個完美的算命先生。
就是使用馬爾可夫轉移矩陣法。
假定某大學有1萬學生，每人每月用1支牙膏，並且隻使用“中華”牙膏與“黑妹”牙膏兩者之一。根據本月（12月）調查，有3000人使用a牙膏，7000人使用b牙膏。又據調查，使用a牙膏的3000人中，有60的人下月將繼續使用a牙膏，40的人將改用b牙膏；使用b牙膏的7000人中，有70的人下月將繼續使用b牙膏，30的人將改用a牙膏。
現用\擬用a牙膏b牙膏
a牙膏6040
b牙膏3070
根據這個表，馬爾可夫用矩陣表示。
b[6040]
[3070]
稱為轉移概率矩陣。可以看出，轉移概率矩陣的一個特點是其各行元素之和為1。在本例中，其經濟意義是現在使用某種牙膏的人中，將來使用各種品牌牙膏的人數百分比之和為1。
有了轉移矩陣，可以預測下一個月（1月）的使用各種牙膏的人數。
（3000，7000）[6040]（3900，6100）
[3070]
如果轉移概率矩陣不變，繼續可以預測2月份情況
（3900，6100）[6040]（4170，5830）
[3070]
二月份使用牙膏數也知道了。
而且從中可以看出其中2個月的變化，就是這個矩陣的二次方。
辛欽對馬爾可夫說“你發現的第n次結果隻受第n1的結果影響，隻與當前所處狀態有關，與其他無關。這個會有很大作用嗎？感覺n1以前的全部作廢了？”
馬爾可夫說“你的腦子還是沒轉過來吧。n1與n2有關聯，n2與n3有關聯啊！”
辛欽說“我們不是要研究n的狀態嗎？前麵的我們還要管他乾嘛？”
馬爾可夫說“很多係統，在時間演變過程中，我們隻是取到其中幾個時間點的一些碎片。我們要把整個係統的演化過程推演出來，之後分成很多段時間點，把從上到下的每個轉移矩陣推敲出來，然後對係統前後的變化進行推敲。”
辛欽搖搖頭說“概率轉移矩陣又不是恒定的？你這樣做的意義？”
馬爾可夫說“不一樣，所以可以把每個狀態的概率矩陣都寫出來，然後觀察其中的變化。”
辛欽說“試圖尋找穩定的，或者即使是不穩定的，也是可預測的那種？”
辛欽說“是的。”
後來結合蒙特卡洛，馬爾科夫又發現了馬爾可夫鏈蒙特卡洛方法arkovchaontecarlo，簡稱c，產生於19世紀50年代早期，是在貝葉斯理論框架下，通過計算機進行模擬的蒙特卡洛方法ontecarlo。該方法將馬爾科夫arkov過程引入到ontecarlo模擬中，實現抽樣分布隨模擬的進行而改變的動態模擬，彌補了傳統的蒙特卡羅積分隻能靜態模擬的缺陷。c是一種簡單有效的計算方法，在很多領域到廣泛的應用，如統計物、貝葉斯bayes問題、計算機問題等。
喜歡數學心請大家收藏101novel.com數學心101novel.com更新速度全網最快。