吉羅拉莫·卡爾達諾(Girolamo Cardano)是文藝復興時期義大利百科全書式的學者,在西方最早給出了二項式係數和二項式定理。據傳,卡爾達諾年輕時對賭博情有獨鍾,他經常欠債,卻又總能通過賭博或下棋來償還債務。卡爾達諾藉助擲骰子來理解不確定性和概率,並使用發生比(odds)來刻畫賭博中有利或不利情形出現的可能性,以對賭博結果進行預測。卡爾達諾1564年前後完成的《論賭博遊戲》(Liber de ludo aleae)一書是首部概率論著作,他對概率論有開創之功,被視為概率論的創始人。
17世紀,賭博遊戲在歐洲宮廷盛行。法國賭徒謝瓦利埃·梅內(Chevalier de Méré)在賭資分配上同他人產生了分歧,於是他向數學家布萊士·帕斯卡(Blaise Pascal)請教。1654年,帕斯卡與皮埃爾·費馬(Pierre de Fermat)討論了賭博中的點數分配問題,將期望的想法引入到推理和計算。在帕斯卡的鼓勵下,荷蘭數學家克里斯蒂安·惠更斯(Christiaan Huygens)深入分析了點數分配等博弈遊戲,明確了期望的概念。1657年,惠更斯將研究結果總結成文《論賭博中的計算》(De ratiociniis in ludo aleae),作為弗蘭斯·斯霍滕(Frans van Schooten)《數學練習》附錄的形式出版。該文得到了學術界的廣泛認可,在歐洲多次再版,並作為概率論的標準教材達50年之久。
《猜度術》(Ars conjectandi)是概率論發展史中的另一部經典著作,由瑞士數學家雅各布·伯努利(Jakob I. Bernoulli)完成。該書既包含伯努利對前人工作的總結和整理,也包含他自己對概率的哲學思考。伯努利認為,概率作為事件確定性的量度並非是先驗已知的,而必須由后驗確定。基於這種看法,伯努利給出了大數定律的最早描述,認為事件的概率可以由大量獨立的同類型隨機試驗的頻率統計來刻畫。因此,人們樸素的認知經驗可以用數學語言來表達。1837年,法國數學家西莫恩·泊松(Siméon D. Poisson)在《關於犯罪和民事判決的概率之研究》(Recherches sur la probabilité des jugements en matières criminelles et matière civile)一文中介紹了單位時間內隨機事件發生次數的概率分佈——泊松分佈,並藉此將「大數定律」推廣到隨機事件發生的概率可以不同的情形。大數定律奠定了「由頻率估概率」的理論基礎,為不確定事件的參數估計提供了支持。
《猜度術》
為了快速計算二項式展開係數,法國數學家亞伯拉罕·棣莫弗(Abraham de Moivre)借鑒級數和微積分的方法定義了斯特林公式,用於計算概率論中常用的n!。在此基礎上,棣莫弗發現了中心極限定理的一個特例:他在《機遇論》(De Mensura Sortis seu)第二版中介紹了使用「正態分佈」來逼近拋硬幣正面向上的頻率,實現了二項式展開中間項係數的近似表示。
1801年,德國數學家約翰·高斯(Johann K. F. Gauß)結合觀測數據,使用最小二乘法等計算方法發現了穀神星的運行軌跡。隨後,高斯專註於曲面、曲線計算:在假定觀測值的算術平均值具有最大可能性這一前提下,他採用最小二乘法成功得到用於刻畫誤差的高斯鐘形曲線(即正態分佈曲線)。高斯認為,如果觀測誤差符合正態分佈,那麼採用最小二乘估計算出的回歸係數具有最大的可能性。
約翰•卡爾•弗里德里希•高斯
在棣莫佛和高斯工作的基礎上,法國天文學家、數學家皮埃爾-西蒙·拉普拉斯(Pierre-Simon marquis de Laplace)擴展了棣莫弗的理論,他證明了可使用正態分佈近似計算二項分佈(這一結論後來被稱為棣莫佛-拉普拉斯中心極限定理)。1901年,俄國數學家亞歷山大·里雅普諾夫(Aleksandr M. Lyapunov)使用隨機變數嚴格地證明了中心極限定理。中心極限定理被認為是概率論最重要的定理之一,為人們認識誤差、開展統計分析提供了理論支持,而正態分佈也因其具備良好的數學特性而廣泛應用於誤差估計。
隨著數學公理化進程的加速,俄國數學家安德雷·柯爾莫哥洛夫(Andrey N. Kolmogorov)將樣本空間和測度理論結合起來,於1933年在《概率論基礎》(Foundations of the Theory of Probability)一書中首次較完整地建立了概率理論的公理體系。該體系為不確定問題的嚴格分析提供了統一的框架。人們能基於具體概率假設,通過嚴格的邏輯推理或數學計算獲得特定隨機變數的數學特性,進而實現對不確定問題的分析和預測。
統計學是數學的另一個分支,它通過收集、整理、解釋和分析數據,幫助人們實現對事件特性、規律的正確判斷。古希臘思想家修昔底德(Thucydides)在《伯羅奔尼撒戰爭史》(History of the Peloponnesian War)一書中記述了公元前5世紀雅典人通過派士兵統計斯巴達城牆磚塊的數量來評估斯巴達城牆高度這一事件。中世紀,阿拉伯哲學和自然科學家艾•肯迪(Al Kindi)使用頻率統計的方法破譯了加密消息。1662年,約翰·葛蘭特(John Graunt)和威廉·配第(William Petty)將統計方法應用於人口普查。1710年,約翰·阿布斯諾特(John Arbuthnot)將統計推斷用於倫敦地區新生兒的性別調查,這也是假設檢驗方法首次被用於統計分析。