當(dāng)前位置：首頁 > news >正文

網(wǎng)站做分站360收錄批量查詢

news 2025/7/1 10:00:19

網(wǎng)站做分站,360收錄批量查詢,網(wǎng)站查詢域名解析ip,農(nóng)村小工廠暴利聲明：本文章是根據(jù)網(wǎng)上資料，加上自己整理和理解而成，僅為記錄自己學(xué)習(xí)的點點滴滴?？赡苡绣e誤，歡迎大家指正。在機(jī)器學(xué)習(xí)和統(tǒng)計學(xué)領(lǐng)域中，似然函數(shù)（Likelihood Function）是一個至關(guān)重要的概念?！?article class="baidu_pl">

聲明：本文章是根據(jù)網(wǎng)上資料，加上自己整理和理解而成，僅為記錄自己學(xué)習(xí)的點點滴滴?？赡苡绣e誤，歡迎大家指正。

在機(jī)器學(xué)習(xí)和統(tǒng)計學(xué)領(lǐng)域中，似然函數(shù)（Likelihood Function）是一個至關(guān)重要的概念。它不僅是參數(shù)估計的基礎(chǔ)，而且在模型選擇、模型評估以及眾多先進(jìn)的算法和技術(shù)中都有著廣泛的應(yīng)用。

1. 似然VS概率

概率和似然是統(tǒng)計學(xué)中兩個不同的概念，它們在概念上和應(yīng)用上都有所區(qū)別。以下是通過一個具體例子來展示這兩者之間的區(qū)別：

1.1? 概率（Probability）

定義：概率是在給定的參數(shù)下，某個事件發(fā)生的可能性。它是未來事件發(fā)生的度量，通常用介于0和1之間的數(shù)值表示。

例子：假設(shè)我們有一個標(biāo)準(zhǔn)的六面骰子，每個面上有1到6的數(shù)字。當(dāng)我們擲骰子時，得到數(shù)字6的概率是：𝑃(數(shù)字=6)=1/6

在這個例子中，參數(shù)是骰子的面數(shù)（6面），事件是擲出數(shù)字6，概率是已知的，并且是在擲骰子之前就確定的。這里的關(guān)鍵是，概率是在給定參數(shù)（骰子的公平性，即所有面出現(xiàn)概率相同）的情況下，事件發(fā)生的可能性。

1.2? 似然（Likelihood）

定義：似然是在已知觀測數(shù)據(jù)的情況下，這些數(shù)據(jù)對于不同參數(shù)值的支持程度。它不是數(shù)據(jù)發(fā)生的概率，而是在給定數(shù)據(jù)時參數(shù)值的相對合理性。

現(xiàn)在，假設(shè)我們不確定骰子是否公平，我們通過擲骰子20次，觀察到數(shù)字6出現(xiàn)了5次。我們想要估計擲出數(shù)字6的真實概率 𝜃：

似然函數(shù)?表示為?𝐿(𝜃∣5次6)，是?𝜃?的函數(shù)，表示在參數(shù)?𝜃下觀測數(shù)據(jù)（5次6）的相對可能性。似然函數(shù)是：?𝐿(𝜃∣5次6)= $\theta ^{5}(1-\theta) ^{20-5}$ 。
對𝜃的求解，可用最大似然方法，具體可看后面，這時求出的𝜃的值不一定是1/6。

對比上面的例子：

概率函數(shù) 給出了在給定參數(shù)下事件發(fā)生的可能性。在我們的例子中，它告訴我們在假設(shè)骰子公平的情況下，擲出6的概率是 1/6?。

似然函數(shù) 用于在已知觀測數(shù)據(jù)的情況下，評估不同參數(shù)值的合理性。在我們的例子中，它幫助我們根據(jù)觀測到的5次6來估計 𝜃 的值。

1.3 兩者區(qū)別：

概率是已知參數(shù)下事件的度量：在概率中，參數(shù)是已知的，我們計算的是某個事件發(fā)生的可能性。
似然是已知數(shù)據(jù)下參數(shù)的度量：在似然中，數(shù)據(jù)是已知的，我們評估的是不同參數(shù)值對數(shù)據(jù)的支持程度。
概率是絕對的：概率給出了在給定參數(shù)下事件發(fā)生的確切概率。
似然是相對的：似然比較了在已知數(shù)據(jù)下，不同參數(shù)值的相對合理性。

總結(jié)來說，概率關(guān)注的是在給定參數(shù)下事件發(fā)生的可能性，而似然關(guān)注的是在給定數(shù)據(jù)下參數(shù)值的合理性。這兩者在統(tǒng)計分析中扮演著不同的角色。

2. 概率函數(shù)VS似然函數(shù)

2.1 概率函數(shù)（Probability Function, PF）

定義：概率函數(shù)是描述隨機(jī)變量取各種可能值的概率。對于離散隨機(jī)變量，它是一個定義在所有可能結(jié)果上的函數(shù)；對于連續(xù)隨機(jī)變量，它是一個概率密度函數(shù)。
用途：概率函數(shù)用于計算在給定參數(shù)下，隨機(jī)變量取特定值或處于某個區(qū)間的概率。

（1）概率函數(shù)

對于離散型隨機(jī)變量，概率函數(shù)通常指的是概率質(zhì)量函數(shù)（Probability Mass Function, PMF），它給出了隨機(jī)變量取每個可能值的概率.
對于離散隨機(jī)變量?X，概率函數(shù)可以表示為? $P(X=x)$ ，滿足以下性質(zhì)：。
- 非負(fù)性：對于所有的?𝑥x，有?𝑃(𝑋=𝑥)≥0。
- 歸一性：所有可能的?𝑥x?上的概率之和為1，即：? $\sum_{x}^{} P(X=x)=1$
- 對于連續(xù)隨機(jī)變量?X

（2）概率密度函數(shù)（Probability Density Function, PDF）

概率密度函數(shù)是用于描述連續(xù)型隨機(jī)變量在某個值或某個區(qū)間內(nèi)取值的概率的函數(shù)。
對于連續(xù)型隨機(jī)變量?X，其概率密度函數(shù)表示為?，其中??是累積分布函數(shù)滿足以下性質(zhì)：
- 非負(fù)性：對于所有的?𝑥，有?𝑓(𝑥)≥0。
- 歸一性：𝑋的整個取值范圍內(nèi)，概率密度函數(shù)的積分總和為1，即： $\int_{-\infty }^{+\infty}f(x)dx=1$

2.2? 似然函數(shù)（Likelihood Function, LF）

定義：似然函數(shù)是在已知觀測數(shù)據(jù)的情況下，這些數(shù)據(jù)對于不同參數(shù)值的相對可能性。它是參數(shù)的函數(shù)，用于估計參數(shù)。
用途：似然函數(shù)用于參數(shù)估計，特別是在最大似然估計中，通過找到使似然函數(shù)最大化的參數(shù)值。
數(shù)學(xué)表示：對于簡單隨機(jī)樣本，似然函數(shù)可以表示為觀測數(shù)據(jù)的概率函數(shù)的乘積： $L(\theta )=\prod_{i=1}^{n}f(x_{i}|\theta )$ 其中，𝜃 是參數(shù)， $x_{i}$ 是觀測值， $f(x_{i}|\theta )$ 是給定參數(shù) 𝜃下第 𝑖個觀測值的概率密度函數(shù)或概率質(zhì)量函數(shù)。

2.3 兩者區(qū)別：

參數(shù)與數(shù)據(jù)的角色：在概率函數(shù)中，參數(shù)是已知的，數(shù)據(jù)是隨機(jī)的；而在似然函數(shù)中，數(shù)據(jù)是已知的，參數(shù)是未知的。
目的：概率函數(shù)用于計算特定事件發(fā)生的概率，似然函數(shù)用于估計模型參數(shù)。
形式：概率函數(shù)通常與特定的概率分布相關(guān)聯(lián)（如正態(tài)分布、二項分布等），而似然函數(shù)是觀測數(shù)據(jù)對參數(shù)的函數(shù)。

例子：假設(shè)我們有一個骰子，并且想知道擲出6點的概率 𝜃。

概率函數(shù)：如果我們假設(shè)骰子是公平的，那么擲出6點的概率函數(shù)是?𝑃(6點)=𝜃=1/6。
似然函數(shù)：若我們擲了20次，觀察到5次6點，似然函數(shù)將是? $L(\theta )=\theta ^{5}(1-\theta) ^{20-5}$ 。我們通過最大化這個似然函數(shù)來估計?𝜃 的值。

3.最大似然估計

極大似然估計（Maximum Likelihood Estimation, MLE）是一種在已知觀測數(shù)據(jù)的情況下估計概率模型參數(shù)的方法。它基于以下原則：

似然函數(shù)：首先定義似然函數(shù)，它是在給定參數(shù)值 $\theta$ ?下觀測數(shù)據(jù) $X$ 的概率。對于獨立同分布的觀測數(shù)據(jù) $X=\left \{ x_{1},x_{2},...,x_{n}\right \}$ ，似然函數(shù)可以表示為所有觀測數(shù)據(jù) $X$ 的概率密度函數(shù)（對于連續(xù)型隨機(jī)變量）或概率質(zhì)量函數(shù)（對于離散型隨機(jī)變量）的乘積： $L(\theta|X )=\prod_{i=1}^{n}f(x_{i}|\theta )$
最大化似然：然后，選擇使似然函數(shù)達(dá)到最大值的參數(shù) $\theta$ 。這些參數(shù)值被稱為極大似然估計值。
對數(shù)轉(zhuǎn)換：為了簡化計算，通常對似然函數(shù)取對數(shù)，因為對數(shù)是單調(diào)函數(shù)，可以將乘積轉(zhuǎn)換為求和： $ln L(\theta|X )=\sum_{i=1}^{n}lnf(x_{i}|\theta )$
求解參數(shù)：對對數(shù)似然函數(shù)求導(dǎo)，并找到導(dǎo)數(shù)為零的點，這通常涉及到數(shù)值優(yōu)化技術(shù)。
統(tǒng)計性質(zhì)：在大樣本情況下，極大似然估計具有一些良好的統(tǒng)計性質(zhì)，如一致性（估計值隨著樣本量的增加而趨近于真實值）和漸近正態(tài)性（估計量的分布趨近于正態(tài)分布）。

仍然是上面的例子：現(xiàn)在，假設(shè)我們不確定骰子是否公平，我們通過擲骰子20次，觀察到數(shù)字6出現(xiàn)了5次。我們想要估計擲出數(shù)字6的真實概率 𝜃：

寫出似然函數(shù)：根據(jù)觀測結(jié)果（例如，擲20次得到5次6），寫出似然函數(shù)： $L(\theta )=\theta ^{5}(1-\theta )^{15}$

取對數(shù)：為了簡化計算，通常對似然函數(shù)取對數(shù)，得到對數(shù)似然函數(shù)： $lnL(\theta )=5ln\theta +15ln(1-\theta )$

求導(dǎo)數(shù)：對 𝜃?求導(dǎo)，并找到導(dǎo)數(shù)為零的點，這通常通過設(shè)置導(dǎo)數(shù)等于零并解方程來完成：? $\fracieo6y2aa{d\theta }[5ln\theta +15ln(1-\theta )]=\frac{5 }{\theta }-\frac{15 }{1-\theta } =0$

解方程：解上述導(dǎo)數(shù)等于零的方程，得到 𝜃 的值： $\frac{5 }{\theta }=\frac{15 }{1-\theta }$ ，可得 $\theta =1/4$

得到最大似然估計：解得 $\theta =1/4$ 或 0.25，這就是擲出數(shù)字6的最大似然估計概率。

如果骰子是完全公平的，我們期望 θ 接近 1/6，但由于我們的樣本數(shù)據(jù)，我們得到的估計值是 1/4。這可能表明骰子存在偏差，或者僅僅是由于隨機(jī)變異。

4. 似然比

似然比（Likelihood Ratio）是統(tǒng)計學(xué)中用于比較兩個統(tǒng)計模型對同一數(shù)據(jù)集的擬合優(yōu)度的量。它是兩個似然函數(shù)值的比率，通常用于模型選擇、假設(shè)檢驗和參數(shù)估計中。

定義：

似然比 𝜆λ 可以定義為兩個模型的似然函數(shù)值的比值：? $\lambda (\theta_{1}, \theta_{2} )=\frac{L(\theta_{1}|X)}{L(\theta_{2}|X)}$ 其中， $L(\theta_{1}|X)$ 和 $L(\theta_{1}|X)$ 分別是參數(shù) 𝜃1和 𝜃2? 下觀測數(shù)據(jù) 𝑋 的似然函數(shù)值。

應(yīng)用：

模型選擇：在比較兩個模型時，似然比可以用來評估哪個模型對數(shù)據(jù)的擬合更好。
似然比檢驗：一種統(tǒng)計假設(shè)檢驗方法，用于比較零假設(shè)（𝐻0H?）和備擇假設(shè)（𝐻1?）下的似然函數(shù)值。

例子：假設(shè)我們有一個簡單的數(shù)據(jù)集，由10個觀測值組成，我們想要比較以下兩個模型：

模型1（零假設(shè)?𝐻0?）: 假設(shè)觀測值來自均值為 $\mu _{0}$ ?，標(biāo)準(zhǔn)差為? $\sigma _{0}$ 的正態(tài)分布。
模型2（備擇假設(shè)?𝐻1?）: 假設(shè)觀測值來自均值為 $\mu _{1}$ ?，標(biāo)準(zhǔn)差為 $\sigma _{1}$ 的正態(tài)分布。

假設(shè)我們觀測到的數(shù)據(jù)是 X={2,3,4,5,6,7,8,9,10,11}。

計算似然函數(shù)：首先，我們?yōu)槊總€模型計算似然函數(shù)。假設(shè) $\sigma _{0}$ ? 和 $\sigma _{1}$ 是已知的，我們只估計均值 𝜇。

模型1的似然函數(shù)（假設(shè) $\mu= \mu _{0}$ ?）: $L(\mu _{0}|X )=\prod_{i=1}^{10}\frac{1}{\sqrt{2\pi \sigma _{0}^{2}}}exp(-\frac{(x_{i}-\mu _{0})^{^{2}}}{2\sigma _{0}^{2}})$ ?

模型2的似然函數(shù)（假設(shè) $\mu= \mu _{1}$ ?）: $L(\mu _{1}|X )=\prod_{i=1}^{10}\frac{1}{\sqrt{2\pi \sigma _{1}^{2}}}exp(-\frac{(x_{i}-\mu _{1})^{^{2}}}{2\sigma _{1}^{2}})$

計算似然比： $\lambda (\mu _{0}, \mu_{1} )=\frac{L(\mu_{0}|X)}{L(\mu_{1}|X)}$

評估似然比：如果似然比 𝜆 接近1，說明兩個模型對數(shù)據(jù)的擬合程度相似；如果 𝜆 顯著大于1，模型1可能更合適；如果 𝜆顯著小于1，模型2可能更合適。

似然比檢驗：在實際應(yīng)用中，我們通常對數(shù)化似然比，并將其與特定的統(tǒng)計量進(jìn)行比較，以決定是否拒絕零假設(shè)。