點估計及不偏估計(Point Estimation and Unbiased Estimation)

更新 發佈閱讀 5 分鐘

點估計(point estimation)是指用樣本資料來估計母體參數,使用一個點的數值表示其估計值,因此稱為點估計。事實上我們相當常見的樣本平均數或樣本變異數就是點估計,我們是使用樣本資料計算出一個數值,然後再用這個點的數值去估計母體的參數。

用樣本平均數或樣本變異數去估計母體平均及母體變異就是點估計,用樣本平均去估母體平均,用樣本變異去估母體變異,用樣本的某個統計量直接去估母體參數,看起來好像非常直觀且簡單吧?

但其實不是這樣的,估計方法其實種類繁多,有最小方差均值不偏估計法 (MVUE)、一致最小方差不偏估計法(UMVUE)、最佳線性不偏估計法(BLUE)、 、最大概式估計法(MLE)、動差法(Method of Moment)…,每一種方法都用不同角度去切入,而得出的估計值可能也有所差異。

除了估計方法外,一個好的點估計還要有不偏性 (Unbiasedness)、有效性 (Efficiency)、一致性 (Consistency)、充分性 (Sufficiency)。總之估計一個母體平均或是其他母體參數其實沒有看上去的那麼容易,它除了要有一些好的數學特性之外還要用合理的估計方式去估計…。

但在大多數領域我們都不會接觸到這些內容,其一是除了母體平均和母體變異外或許我們不常需要估計其他母體參數,而母體平均及變異已經有一組簡單又廣為人知的估計式而不需要去學習這些內容重新推導一次。再來就是統計是一個相當古老的學科,點估計這些領域已經發展得相當成熟,該有的估計方法、數學特性尚稱完善,一般人在這領域也很難有所突破。

儘管如此,其重要性仍不可被抹滅。

那我們該如何衡量一個點估計的好壞呢?

除了不偏性 (Unbiasedness)、有效性 (Efficiency)、一致性 (Consistency)、充分性 (Sufficiency)這些數學特性外,有一個比較簡單易懂的方式也能用來衡量點估計的好壞。

那就是MSE

vocus|新世代的創作平台

Variance代表點估計值的變異數,變異數小代表每一次估計出來的值不會差距太多。Bias代表點估計的期望值和母體參數的誤差,而MSE越小通常代表點估計越好,因其變異及誤差較小。

MSE也是一個在機器學習、回歸分析中相當常被使用的指標,Variance和Bias可以被視作模型複雜度的衡量標準。當MSE中的bias的數值為0時代表點估計的期望值和母體參數的誤差為0,這時我們就稱這一點估計為不偏估計量(Unbiased Estimator)

接續不偏估計量,事實上,之所以我們用來估計母體變異的樣本變異數是

vocus|新世代的創作平台

分母為n-1而不是n的原因就是為了把它調整成不偏估計量。

Julia程式碼

using Random, Statistics
Random.seed!(0)


# 母體真實參數
trueVar, trueStd = 1/12, sqrt(1/12)


# 點估計之值
function estVar(n)
sample = rand(n)
sum((sample .- 0.5).^2)/n
end
# 計算點估計之期望值和母體真實參數之間是否有誤差
# 也就是說點估計是否為不偏
N = 10^7
for n in 5:5:30
biasVar = mean([estVar(n) for _ in 1:N]) - trueVar
biasStd = mean([sqrt(estVar(n)) for _ in 1:N]) - trueStd
println("n = ",n, " Var bias: ", round(biasVar, digits=5),
"\t Std bias: ", round(biasStd, digits=5))
end

Output

n = 5 Var bias: 1.0e-5
Std bias: -0.00642
n = 10 Var bias: 1.0e-5
Std bias: -0.00303
n = 15 Var bias: 0.0
Std bias: -0.00199
n = 20 Var bias: -1.0e-5
Std bias: -0.00148
n = 25 Var bias: -1.0e-5
Std bias: -0.00117
n = 30 Var bias: 0.0
Std bias: -0.00098

可以很清楚的察覺,隨著觀察值數量的增加,點估計的誤差也越來越小,這意味著點估計估計得越來越準。

留言
avatar-img
詹永裕的沙龍
6會員
25內容數
詹永裕的沙龍的其他內容
2020/12/09
Almost every Uyghur has to experience the camps, which China’s government calls “vocational education and training centers.
Thumbnail
2020/12/09
Almost every Uyghur has to experience the camps, which China’s government calls “vocational education and training centers.
Thumbnail
2020/11/15
Flow is a state in which a person performing some activity is fully immersed in a feeling of energized focus, enjoyment, and lost a sense of time.
Thumbnail
2020/11/15
Flow is a state in which a person performing some activity is fully immersed in a feeling of energized focus, enjoyment, and lost a sense of time.
Thumbnail
2020/11/05
Only a “good leader” can help teams become better, promote group operations, and boost organizations’ performance.
Thumbnail
2020/11/05
Only a “good leader” can help teams become better, promote group operations, and boost organizations’ performance.
Thumbnail
看更多
你可能也想看
Thumbnail
本文分析導演巴里・柯斯基(Barrie Kosky)如何運用極簡的舞臺配置,將布萊希特(Bertolt Brecht)的「疏離效果」轉化為視覺奇觀與黑色幽默,探討《三便士歌劇》在當代劇場中的新詮釋,並藉由舞臺、燈光、服裝、音樂等多方面,分析該作如何在保留批判核心的同時,觸及觀眾的觀看位置與人性幽微。
Thumbnail
本文分析導演巴里・柯斯基(Barrie Kosky)如何運用極簡的舞臺配置,將布萊希特(Bertolt Brecht)的「疏離效果」轉化為視覺奇觀與黑色幽默,探討《三便士歌劇》在當代劇場中的新詮釋,並藉由舞臺、燈光、服裝、音樂等多方面,分析該作如何在保留批判核心的同時,觸及觀眾的觀看位置與人性幽微。
Thumbnail
5 月將於臺北表演藝術中心映演的「2026 北藝嚴選」《海妲・蓋柏樂》,由臺灣劇團「晃晃跨幅町」製作,本文將以從舞台符號、聲音與表演調度切入,討論海妲・蓋柏樂在父權社會結構下的困境,並結合榮格心理學與馮.法蘭茲對「阿尼姆斯」與「永恆少年」原型的分析,理解女人何以走向精神性的操控、毀滅與死亡。
Thumbnail
5 月將於臺北表演藝術中心映演的「2026 北藝嚴選」《海妲・蓋柏樂》,由臺灣劇團「晃晃跨幅町」製作,本文將以從舞台符號、聲音與表演調度切入,討論海妲・蓋柏樂在父權社會結構下的困境,並結合榮格心理學與馮.法蘭茲對「阿尼姆斯」與「永恆少年」原型的分析,理解女人何以走向精神性的操控、毀滅與死亡。
Thumbnail
在使用Mplus進行統計分析時,我們需要設定各種估計方法,但很多同學可能不知道各種估計方法的適用時機,本文將簡介各種常見的估計法。
Thumbnail
在使用Mplus進行統計分析時,我們需要設定各種估計方法,但很多同學可能不知道各種估計方法的適用時機,本文將簡介各種常見的估計法。
Thumbnail
要觀察一個數值的集合有很多方法,透過這些方法得出數值集合的某些特徵,可以讓我們除了「感覺」外,能有更「理性客觀」的方式來理解這個數值集合的特徵。 眾數:一個集合中出現最多次的那個元素,以此作為一個集合的代表性特徵算是很直覺的作法。但缺點是,以眾數作為一個集合的標籤,我們無法透過眾數得知
Thumbnail
要觀察一個數值的集合有很多方法,透過這些方法得出數值集合的某些特徵,可以讓我們除了「感覺」外,能有更「理性客觀」的方式來理解這個數值集合的特徵。 眾數:一個集合中出現最多次的那個元素,以此作為一個集合的代表性特徵算是很直覺的作法。但缺點是,以眾數作為一個集合的標籤,我們無法透過眾數得知
Thumbnail
這是一場修復文化與重建精神的儀式,觀眾不需要完全看懂《遊林驚夢:巧遇Hagay》,但你能感受心與土地團聚的渴望,也不急著在此處釐清或定義什麼,但你的在場感受,就是一條線索,關於如何找著自己的路徑、自己的聲音。
Thumbnail
這是一場修復文化與重建精神的儀式,觀眾不需要完全看懂《遊林驚夢:巧遇Hagay》,但你能感受心與土地團聚的渴望,也不急著在此處釐清或定義什麼,但你的在場感受,就是一條線索,關於如何找著自己的路徑、自己的聲音。
Thumbnail
上一篇文章中, 我們向大家介紹了點估計, 提出了許多點估計會有的問題, 也給出了一些其他的替代方案, 今天我們將會從資料分散程度的角度切入, 跟大家分享另外一種做法。
Thumbnail
上一篇文章中, 我們向大家介紹了點估計, 提出了許多點估計會有的問題, 也給出了一些其他的替代方案, 今天我們將會從資料分散程度的角度切入, 跟大家分享另外一種做法。
Thumbnail
Durbin-Watson test,對模組的殘差項進行相關聯性檢定,常應用於迴歸分析以及需要限制殘差項要為獨立常態分配。不過我在應用上更關心價格資料是否有聚集在均線附近,若有則可以判定盤整盤,反之則有趨勢發生,相關統計檢定計算步驟詳列如下
Thumbnail
Durbin-Watson test,對模組的殘差項進行相關聯性檢定,常應用於迴歸分析以及需要限制殘差項要為獨立常態分配。不過我在應用上更關心價格資料是否有聚集在均線附近,若有則可以判定盤整盤,反之則有趨勢發生,相關統計檢定計算步驟詳列如下
Thumbnail
背景:從冷門配角到市場主線,算力與電力被重新定價   小P從2008進入股市,每一個時期的投資亮點都不同,記得2009蘋果手機剛上市,當時蘋果只要在媒體上提到哪一間供應鏈,隔天股價就有驚人的表現,當時光學鏡頭非常熱門,因為手機第一次搭上鏡頭可以拍照,也造就傳統相機廠的殞落,如今手機已經全面普及,題
Thumbnail
背景:從冷門配角到市場主線,算力與電力被重新定價   小P從2008進入股市,每一個時期的投資亮點都不同,記得2009蘋果手機剛上市,當時蘋果只要在媒體上提到哪一間供應鏈,隔天股價就有驚人的表現,當時光學鏡頭非常熱門,因為手機第一次搭上鏡頭可以拍照,也造就傳統相機廠的殞落,如今手機已經全面普及,題
Thumbnail
本文章收集與評論三個體現「精準度-可解釋性權衡 (Accuracy-Interpretability Tradeoff)」的例子。 在詐欺偵測的數據集中,本來預期要觀察到的權衡,似乎並沒有出現。這令人非常好奇這個權衡的故事,源頭是哪邊。 本文章收錄三個,對於此權衡的認知升級。
Thumbnail
本文章收集與評論三個體現「精準度-可解釋性權衡 (Accuracy-Interpretability Tradeoff)」的例子。 在詐欺偵測的數據集中,本來預期要觀察到的權衡,似乎並沒有出現。這令人非常好奇這個權衡的故事,源頭是哪邊。 本文章收錄三個,對於此權衡的認知升級。
Thumbnail
很多時候我們會聽到,現在股價高檔要留意下修的風險或現在的股價在低檔可以開始進行布局,這時你心中一定會想,股價的高檔或是低檔這些位階,是如何判斷的?這次我將告訴你,我如何透過『相對位階估價法』評估股價的位階,同時我也會告訴你這種『相對位階估價法』的缺點,避免你陷入投資方法的誤區。
Thumbnail
很多時候我們會聽到,現在股價高檔要留意下修的風險或現在的股價在低檔可以開始進行布局,這時你心中一定會想,股價的高檔或是低檔這些位階,是如何判斷的?這次我將告訴你,我如何透過『相對位階估價法』評估股價的位階,同時我也會告訴你這種『相對位階估價法』的缺點,避免你陷入投資方法的誤區。
Thumbnail
由 醜媳婦總是要見公婆-績效報表 的最佳化報表可知,無論我們將連續創高或創低的K棒數如何改變,均不可能讓淨利變正,代表我們不可能靠單一個指標值來獲利,此時改善方式只能再回到觀察圖表,由圖表中的訊號觀察是否有什麼改善方式。 由圖表中可發現當標示的紅點或綠點離均線越遠,則進場的時機點越好,如果可以增加
Thumbnail
由 醜媳婦總是要見公婆-績效報表 的最佳化報表可知,無論我們將連續創高或創低的K棒數如何改變,均不可能讓淨利變正,代表我們不可能靠單一個指標值來獲利,此時改善方式只能再回到觀察圖表,由圖表中的訊號觀察是否有什麼改善方式。 由圖表中可發現當標示的紅點或綠點離均線越遠,則進場的時機點越好,如果可以增加
Thumbnail
多元線性迴歸分析(Multiple regression analysis)是一種統計學方法,用於探索多個解釋變量對一個目標變量的影響。它是建立在線性迴歸分析的基礎上的,多元迴歸分析用於探討多個預測變數及一個依變數之間的關係,並且每個變項都是連續變項。本文將介紹多元迴歸分析概念。
Thumbnail
多元線性迴歸分析(Multiple regression analysis)是一種統計學方法,用於探索多個解釋變量對一個目標變量的影響。它是建立在線性迴歸分析的基礎上的,多元迴歸分析用於探討多個預測變數及一個依變數之間的關係,並且每個變項都是連續變項。本文將介紹多元迴歸分析概念。
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News