偏最小二乘回歸

偏最小二乘法是一種數(shù)學(xué)優(yōu)化技術(shù)，它通過(guò)最小化誤差的平方和找到一組數(shù)據(jù)的最佳函數(shù)匹配，用最簡(jiǎn)的方法求得一些絕對(duì)不可知的真值，而令誤差平方之和為最小，很多其他的優(yōu)化問(wèn)題也可通過(guò)最小化能量或最大化熵用最小二乘形式表達(dá)。

嶺回歸分析是一種修正的最小二乘估計(jì)法，當(dāng)自變量系統(tǒng)中存在多重相關(guān)性時(shí)，它可以提供一個(gè)比最小二乘法更為穩(wěn)定的估計(jì)，并且回歸系數(shù)的標(biāo)準(zhǔn)差也比最小二乘估計(jì)的要小。

根據(jù)高斯馬爾科夫定理，多重相關(guān)性并不影響最小二乘估計(jì)量的無(wú)偏性和最小方差性。但是，雖然最小二乘估計(jì)量在所有線性無(wú)偏估計(jì)量中是方差最小的，但是這個(gè)方差卻不一定小，于是可以找一個(gè)有偏估計(jì)量，這個(gè)估計(jì)量雖然有微小的偏差，但它的精度卻能夠大大高于無(wú)偏的估計(jì)量。