多變量線性回歸模型

模型參數(shù)為n+1維向量，此時模型公式為
$$h_{\theta }(x)={\theta }_0{x}_0+{\theta }_1{x}_1+{\theta }_2{x}_2+...+{\theta }_n{x}_n$$
可以簡化為
$$h_{\theta }(x)={\theta }^{\mathrm{T}}\mathrm{X}$$
此時的代價函數(shù)仍是所有建模誤差的平方和，即
$$J({\theta }_0,{\theta }_1,...,{\theta }_n)=\frac{1}{2m}\sum _{i=1}^m(h_{\theta }(x^{(i)})?y^{(i)}{)}^2$$
此時的批量梯度算法為
$${\theta }_j:={\theta }_j?\alpha \frac{?}{?{\theta }_j}J({\theta }_0,{\theta }_1,...,{\theta }_n)$$

$${\theta }_j:={\theta }_j?\alpha \frac{1}{m}\sum _{i=1}^m(h_{\theta }(x^{(i)})?y^{(i)})?x_j^{(i)}forj=0,1,...n$$

特征縮放

在多維特征問題中，特征尺度越相近，梯度下降算法收斂越快。 盡量將特征尺度$x_n$縮放到-1~1之間。${\mu }_n$是平均值，$s_n$是方差。
$$x_n=\frac{x_n?{\mu }_n}{s_n}$$

學習率

我們不能提前預知梯度下降算法收斂所需的迭代次數(shù)，但可以通過繪制迭代次數(shù)和代價函數(shù)的圖表來觀測算法在何時趨于收斂。

常用的學習率為0.01，0.03，0.1，0.3，1，3，10

多項式回歸

線性回歸不適用所有的模型，有時候可能需要二次方、三次方等模型，比如
$$h_{\theta }(x)={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2^2+{\theta }_3{x}_3^3$$

$$h_{\theta }(x)={\theta }_0+{\theta }_1{x}_1+{\theta }_2{\sqrt{x}}_2$$

正規(guī)方程

通過正規(guī)方程解出向量，其中$X$為特征矩陣
$$\theta =(X^{\mathrm{T}}X{)}^{?1}{X}^{\mathrm{T}}y$$