我们为什么需要投影矩阵呢?比如我们有下边一组方程:
x+d=1
2x+d=2
3x+d=2
需要求解x和d的值,很明显这个方程组没有解。两个未知数,但是有3个等式。这个很像一个线性回归问题,x的系数(1,2,3)是一个feature,d的系数(1,1,1)也是一个feature。1,2,2是一组leabel。我们需要找出对上边的feature和label拟合最好的直线的斜率也就是x和截距d。

对于线性回归一般都用最小二乘法,然后对x,d分别求偏导,让偏导为0。从而得到x和d的值。我们可以来求解一下:
首先我们最小化的目标是:
{(x+d-1)}^2+{(2x+d-2)}^2+{(3x+d-2)}^2
分别对x和d求偏导,并让他们等于0,则有:
28x+12d-22=0
6x+12d-10=0
则可以得到x=\frac{1}{2} d=\frac{2}{3}

那我们能不能从线性代数的视角来解决这个问题呢?为什么这个方程组没有解呢?因为b不在A的列空间里。
A=\begin{bmatrix}1 & 1\\ 2 & 1\\ 3 & 1\end{bmatrix}
b=\begin{bmatrix}1\\ 2 \\ 2\end{bmatrix}
那这里我们是否可以用投影矩阵把b投影到A上呢?当然可以,我们来试试:
假设投影为p,p=Ax。则有b-Ax和A是垂直的,所以:
A^{T}(b-Ax)=0
所以:
A^{T}Ax=A^{T}b
我们将A,A的转置和b带入,就可以求得x为(\frac{1}{2},\frac{2}{3})
这个x,和我们通过微分法求得的值一样。
有了这个x,我们可以求得p = Ax,以及误差e = b-p。
p=(\frac{5}{6},\frac{10}{6},\frac{13}{6})
e=(-\frac{1}{6},\frac{2}{6},-\frac{1}{6})
我们发现p和e的点乘为0,说明p和e是垂直的,这也是我们期望的。同时e也垂直于A,也就是和A的列空间里的每一个向量都垂直。

发表评论

电子邮件地址不会被公开。 必填项已用*标注

%d 博主赞过: