线性代数--MIT18.06(十六)
正文共：1171 字 54 图 预计阅读时间： 3 分钟
16. 投影矩阵和最小二乘
16.1 课程内容：投影矩阵和最小二乘
由上一讲内容我们已经知道，投影矩阵
考虑两种极端的情况，也就是
本来就在列空间之中，那么投影之后依然是它自己，即
; 另外一种情况就是
正交于列空间，也就是说 Pb=0 。考虑
就是考虑
在列空间的分量即投影
和其在左零空间的分量即误差
。
从几何的角度来看，
, 那么
,也就是说
就是将
投影到左零空间的投影矩阵。
由上一讲我们知道了，投影正是为了让我们可以在
无解的时候可以有解可求，从投影的角度来看的话，实际上我们就是要找出
，那么从
的角度呢？我们知道
构成了投影的列空间，并且是正交于
的，也就是说，此时
的长度是最小的，即此时的投影是最接近于
的，那么我们就得到了最优解，做一下转化，也就是说
是最小的！这就是最小二乘。
以拟合直线的例子来做一下讲解。
求 (1,1)，(2,2)，(3,2) 三个点的拟合直线
。
对于求解最佳的拟合直线，我们自然是希望直线离三个点的距离之和是最小的，这个距离实际上就是
的长度，也就是
为了得到最小的距离（误差）和，对其平方是一个防止为负的选择，由此求拟合直线也就转化为求解下式的最小值问题
对
求偏导就可以得到
那么从矩阵的角度来看这个问题呢？ 该拟合直线的问题就是求解
可以发现
中两列不相关，
不在列空间之中，因此该等式不成立。 由上一讲的内容，我们可以得到
由此可以发现，我们得到了和从几何角度出发同样的方程组，也即同样的解。
最后我们证明下我们在上一讲的最后得到的结论
也就是说
有解当且仅当
可逆，也即
满秩，也就是说
的各列向量线性无关。此时
的零空间只有零向量。换句话来说就是，当我们需要求解投影之后的解之前，需要先去求解原始系数矩阵
的列空间的基，以该基构建新的系数矩阵
的表示，由该新的系数矩阵
，我们可以求得投影矩阵，投影和最优解。
即：
的各列线性无关，那么
可逆
证明过程如下:
为了证明
可逆，即需要证明
的零空间中只有零向量。
对于
等式两边同时左乘
, 可以得到
也就是说
的长度为 0，同时
各列线性无关，那么
的零空间只有零向量，也就是说
的解只有零向量，那么
的解也就只有零向量了，所以命题成立。
16.2 最小二乘习题课
2011年最小二乘逼近
求解 (1,1)，(2,5)，(-1，-2) 这三个点的最佳拟合二次曲线，并且该曲线过原点。
解答
由题意可以写出
即二次曲线为
