学习笔记DL005:线性相关、生成子空间，范数，特殊类型矩阵、向量
原创学习笔记DL005:线性相关、生成子空间，范数，特殊类型矩阵、向量
原创
线性相关、生成子空间。
逆矩阵A?-1?存在，Ax=b 每个向量b恰好存在一个解。方程组，向量b某些值，可能不存在解，或者存在无限多个解。x、y是方程组的解，z=αx+(1-α)，α取任意实数。
A列向量看作从原点(origin，元素都是零的向量)出发的不同方向，确定有多少种方法到达向量b。向量x每个元素表示沿着方向走多远。xi表示沿第i个向量方向走多远。Ax=sumixiA:,i。线性组合(linear combination)。一组向量线性组合，每个向量乘以对应标量系数的和。sumiciv?i?。一组向量的生成子空间(span)是原始向量线性组合后能抵达的点的集合。确定Ax=b是否有解，相当于确定向量b是否在A列向量的生成子空间中。A的列空间(column space)或A的值域(range)。方程Ax=b对任意向量b∈??m?都存在解，要求A列空间构成整个??m?。??m?点不在A列空间，对应b使方程没有解。矩阵A列空间是整个??m?的要求，A至少有m列，n>=m。否则，A列空间维数小于m。
列向量冗余为线性相关(linear dependence)。一组向量任意一个向量都不能表示成其他向量的线性组合，线性无关(linearly independent)。某个向量是一组向量中某些向量的线性组合，这个向量加入这组向量不会增加这组向量的生成子空间。一个矩阵列空间涵盖整个??m?，矩阵必须包含一组m个线性无关的向量。是Ax=b 对每个向量b取值都有解充分必要条件。向量集只有m个线性无关列向量，不是至少m个。不存在一个m维向量集合有多于m个彼此线性不相关列向量，一个有多于m个列向量矩阵有可能有不止一个大小为m的线性无关向量集。
矩阵可逆，要保证Ax=b 对每个b值至多有一个解。要确保矩阵至多有m个列向量。矩阵必须是一个方阵(square)，m=n，且所有列向量线性无关。一个列向量线性相关方阵为奇异的(singular)。矩阵不是方阵或是奇异方阵，方程可能有解，但不能用矩阵逆求解。逆矩阵右乘AA?-1?=I。左逆、右逆相等。
范数(norm)。
衡量向量大小。L?p?：||x||p=(sumi|xi|?p?)?1/p?。p∈?，p>=1。范数(L?p?范数)，向量映射到非负值函数。向量x范数衡量从原点到点x距离。范数满足性质，f(x)=0=>x=0，f(x+y)<=f(x)+f(y)三解不等式(triangel inequality)，?α∈? f(αx)=|α|f(x)。
p=2，L?2?范数称欧几里得范数(Euclidean norm)。表示从原点出发到向量x确定点的欧几里得距离。简化||x||，略去下标2。平方L?2? 范数衡量向量大小，通过点积x?x计算。平方L?2?范数在数学、计算上比L?2?范数更方便。平方L?2?范数对x中每个元素的导数只取决对应元素。L?2?范数对每个元素的导数和整个向量相关。平方L?2?范数，在原点附近增长缓慢。
L?1?范数，在各个位置余率相同，保持简单数学形式。||x||1=sumi|xi|。机器学习问题中零和非零差异重要，用L?1?范数。当x中某个元素从0增加?，对应L?1?范数也增加?。向量缩放α倍不会改变该向量非零元素数目。L?1?范数常作为表示非零元素数目替代函数。
L?∞?范数，最大范数(max norm)。表示向量具有最大幅值元素绝对值，||x||?∞?=maxi|xi|。
Frobenius范数(Frobenius norm)，衡量矩阵大小。||A||F=sqrt(sumi,jA?2??i,j?)。
两个向量点积用范数表示，x?y=||x||2||y||2cosθ，θ表示x、y间夹角。
特殊类型矩阵、向量。
对角矩阵(diagonal matrix)，只在主对角线上有非零元素，其他位置都是零。对角矩阵，当且仅当对于所有i != j，Di,j=0。单位矩阵，对角元素全部是1。
diag(v)表示对角元素由向量v中元素给定一个对角方阵。对角矩阵乘法计算高效。计算乘法diag(v)x，x中每个元素xi放大vi倍。diag(v)x=v⊙x。计算对角方阵的逆矩阵很高效。对角方阵的逆矩阵存在，当且仅当对角元素都是非零值，diag(v)?-1?=diag(1/v1,…,1/vn?)。根据任意矩阵导出通用机器学习算法。通过将矩阵限制为对象矩阵，得到计算代价较低(简单扼要)算法。
并非所有对角矩阵都是方阵。长方形矩阵也有可能是对角矩阵。非方阵的对象矩阵没有逆矩阵，但有高效计算乘法。长方形对角矩阵D，乘法Dx涉及x每个元素缩放。D是瘦长型矩阵，缩放后末尾添加零。D是胖宽型矩阵，缩放后去掉最后元素。
对称(symmetric)矩阵，转置和自己相等矩阵。A=A?。不依赖参数顺序双参数函数生成元素，对称矩阵常出现。A是矩离度量矩阵，Ai,j表示点i到点j距离，Ai,j=Aj,i。距离函数对称。
单位向量(unit vector)，具有单位范数(unit norm)向量。||x||2=1。
x?y=0，向量x和向量y互相正交(orthogonal)。两个向量都有非零范数，两个向量间夹角90°。??至多有n个范数非零向量互相正交。向量不但互相正交，且范数为1,标准正交(orthonorma)。
正交矩阵(orthogonal matrix)，行向量和列向量是分别标准正交方阵。 A?A=AA?=I，A?-1?=A?。正交矩阵求逆计算代价小。正交矩阵行向量不仅正交，还标准正交。行向量或列向量互相正交但不标准正交矩阵，没有对应专有术语。
参考资料：
《深度学习》
欢迎推荐上海机器学习工作机会，我的微信：qingxingfengzi
我有一个微信群，欢迎一起学深度学习。
原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。
如有侵权，请联系 cloudcommunity@tencent.com 删除。
原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。
如有侵权，请联系 cloudcommunity@tencent.com 删除。