读书笔记DL006:特征分解,奇异值分解

特征分解。

平头分解质因素。

特性分解(eigendecomposition),使用最广,矩阵分解一组特征向量、特征值。方阵푨的特征向量(eigenvector),与푨相乘优良对该向量缩放非零向量푣,푨푣=λ푣。标量λ为特征向量对应特征值(eigenvalue)。左特征向量(left
eigenvector) 푣ᵀ푨=λ푣ᵀ,右特征向量(right
eigenvector)。푣是푨的特征向量,任何缩放向量푠푣(푠∈ℝ,푠≠0)也是푨的特征向量。푠푣和푣有相同特征值。只考虑单位特征向量。

矩阵푨有푛个线性毫不相关特征向量{푣⁽¹⁾,…,푣⁽ⁿ⁾},对应特征值{λ₁,…,λn}。特征向量连接成一个矩阵,每一列是一个特征向量,V=[𝑣⁽¹⁾,…,𝑣⁽ⁿ⁾]。特征值连接成一个向量흺=[λ₁,…,λn]ᵀ。푨的特性分解(eigendecomposition),记푨=Vdiag(흺)V⁻¹。

营造具有特定特征值和特征向量矩阵,在目的方向上延伸空间。矩阵分解(decompose)成物征值和特征向量,分析矩阵特定性质。

种种实对称矩阵都可以解释成实特征向量和实特征值,푨=Q횲Qᵀ。Q是푨的特征向量组成正交矩阵,횲是对角矩阵。特征值횲i,i对应特征向量是矩阵Q的第i列,记Q:,i。Q是正交矩阵,푨看作沿方向푣⁽i⁾延展λi倍空间。两多或多个特征向量拥有同样特征值,特征向量发生生成子空间,任意一组正交赂量都是该特征值对应特征向量。可等价地从特征向量构成Q替代。按降序排列횲元素。特征分解唯一当且仅当所有特征值唯一。矩阵是奇怪的当且仅当含有零特征值。实对称矩阵分解可用于优化二次方程f(x)=xᵀ푨x,限制||x||₂=1。x等于푨某个特征向量,푓重回对应特征值。限制标准下,函数푓最大值是最大特征值,最小值是微小特征值。

装有特征值是正数的矩阵为正定(positive
definite)。所有特征值是非负数矩阵为半正定(positive
semidefinite)。所有特征值是负数矩阵为负定(negative
definite)。所有特征值是非正数矩阵为半负定(negative
semidefinite)。半正定矩阵,保险∀x,xᵀ푨x>=0。正定矩阵保障xᵀ푨x=0 =>
x=0。

矩阵푨有三个正规正交特征向量,对应特征值λ₁的푣⁽¹⁾对应特征值为λ₂的푣⁽²⁾。所有单位向量u∈ℝ²集合,构成一个单位圆。所有푨u点集合。푨拉伸单位圆格局,将푣⁽i⁾方向空间拉伸λi倍。

奇异值分解(singular value decomposition,SVD)。

矩阵分解为惊叹向量(singular vector)、奇异值(singular
value)。奇异值分散应用更普遍。每个实数矩阵都有一个奇异值分解。非方阵矩阵没有特色分解。奇异值分解,矩阵푨分解成两个矩阵乘积。푨=푈퐷푉ᵀ。푨是m*n矩阵,𝑈是m*m矩阵,𝐷是m*n矩阵,𝑉是n*n矩阵。矩阵经定义后有与众分裂结构。矩阵푈和푉正交矩阵。퐷对角矩阵,不肯定是方阵。

对角矩阵D对角线上元素为矩阵푨的奇异值(singular
value)。矩阵푈的列向量为左奇异向量(left singular
vector),矩阵푉的列向量为右奇异向量(right singular vector)。

能够用与푨相关特征分解解释푨的奇异值分解。푨的左奇异向量(left singular
vector)是푨푨ᵀ的特征向量。푨的右奇异向量(right singular
vector)是푨ᵀ푨的特征向量。푨的非零奇异值是푨ᵀ푨特征值的平方根,也是푨푨ᵀ特征值的平方根。

SVD最有用性质,拓展矩阵求逆到非方矩阵。

参考资料:

《深度学习》

欢迎推荐Hong Kong机械学习工作机会,我的微信:qingxingfengzi

我有一个微信群,欢迎一起学深度学习。