奇异值分解

You are currently browsing articles tagged 奇异值分解.

矩阵的奇异值分解,任意秩为$r$的$m\times n$矩阵$A$都可以分解成如下形式:
$$
A=UDV^T,
$$
其中$U$是$m\times m$的正交矩阵,$V$是$n\times n$的正交矩阵,
$$
D=
\begin{bmatrix}
\bm{\Sigma}&\bm{O}\\
\bm{O}&\bm{O}
\end{bmatrix},
$$

$$
\bm{\Sigma}=
\begin{bmatrix}
\sigma_1&~&~&~\\
~&\sigma_2&~&~\\
~&~&&\ddots&~\\
~&~&~&~&\sigma_{r}
\end{bmatrix},
$$
$\forall 1\leq i\leq r$,$\sigma_i> 0$.

将矩阵$A$的奇异值分解变形如下:
$$
AV=UD,
$$
该式的意义非常鲜明.设正交矩阵$V$的第$i$个列向量为$\bm{v}_i$($1\leq i\leq r$),则向量$\bm{v}_i$经过矩阵$A$的作用,映射为向量$\sigma_{i}\bm{u}_i$,其中$\bm{u}_i$是矩阵$U$的第$i$个列向量.而 对于任意的$r_{j}$经过矩阵$A$的作用,映射为零向量.

矩阵$V$的前$r$个列向量形成矩阵$A$的行空间的基底,矩阵$U$的前$r$个列向量形成矩阵$A$的列空间的基底.

考虑矩阵$A$奇异值分解的转置
$$
A^T=VD^TU^T,
$$
该式可改写为
$$
A^TU=VD^T.
$$
该式的意义也非常鲜明.设正交矩阵$U$的第$i$个列向量为$\bm{u}_i(1\leq i\leq r)$,则向量$\bm{u}_{i}$经过矩阵$A^T$的作用,映射为向量$\sigma_i\bm{v}_i$,其中$\bm{v}_i$是矩阵$V$的第$i$个列向量.而对于任意的$r<j\leq m$,矩阵$U$的第$j$个列向量$\bm{u}_j$经过矩阵$A$的作用,映射为零向量.

由上面的分析,可作如下的映射图示:$\forall 1\leq i\leq r$,
$$
\bm{v}_i\stackrel{A}{\longrightarrow}\sigma_i\bm{u}_i\stackrel{A^{T}}{\longrightarrow}\sigma_i^2\bm{v}_i, $$ 即,$\forall 1\leq i\leq r$,向量$\bm{v}_{i}$在矩阵$A^TA$的作用下,会映射为向量$\sigma_i^2\bm{v}_i$.而当$j>r$时,向量$\bm{v}_j$在矩阵$A^TA$的作用下会映射为零向量.

这说明,如果忽略向量的伸长(包括反向伸长)作用,则对于向量$\bm{v}_{i}(\forall 1\leq i\leq r)$来说,矩阵$A$和矩阵$A^T$的作用效果是互逆的.这是对矩阵转置的一种直观理解.特别地,当$A$是对称矩阵时,$A=A^T$,说明对称矩阵$A$对$\bm{v}_i$的作用和矩阵$A$本身对$\bm{v}_i$的作用是互逆的,这只能说明,对于对称矩阵$A$来说,它的作用只能是伸长(或反向伸长)向量$\bm{v}_i$,这正是实对称矩阵的谱分解定理.这是对于对称矩阵的一种直观理解.

Tags: , ,

设$T$是从$\mathbf{R}^n$到$\mathbf{R}^n(n\geq 2)$的可逆线性变换.在这篇文章里,我们主要使用数学归纳法说明,必定存在$n$个两两互相正交的向量,这些向量在线性映射$T$的作用下,形成的$n$个向量依然是两两互相正交的.这样就直接地说明了任意$n\times n$可逆矩阵都存在相应的奇异值分解(SVD).

当$n=2$时,我们已经在博文直观理解SVD:二维情形里证明了命题成立.

假设在$n-1(n-1\geq 2)$的情形下命题也成立.

由博文直观理解SVD:二维情形,必定存在$\mathbf{R}^{n}$中的两个互相正交的单位向量$\mathbf{q}_1$和$\mathbf{q}_2$,使得向量$T(\mathbf{q}_1)$和$T(\mathbf{q}_2)$为正交向量.

设向量$\mathbf{q}_1$张成一维线性空间$Q_1$,向量$\mathbf{q}_2$张成一维线性空间$Q_2$.记$Q_1$在$\mathbf{R}^n$中的正交补为$Q_1^{\perp}$,$Q_2$在$\mathbf{R}^n$中的正交补为$Q_2^{\perp}$.

其实$Q_1^{\perp}$和$Q_2^{\perp}$都是$\mathbf{R}^n$中的$n-1$维线性空间.且$Q_1^{\perp}\cap Q_2^{\perp}$是$\mathbf{R}^n$中的$n-2$维子空间.

记$Q_1^{\perp},Q_2^{\perp}$在线性映射$T$的作用下分别形成$\mathbf{R}^n$中的$n-1$维子空间$T(Q_1^{\perp})$和$T(Q_2^{\perp})$.则$T(Q_1^{\perp}),T(Q_2^{\perp})$在$\mathbf{R}^n$中的正交补依次为一维线性空间$T(Q_1)$和$T(Q_2)$.且$T(Q_1)$和$T(Q_2)$的一组基底分别为$T(\mathbf{q}_1)$和$T(\mathbf{q}_2)$.

由归纳假设,存在$Q_1^{\perp}$中的$n-1$个互相正交的单位向量$\mathbf{p}_1,\cdots,\mathbf{p}_{n-1}$,使得$T(\mathbf{p}_1),\cdots,T(\mathbf{p}_{n-1})$依然互相正交.向量$T(\mathbf{p}_1),\cdots,T(\mathbf{p}_{n-1})$其实属于空间$T(Q_1^{\perp})$.

综上,存在$\mathbf{R}^n$中的$n$个两两互相正交的向量$\mathbf{q}_{1},\mathbf{p}_1,\cdots,\mathbf{p}_{n-1}$,使得$T(\mathbf{q}_1),T(\mathbf{p}_1),\cdots,T(\mathbf{q}_{n-1})$依然是两两互相正交的.这样就给予$n$阶可逆矩阵的奇异值分解(SVD)一个直观的解释.

Tags:

设$T$是从$\mathbf{R}^3$到$\mathbf{R}^3$的可逆线性变换.$W$是$\mathbf{R}^3$的一个二维子空间.由博文直观理解SVD:二维情形,必定存在$W$中的两个互相正交的单位向量$\mathbf{q}_1$和$\mathbf{q}_2$,使得向量$T(\mathbf{q}_1)$和$T(\mathbf{q}_2)$为正交向量.

设向量$\mathbf{q}_1$张成一维线性空间$Q_1$,向量$\mathbf{q}_2$张成一维线 性空间$Q_2$.则在直观上,$Q_{1},Q_{2}$是三维空间中互相垂直的直线.记$Q_1$在$\mathbf{R}^3$中的正交补为$Q_1^{\perp}$,$Q_2$在$\mathbf{R}^3$中的正交补为$Q_2^{\perp}$.

其实$Q_1^{\perp}$和$Q_2^{\perp}$都是$\mathbf{R}^3$中的二维线性空间.且$Q_1^{\perp}\cap Q_2^{\perp}$是$\mathbf{R}^3$的一维子空间.形象地说,$Q_1^{\perp}$和$Q_2^{\perp}$是三维空间中两个互相垂直的平面.

记$Q_1^{\perp},Q_2^{\perp}$在线性映射$T$的作用下分别形成$\mathbf{R}^3$中的二维子空间$T(Q_1^{\perp})$和$T(Q_2^{\perp})$.则$T(Q_1^{\perp}),T(Q_2^{\perp})$在$\mathbf{R}^3$中的正交补依次为一维线性空间$T(Q_1)$和$T(Q_2)$.且$T(Q_1)$和$T(Q_2)$的一组基底分别为$T(\mathbf{q}_1)$和$T(\mathbf{q}_2)$.

由博文直观理解SVD:二维情形 ,必定存在$Q_1^{\perp}$中的两个互相正交的单位向量$\mathbf{p}_1$和$\mathbf{p}_2$,使得$T(\mathbf{p}_1)$和$T(\mathbf{p}_2)$依然互相正交.向量$T(\mathbf{p}_1)$和$T(\mathbf{p}_2)$其实属于空间$T(Q_1^{\perp})$.

综上,存在$\mathbf{R}^3$中的三个两两互相正交的向量$\mathbf{p}_1,\mathbf{p}_2,\mathbf{q}_1$,使得$T(\mathbf{p}_1),T(\mathbf{p}_2),T(\mathbf{q}_1)$依然是互相正交的.这样就给予三阶可逆矩阵的奇异值分解(SVD)一个直观的解释.

Tags:

设$T$是从$\mathbf{R}^2$到$\mathbf{R}^2$的可逆线性变换.
$$(\mathbf{q}_1,\mathbf{q}_2)=\left( \begin{bmatrix} \cos\theta\\ \sin\theta \end{bmatrix}, \begin{bmatrix} -\sin\theta\\ \cos\theta \end{bmatrix}\right) $$ 是$\mathbf{R}^2$的一组单位正交基底.则$(T(\mathbf{q}_1),T(\mathbf{q}_2))$也是$\mathbf{R}^2$的一组基底,但未必 是正交基底.设向量$T(\mathbf{q}_1)$和向量$T(\mathbf{q}_2)$的夹角为$\theta$.

(1)如果$\theta=\frac{\pi}{2}$,则$(T(\mathbf{q}_{1}),T(\mathbf{q}_{2}))$已经是$\mathbf{R}^2$ 的一组正交基底.

(2)如果$\theta<\frac{\pi}{2}$(或$\theta>\frac{\pi}{2}$)则考虑单位正交基底 $(\mathbf{q}_2,-\mathbf{q}_1)$.向量$T(\mathbf{q}_2)$与向量 $T(-\mathbf{q}_1)=-T(\mathbf{q}_1)$的夹角必定为$\pi-\theta$, 这是一个钝(锐)角.设向量 $$ \mathbf{p}_{1,t}=
\begin{bmatrix}
\cos t&-\sin t\\
\sin t&\cos t
\end{bmatrix}
\begin{bmatrix}
\cos\theta\\
\sin\theta
\end{bmatrix},\mathbf{p}_{2,t}= \begin{bmatrix} \cos t&-\sin t\\ \sin t&\cos t \end{bmatrix} \begin{bmatrix} -\sin\theta\\ \cos\theta \end{bmatrix}, t\in [0,\frac{\pi}{2}]. $$ 则$(\mathbf{p}_{1,t},\mathbf{p}_{2,t})$也是$\mathbf{R}^2$的一组正交基底,当$t$ 从$0$连续变化到$\frac{\pi}{2}$时,基底$(\mathbf{p}_{1,t},\mathbf{p}_{2,t})$从 $(\mathbf{q}_{1},\mathbf{q}_{2})$连续变化到 $(\mathbf{q}_2,-\mathbf{q}_1)$.因此,当$t$从$0$连续变化到 $\frac{\pi}{2}$时,基底 $(T(\mathbf{\mathbf{p}}_{1,t}),T(\mathbf{p}_{2,t}))$从$(T(\mathbf{q}_1),T(\mathbf{q}_{2}))$连续变化到$(T(\mathbf{q}_2),-T(\mathbf{q}_1))$,于是基底$(T(\mathbf{\mathbf{p}}_{1,t}),T(\mathbf{p}_{2,t}))$中两个基向量的夹角 从$\theta$连续变化到$\pi-\theta$.由连续函数的介值定理,必定存在$t_0\in [0,\frac{\pi}{2}]$,使得基底 $(T(\mathbf{\mathbf{p}}_{1,t_{0}}),T(\mathbf{p}_{2,t{0}}))$中两个基向量的夹角为$\frac{\pi}{2}$.于是,线性变换$T$将$\mathbf{R}^2$的一组单位正交基底$(\mathbf{p}_{1,t{0}},\mathbf{p}_{2,t{0}})$映射为一组正交基底$(T(\mathbf{\mathbf{p}}_{1,t{0}}),T(\mathbf{p}_{2,t{0}}))$.


可见,无论是哪种情况,必定存在$\mathbf{R}^2$的一组单位正交基底$\alpha$和一组正交基底$\beta$,使得$\alpha$中的两个基向量在线性映射$T$的作用下变成$\beta$中的两个基向量.这样就在二维情形直观地说明了任意的$2\times 2$可逆矩阵必定存在奇异值分解(SVD).至于在高维情形以及不可逆矩阵的情形,我将在后续博文中讨论.

Tags:

由矩阵的奇异值分解可知,任意秩为$r$的$m\times n$实矩阵$A$都可以分解
成$UDV^{T}$的形式,其中$U$是$m\times m$正交阵,$V$是$n\times n$正交阵,$D$是形如
$$
\begin{pmatrix}
\Sigma&\mathbf{O}\\
\mathbf{O}&\mathbf{O}
\end{pmatrix}
$$
的矩阵,且
$$
\Sigma=
\begin{pmatrix}
\sigma_1&~&~&~\\
~&\sigma_2&~&~\\
~&~&\ddots&~\\
~&~&~&\sigma_{r}
\end{pmatrix}
$$
下面我们求矩阵$A$的Moore-Penrose广义逆所具有的表达式.

设$\mathbf{x}\in \mathbf{R}^{n}$,$\mathbf{b}\in \mathbf{R}^{m}$.则线性方程组$A\mathbf{x}=\mathbf{b}$可能是相容的,也可能是不相容的.

设向量$\mathbf{b}$在$A$的列空间上的射影向量为$\overline{\mathbf{b}}$,先求$\overline{\mathbf{b}}$的表达式.矩阵$A$的列空间和矩阵$UD$的列空间是一致的,而矩阵$UD$的列空间是由矩阵$U$的前$r$个列向量张成的.因此矩阵$A$的列空间是由矩阵$U$的前$r$个列向量张成的.只保留矩阵$U$的前$r$个列向量,得到矩阵$\overline{U}$.则
$$
\overline{\mathbf{b}}=\overline{U}(\overline{U})^{T}\mathbf{b}.
$$
虽然$A\mathbf{x}=\mathbf{b}$可能无解,但是$A\mathbf{x}=\overline{\mathbf{b}}$一定有解.即方程组
$$
A\mathbf{x}=\overline{U}(\overline{U})^T\mathbf{b}
$$
必定有解.即方程组
$$
UDV^T\mathbf{x}=\overline{U}(\overline{U})^T\mathbf{b}
$$
必定有解.

而且,矩阵$U$和矩阵$\overline{U}$具有关系:
$$
\overline{U}=UI_{m,r},
$$
其中矩阵$I_{m,r}$是$m\times r$矩阵,且对于任意的$1\leq i\leq r$,矩阵$I_{m,r}$的第$i$行第$i$列元素为$1$,其余元素都为$0$.

因此,
$$
UDV^T\mathbf{x}=\overline{U}(\overline{U})^T\mathbf{b}=UI_{m,r}I_{m,r}^TU^{T}\mathbf{b},
$$

\begin{equation}\label{eq:1}
DV^{T}\mathbf{x}=I_{m,r}I_{m,r}^TU^T\mathbf{b}.
\end{equation}

然后将解$\mathbf{x}$投影到矩阵$A$的行空间上:

设向量$\mathbf{x}$在$A$的行空间上的射影向量为$\overline{\mathbf{x}}$.下面来求$\overline{\mathbf{x}}$的表达式.首先,矩阵$A$的行空间等于矩阵$A^T$的列空间.由$A^{T}=VD^TU^T$可知,矩阵$A^T$的列空间由矩阵$V$的前$r$个列向量张成.因此矩阵$A$的行空间由矩阵$V$的前$r$个列向量张成.所以向量$\mathbf{x}$在矩阵$A$的行空间上的射影向量$\overline{\mathbf{x}}=\overline{V}(\overline{V})^{T}\mathbf{x}$.

矩阵$V$和矩阵$\overline{V}$的关系是$\overline{V}=VI_{n,r}$,其中矩阵$I_{n,r}$是$n\times r$矩阵,且对于任意的$1\leq i\leq r$,矩阵$I_{n,r}$的第$i$行第$i$列元素为$1$,其余元素都为$0$.

因此,
$$
\overline{\mathbf{x}}=\overline{V}(\overline{V})^T\mathbf{x}=VI_{n,r}I_{n,r}^TV^T\mathbf{x},
$$

\begin{equation}\label{eq:2}
V^T\overline{\mathbf{x}}=I_{n,r}I_{n,r}^TV^T\mathbf{x}.
\end{equation}
在方程\eqref{eq:1}两边同时乘上$n\times m$矩阵$D^{+}$,其中矩阵
$$
D^{+}=
\begin{pmatrix}
\Sigma^{-1}&\mathbf{O}\\
\mathbf{O}&\mathbf{O}
\end{pmatrix}
$$
可得
\begin{equation}\label{eq:3}
I_{n,r}I_{n,r}^TV^T\mathbf{x}=D^{+}U^T\mathbf{b}.
\end{equation}
将方程\eqref{eq:2}代入方程\eqref{eq:3}可得
$$
V^T\overline{\mathbf{x}}=D^{+}U^{T}\mathbf{b},
$$

$$
\overline{\mathbf{x}}=VD^{+}U^{T}\mathbf{b}.
$$
所以矩阵$A$的Moore-Penrose广义逆是$VD^{+}U^{T}$.

注意:文章有一个例外需要分开来讨论,即$D$是零矩阵时,$\Sigma^{-1}$是不存在的.但是文章最终的结论:$A$的M-P广义逆是$VD^+U^T$照样成立.

Tags: ,

在此,我们通过两个例子,来说明如何求任何一个矩阵的奇异值分解(SVD):

 

例1:求$A=
\begin{bmatrix}
3&2&2\\
2&3&-2
\end{bmatrix}
$的奇异值分解.

解:
$$
A^TA=
\begin{bmatrix}
3&2\\
2&3\\
2&-2
\end{bmatrix}
\begin{bmatrix}
3&2&2\\
2&3&-2
\end{bmatrix}=
\begin{bmatrix}
13&12&2\\
12&13&-2\\
2&-2&8
\end{bmatrix}.
$$
将矩阵$A^TA$谱分解:
$$
A^TA=UDU^{T}=
\begin{bmatrix}
\frac{1}{\sqrt{2}}&\frac{1}{3 \sqrt{2}}&\frac{2}{3}\\
\frac{1}{\sqrt{2}}&\frac{-1}{3 \sqrt{2}}&-\frac{2}{3}\\
0&\frac{4}{3 \sqrt{2}}&-\frac{1}{3}
\end{bmatrix}
\begin{bmatrix}
25&0&0\\
0&9&0\\
0&0&0
\end{bmatrix}
\begin{bmatrix}
\frac{1}{\sqrt{2}}&\frac{1}{3 \sqrt{2}}&\frac{2}{3}\\
\frac{1}{\sqrt{2}}&\frac{-1}{3 \sqrt{2}}&-\frac{2}{3}\\
0&\frac{4}{3 \sqrt{2}}&-\frac{1}{3}
\end{bmatrix}^{T}
$$
因此
$$
AU=
\begin{bmatrix}
3&2&2\\
2&3&-2
\end{bmatrix}
\begin{bmatrix}
\frac{1}{\sqrt{2}}&\frac{1}{3 \sqrt{2}}&\frac{2}{3}\\
\frac{1}{\sqrt{2}}&\frac{-1}{3 \sqrt{2}}&-\frac{2}{3}\\
0&\frac{4}{3 \sqrt{2}}&-\frac{1}{3}
\end{bmatrix}=
\begin{bmatrix}
\frac{5}{\sqrt{2}}&\frac{3}{\sqrt{2}}&0\\
\frac{5}{\sqrt{2}}&-\frac{3}{\sqrt{2}}&0
\end{bmatrix}=
\begin{bmatrix}
\frac{1}{\sqrt{2}}&\frac{1}{\sqrt{2}}\\
\frac{1}{\sqrt{2}}&-\frac{1}{\sqrt{2}}
\end{bmatrix}
\begin{bmatrix}
5&0&0\\
0&3&0
\end{bmatrix}.
$$
矩阵$AU$中的列向量必定两两互相正交,这是因为,
$$
(AU)^T(AU)=U^T(A^TA)U=U^T(UDU^T)U=D.
$$
因此
$$
A=
\begin{bmatrix}
\frac{1}{\sqrt{2}}&\frac{1}{\sqrt{2}}\\
\frac{1}{\sqrt{2}}&-\frac{1}{\sqrt{2}}
\end{bmatrix}
\begin{bmatrix}
5&0&0\\
0&3&0
\end{bmatrix}U^{-1}=
\begin{bmatrix}
\frac{1}{\sqrt{2}}&\frac{1}{\sqrt{2}}\\
\frac{1}{\sqrt{2}}&-\frac{1}{\sqrt{2}}
\end{bmatrix}
\begin{bmatrix}
5&0&0\\
0&3&0
\end{bmatrix}
\begin{bmatrix}
\frac{1}{\sqrt{2}}&\frac{1}{\sqrt{2}}&0\\
\frac{1}{3 \sqrt{2}}&-\frac{1}{3 \sqrt{2}}&\frac{4}{3 \sqrt{2}}\\
\frac{2}{3}&-\frac{2}{3}&-\frac{1}{3}
\end{bmatrix}.
$$

 

例2:
求矩阵$A=
\begin{bmatrix}
1&0&1\\
0&1&1\\
0&0&0
\end{bmatrix}
$的奇异值分解.

解:
$$
A^TA=
\begin{bmatrix}
1&0&0\\
0&1&0\\
1&1&0
\end{bmatrix}
\begin{bmatrix}
1&0&1\\
0&1&1\\
0&0&0
\end{bmatrix}=
\begin{bmatrix}
1&0&1\\
0&1&1\\
1&1&2
\end{bmatrix}.
$$
将矩阵$A^TA$谱分解:
$$
A^TA=UDU^T=
\begin{bmatrix}
\frac{1}{\sqrt{6}}&\frac{1}{\sqrt{2}}&\frac{1}{\sqrt{3}}\\
\frac{1}{\sqrt{6}}&-\frac{1}{\sqrt{2}}&\frac{1}{\sqrt{3}}\\
\frac{2}{\sqrt{6}}&0&-\frac{1}{\sqrt{3}}
\end{bmatrix}
\begin{bmatrix}
3&0&0\\
0&1&0\\
0&0&0
\end{bmatrix}\begin{bmatrix}
\frac{1}{\sqrt{6}}&\frac{1}{\sqrt{2}}&\frac{1}{\sqrt{3}}\\
\frac{1}{\sqrt{6}}&-\frac{1}{\sqrt{2}}&\frac{1}{\sqrt{3}}\\
\frac{2}{\sqrt{6}}&0&-\frac{1}{\sqrt{3}}
\end{bmatrix}^{T}
$$
则矩阵
$$
AU=
\begin{bmatrix}
1&0&1\\
0&1&1\\
0&0&0
\end{bmatrix}
\begin{bmatrix}
\frac{1}{\sqrt{6}}&\frac{1}{\sqrt{2}}&\frac{1}{\sqrt{3}}\\
\frac{1}{\sqrt{6}}&-\frac{1}{\sqrt{2}}&\frac{1}{\sqrt{3}}\\
\frac{2}{\sqrt{6}}&0&\frac{-1}{\sqrt{3}}
\end{bmatrix}=
\begin{bmatrix}
\frac{3}{\sqrt{6}}&\frac{1}{\sqrt{2}}&0\\
\frac{3}{\sqrt{6}}&\frac{-1}{\sqrt{2}}&0\\
0&0&0
\end{bmatrix}=
\begin{bmatrix}
\frac{1}{\sqrt{2}}&\frac{1}{\sqrt{2}}&0\\
\frac{1}{\sqrt{2}}&-\frac{1}{\sqrt{2}}&0\\
0&0&1
\end{bmatrix}
\begin{bmatrix}
\sqrt{3} & 0& 0\\
0 & 1
&0\\
0&0&0
\end{bmatrix}
$$
因此
$$
A=\begin{bmatrix}
\frac{1}{\sqrt{2}}&\frac{1}{\sqrt{2}}&0\\
\frac{1}{\sqrt{2}}&-\frac{1}{\sqrt{2}}&0\\
0&0&1
\end{bmatrix}
\begin{bmatrix}
\sqrt{3} & 0& 0\\
0 & 1
&0\\
0&0&0
\end{bmatrix}U^{-1}=\begin{bmatrix}
\frac{1}{\sqrt{2}}&\frac{1}{\sqrt{2}}&0\\
\frac{1}{\sqrt{2}}&-\frac{1}{\sqrt{2}}&0\\
0&0&1
\end{bmatrix}
\begin{bmatrix}
\sqrt{3} & 0& 0\\
0 & 1
&0\\
0&0&0
\end{bmatrix}
\begin{bmatrix}
\frac{1}{\sqrt{6}}&\frac{1}{\sqrt{6}}&\frac{2}{\sqrt{6}}\\
\frac{1}{\sqrt{2}}&-\frac{1}{\sqrt{2}}&0\\
\frac{1}{\sqrt{3}}&\frac{1}{\sqrt{3}}&-\frac{1}{\sqrt{3}}
\end{bmatrix}.
$$

例3:求矩阵$A=
\begin{bmatrix}
-3&1\\
6&-2\\
6&-2
\end{bmatrix}
$的奇异值分解.

解:
$$
A^TA=
\begin{bmatrix}
-3&6&6\\
1&-2&-2
\end{bmatrix}
\begin{bmatrix}
-3&1\\
6&-2\\
6&-2
\end{bmatrix}=
\begin{bmatrix}
81&-27\\
-27&9
\end{bmatrix}.
$$
将矩阵$A^TA$谱分解:
$$
A^TA=UDU^T=
\begin{bmatrix}
\frac{3}{\sqrt{10}}&\frac{1}{\sqrt{10}}\\
\frac{-1}{\sqrt{10}}&\frac{3}{\sqrt{10}}
\end{bmatrix}
\begin{bmatrix}
90&0\\
0&0
\end{bmatrix}\begin{bmatrix}
\frac{3}{\sqrt{10}}&\frac{1}{\sqrt{10}}\\
\frac{-1}{\sqrt{10}}&\frac{3}{\sqrt{10}}
\end{bmatrix}^T
$$
矩阵
$$
AU=
\begin{bmatrix}
-3&1\\
6&-2\\
6&-2
\end{bmatrix}
\begin{bmatrix}
\frac{3}{\sqrt{10}}&\frac{1}{\sqrt{10}}\\
-\frac{1}{\sqrt{10}}&\frac{3}{\sqrt{10}}
\end{bmatrix}=
\begin{bmatrix}
-\sqrt{10}&0\\
2 \sqrt{10}&0\\
2 \sqrt{10}&0
\end{bmatrix}=
\begin{bmatrix}
-\frac{1}{3}&\frac{2}{\sqrt{5}}&\frac{2}{3\sqrt{5}}\\
\frac{2}{3}&\frac{1}{\sqrt{5}}&\frac{-4}{3 \sqrt{5}}\\
\frac{2}{3}&0&\frac{\sqrt{5}}{3}
\end{bmatrix}
\begin{bmatrix}
3 \sqrt{10}&0\\
0&0\\
0&0
\end{bmatrix}
$$
因此
$$
A=
\begin{bmatrix}
-\frac{1}{3}&\frac{2}{\sqrt{5}}&\frac{2}{3\sqrt{5}}\\
\frac{2}{3}&\frac{1}{\sqrt{5}}&\frac{-4}{3 \sqrt{5}}\\
\frac{2}{3}&0&\frac{\sqrt{5}}{3}
\end{bmatrix}
\begin{bmatrix}
3 \sqrt{10}&0\\
0&0\\
0&0
\end{bmatrix}
\begin{bmatrix}
\frac{3}{\sqrt{10}}&-\frac{1}{\sqrt{10}}\\
\frac{1}{\sqrt{10}}&\frac{3}{\sqrt{10}}
\end{bmatrix}
$$

 

例4:求矩阵$A=
\begin{bmatrix}
\sqrt{3}&2\\
0& \sqrt{3}
\end{bmatrix}
$的奇异值分解.

解:
$$
A^TA=
\begin{bmatrix}
\sqrt{3}&0\\
2& \sqrt{3}
\end{bmatrix}
\begin{bmatrix}
\sqrt{3}&2\\
0&\sqrt{3}
\end{bmatrix}=
\begin{bmatrix}
3&2 \sqrt{3}\\
2 \sqrt{3}&7
\end{bmatrix}.
$$
将矩阵$A^TA$谱分解:
$$
A^TA=UDU^T=
\begin{bmatrix}
\frac{\sqrt{3}}{2}&\frac{1}{2}\\
-\frac{1}{2}&\frac{\sqrt{3}}{2}
\end{bmatrix}
\begin{bmatrix}
1&0\\
0&9
\end{bmatrix}\begin{bmatrix}
\frac{\sqrt{3}}{2}&\frac{1}{2}\\
-\frac{1}{2}&\frac{\sqrt{3}}{2}
\end{bmatrix}^T,
$$
$$
AU=
\begin{bmatrix}
\sqrt{3}&2\\
0&\sqrt{3}
\end{bmatrix}
\begin{bmatrix}
\frac{\sqrt{3}}{2}&\frac{1}{2}\\
-\frac{1}{2}&\frac{3}{2}
\end{bmatrix}=
\begin{bmatrix}
\frac{1}{2}&\frac{3}{2}\sqrt{3}\\
-\frac{\sqrt{3}}{2}&\frac{3}{2}
\end{bmatrix}=
\begin{bmatrix}
\frac{1}{2}&\frac{\sqrt{3}}{2}\\
-\frac{\sqrt{3}}{2}&\frac{1}{2}
\end{bmatrix}
\begin{bmatrix}
1&0\\
0&3
\end{bmatrix}.
$$
因此
$$
A=
\begin{bmatrix}
\frac{1}{2}&\frac{\sqrt{3}}{2}\\
-\frac{\sqrt{3}}{2}&\frac{1}{2}
\end{bmatrix}
\begin{bmatrix}
1&0\\
0&3
\end{bmatrix}
\begin{bmatrix}
\frac{\sqrt{3}}{2}&-\frac{1}{2}\\
\frac{1}{2}&\frac{\sqrt{3}}{2}
\end{bmatrix}.
$$

 

例5:已知矩阵$A=
\begin{bmatrix}
2&-1\\
2&2
\end{bmatrix}
$,求一个单位向量$\mathbf{x}$,使得$A\mathbf{x}$具有最大的长度.

解:首先求矩阵$A$的奇异值分解.
$$
A^TA=
\begin{bmatrix}
2&2\\
-1&2
\end{bmatrix}
\begin{bmatrix}
2&-1\\
2&2
\end{bmatrix}=
\begin{bmatrix}
8&2\\
2&5
\end{bmatrix}.
$$
将$A^TA$谱分解:
$$
A^TA=UDU^T=
\begin{bmatrix}
\frac{1}{\sqrt{5}}&\frac{2}{\sqrt{5}}\\
\frac{-2}{\sqrt{5}}&\frac{1}{\sqrt{5}}
\end{bmatrix}
\begin{bmatrix}
4&0\\
0&9
\end{bmatrix}\begin{bmatrix}
\frac{1}{\sqrt{5}}&\frac{2}{\sqrt{5}}\\
\frac{-2}{\sqrt{5}}&\frac{1}{\sqrt{5}}
\end{bmatrix}^T
$$
$$
AU=
\begin{bmatrix}
2&-1\\
2&2
\end{bmatrix}
\begin{bmatrix}
\frac{1}{\sqrt{5}}&\frac{2}{\sqrt{5}}\\
-\frac{2}{\sqrt{5}}&\frac{1}{\sqrt{5}}
\end{bmatrix}=
\begin{bmatrix}
\frac{4}{\sqrt{5}}&\frac{3}{\sqrt{5}}\\
-\frac{2}{\sqrt{5}}&\frac{6}{\sqrt{5}}
\end{bmatrix}=
\begin{bmatrix}
\frac{2}{\sqrt{5}}&\frac{1}{\sqrt{5}}\\
-\frac{1}{\sqrt{5}}&\frac{2}{\sqrt{5}}
\end{bmatrix}
\begin{bmatrix}
2&0\\
0&3
\end{bmatrix}.
$$
因此
$$
A=
\begin{bmatrix}
\frac{2}{\sqrt{5}}&\frac{1}{\sqrt{5}}\\
-\frac{1}{\sqrt{5}}&\frac{2}{\sqrt{5}}
\end{bmatrix}
\begin{bmatrix}
2&0\\
0&3
\end{bmatrix}
\begin{bmatrix}
\frac{1}{\sqrt{5}}&\frac{2}{\sqrt{5}}\\
-\frac{2}{\sqrt{5}}&\frac{1}{\sqrt{5}}
\end{bmatrix}^T.
$$
使得$A\mathbf{x}$有最大长度的一个单位向量是$
\begin{bmatrix}
\frac{2}{\sqrt{5}}\\
\frac{1}{\sqrt{5}}
\end{bmatrix}
$.

Tags: