九月 2018

You are currently browsing the monthly archive for 九月 2018.

题目1:(Strang《线性代数及其应用》第三版复习题3.17)
求出$A=
\begin{bmatrix}
3&0
\end{bmatrix}
$的Moore-Penrose广义逆.

解:
设$\mathbf{x}=
\begin{bmatrix}
x_1\\
x_2
\end{bmatrix}\in \mathbf{R}^2
$,$\mathbf{b}=m\in \mathbf{R}$.我们来看线性方程组$A\mathbf{x}=\mathbf{b}$.不管这个线性方程组是否相容,我们都要确定矩阵$A$的广义逆$A^{+}$,使得$\mathbf{x}’=A^{+}\mathbf{b}$,其中$\mathbf{x}’$是向量$\mathbf{x}$在矩阵$A$的行空间上的投影向量.

向量$\mathbf{b}$在矩阵$A$的列空间上的投影向量为$\mathbf{b’}=m$.我们来看线性方程组$A\mathbf{x}=\mathbf{b}’$,即
$$
\begin{bmatrix}
3&0
\end{bmatrix}
\begin{bmatrix}
x_1\\
x_2
\end{bmatrix}=m.
$$
向量$\mathbf{x}$在矩阵$A$的行空间中的射影向量为
$$
\mathbf{x}’=\frac{
\begin{bmatrix}
3&0
\end{bmatrix}
\begin{bmatrix}
x_1\\
x_2
\end{bmatrix}
}{3^2}
\begin{bmatrix}
3\\
0
\end{bmatrix}=\frac{1}{9}
\begin{bmatrix}
3\\
0
\end{bmatrix}m
$$
所以矩阵$A$的Moore-Penrose广义逆为$\frac{1}{9}
\begin{bmatrix}
3\\
0
\end{bmatrix}
$.

题目2:(Strang《Linear Algebra and Its Application》习题6.3.15)
求矩阵$A=
\begin{bmatrix}
1&1&1&1
\end{bmatrix}
$的Moore-Penrose广义逆.

解:
设$\mathbf{x}=
\begin{bmatrix}
x_1\\
x_2\\
x_3\\
x_4
\end{bmatrix}\in \mathbf{R}^4
$,$\mathbf{b}=m\in \mathbf{R}$.我们来看线性方程组$A\mathbf{x}=\mathbf{b}$.不管这个线性方程组是否相容,我们都要确定矩阵$A$的广义逆$A^{+}$,使得$\mathbf{x}’=A^{+}\mathbf{b}$,其中$\mathbf{x}’$是向量$\mathbf{x}$在矩阵$A$的行空间上的投影向量

向量$\mathbf{b}$在矩阵$A$的列空间上的投影向量是$\mathbf{b}’=m$.我们来看方程组$A\mathbf{x}=\mathbf{b}’$,即
$$
\begin{bmatrix}
1&1&1&1
\end{bmatrix}
\begin{bmatrix}
x_1\\
x_2\\
x_3\\
x_4
\end{bmatrix}=m,
$$
向量$\mathbf{x}$在矩阵$A$的行空间上的投影向量为
$$
\mathbf{x}’=\frac{
\begin{bmatrix}
1&1&1&1
\end{bmatrix}
\begin{bmatrix}
x_1\\
x_2\\
x_3\\
x_4
\end{bmatrix}
}{4}
\begin{bmatrix}
1\\
1\\
1\\
1
\end{bmatrix}=\frac{1}{4}
\begin{bmatrix}
1\\
1\\
1\\
1
\end{bmatrix}m,
$$
所以矩阵$A$的Moore-Penrose广义逆矩阵为$
\begin{bmatrix}
\frac{1}{4}\\
\frac{1}{4}\\
\frac{1}{4}\\
\frac{1}{4}
\end{bmatrix}
$.

题目3:求矩阵$A=
\begin{bmatrix}
1&1\\
0&0
\end{bmatrix}
$的Moore-Penrose广义逆.

:设$\mathbf{x}=
\begin{bmatrix}
x_1\\
x_2
\end{bmatrix}\in \mathbf{R}^2
$,$\mathbf{b}=
\begin{bmatrix}
m_1\\
m_2
\end{bmatrix}\in \mathbf{R}^2
$.

我们来看线性方程组$A\mathbf{x}=\mathbf{b}$.不管这个线性方程组是否相容,我们都要确定矩阵$A$的广义逆$A^{+}$,使得$\mathbf{x}’=A^{+}\mathbf{b}$,其中$\mathbf{x}’$是向量$\mathbf{x}$在矩阵$A$的行空间上的投影向量

向量$\mathbf{b}$在矩阵$A$的列空间上的投影向量为$\mathbf{b}’=
\begin{bmatrix}
m_1\\
0
\end{bmatrix}
$.我们来看方程组$A\mathbf{x}=\mathbf{b}’$,即
$$
\begin{bmatrix}
1&1\\
0&0
\end{bmatrix}
\begin{bmatrix}
x_1\\
x_2
\end{bmatrix}=
\begin{bmatrix}
m_1\\
0
\end{bmatrix},
$$
可得$x_1+x_2=m_1$.向量$\mathbf{x}$在矩阵$A$的行空间上的投影向量是$\mathbf{x}’=
\begin{bmatrix}
\frac{x_1+x_2}{2}\\
\frac{x_1+x_2}{2}
\end{bmatrix}=
\begin{bmatrix}
\frac{m_1}{2}\\
\frac{m_1}{2}
\end{bmatrix}
$.
$$
\mathbf{x}’=
\begin{bmatrix}
\frac{1}{2}&0\\
\frac{1}{2}&0
\end{bmatrix}
\begin{bmatrix}
m_1\\
m_2
\end{bmatrix}.
$$
所以矩阵$A$的Moore-Penrose广义逆为$\frac{1}{2}
\begin{bmatrix}
1&0\\
1&0
\end{bmatrix}
$.

题目4:求矩阵$A=
\begin{bmatrix}
1&2&3\\
2&4&6
\end{bmatrix}
$的Moore-Penrose广义逆.

解:设$\mathbf{x}=
\begin{bmatrix}
x_1\\
x_2\\
x_3
\end{bmatrix}\in \mathbf{R}^3
$,$\mathbf{b}=
\begin{bmatrix}
m_1\\
m_2
\end{bmatrix}\in \mathbf{R}^2
$.

我们来看线性方程组$A\mathbf{x}=\mathbf{b}$.不管这个线性方程组是否相容,我们都要确定矩阵$A$的广义逆$A^{+}$,使得$\mathbf{x}’=A^{+}\mathbf{b}$,其中$\mathbf{x}’$是向量$\mathbf{x}$在矩阵$A$的行空间上的投影向量.

向量$\mathbf{b}$在矩阵$A$的列空间上的投影向量是
$$
\mathbf{b}’=
\begin{bmatrix}
\frac{m_1+2m_2}{5}\\
\frac{2m_1+4m_2}{5}
\end{bmatrix}.
$$
我们来看方程组$A\mathbf{x}=\mathbf{b}’$,即
$$
\begin{bmatrix}
1&2&3\\
2&4&6
\end{bmatrix}
\begin{bmatrix}
x_1\\
x_2\\
x_3
\end{bmatrix}=
\begin{bmatrix}
\frac{m_1+2m_2}{5}\\
\frac{2m_1+4m_2}{5}
\end{bmatrix},
$$
则向量$\mathbf{x}$在矩阵$A$的行空间上的投影是
$$
\mathbf{x}’=\frac{
\begin{bmatrix}
1&2&3
\end{bmatrix}
\begin{bmatrix}
x_1\\
x_2\\
x_3
\end{bmatrix}
}{1^2+2^2+3^2}
\begin{bmatrix}
1\\
2\\
3
\end{bmatrix}=\frac{m_1+2m_2}{70}
\begin{bmatrix}
1\\
2\\
3
\end{bmatrix}=\frac{1}{70}
\begin{bmatrix}
1&2\\
2&4\\
3&6
\end{bmatrix}
\begin{bmatrix}
m_1\\
m_2
\end{bmatrix}.
$$
所以矩阵$A$的Moore-Penrose广义逆为$\frac{1}{70}
\begin{bmatrix}
1&2\\
2&4\\
3&6
\end{bmatrix}
$.

题目5:求矩阵$A=
\begin{bmatrix}
1&1\\
1&1
\end{bmatrix}
$的Moore-Penrose广义逆.

解:设$\mathbf{b}=
\begin{bmatrix}
m_1\\
m_2
\end{bmatrix}\in \mathbf{R}^2
$,$\mathbf{x}=
\begin{bmatrix}
x_1\\
x_2
\end{bmatrix}\in \mathbf{R}^2
$.

我们来看线性方程组$A\mathbf{x}=\mathbf{b}$.不管这个线性方程组是否相容,我们都要确定矩阵$A$的广义逆$A^{+}$,使得$\mathbf{x}’=A^{+}\mathbf{b}$,其中$\mathbf{x}’$是向量$\mathbf{x}$在矩阵$A$的行空间上的投影向量.

$\mathbf{b}$在矩阵$A$的列空间上的投影向量是$\mathbf{b}’=
\begin{bmatrix}
\frac{m_1+m_2}{2}\\
\frac{m_1+m_2}{2}
\end{bmatrix}
$.我们来看方程组
$
A\mathbf{x}=\mathbf{b}’,
$即
$$
\begin{bmatrix}
1&1\\
1&1
\end{bmatrix}
\begin{bmatrix}
x_1\\
x_2
\end{bmatrix}=
\begin{bmatrix}
\frac{m_1+m_2}{2}\\
\frac{m_1+m_2}{2}
\end{bmatrix}.
$$
解得$x_1+x_2=\frac{m_1+m_2}{2}$.向量$\mathbf{x}$在矩阵$A$的行空间上的投影向量是$\mathbf{x}’=
\begin{bmatrix}
\frac{m_1+m_2}{4}\\
\frac{m_1+m_2}{4}
\end{bmatrix}
$.
$$
\mathbf{x}’=
\begin{bmatrix}
\frac{1}{4}&\frac{1}{4}\\
\frac{1}{4}&\frac{1}{4}
\end{bmatrix}
\begin{bmatrix}
m_1\\
m_2
\end{bmatrix}.
$$
因此矩阵$A$的Moore-Penrose广义逆矩阵是$
\begin{bmatrix}
\frac{1}{4}&\frac{1}{4}\\
\frac{1}{4}&\frac{1}{4}
\end{bmatrix}
$.

题目6:求矩阵$A=
\begin{bmatrix}
1&2\\
2&5\\
3&7
\end{bmatrix}
$的Moore-Penrose广义逆.

解:设$\mathbf{b}=
\begin{bmatrix}
m_1\\
m_2\\
m_3
\end{bmatrix}\in \mathbf{R}^3
$.我们来看线性方程组$A\mathbf{x}=\mathbf{b}$.不管这个线性方程组是否相容,我们都要确定矩阵$A$的广义逆$A^{+}$,使得$\mathbf{x}’=A^{+}\mathbf{b}$,其中$\mathbf{x}’$是向量$\mathbf{x}$在矩阵$A$的行空间上的投影向量.

下面我们求向量$\mathbf{b}$在矩阵$A$的列空间上的投影向量.首先,设矩阵$A$的第$i$个列向量为$\mathbf{v}_i$.则由Gram-Schimidt正交化过程,向量
$$
\mathbf{w}_{1}=\mathbf{v}_1=
\begin{bmatrix}
1\\
2\\
3
\end{bmatrix},
$$
向量
$$
\mathbf{w}_2=\mathbf{v}_2-\frac{\mathbf{v}_2^T\mathbf{v}_1}{\mathbf{v}_1^T\mathbf{v}_1}\mathbf{v}_{1}=
\frac{1}{14}\begin{bmatrix}
-5\\
4\\
-1
\end{bmatrix}
$$
则向量
$$
\frac{\mathbf{w}_1}{|\mathbf{w}_1|}=\frac{1}{\sqrt{14}}
\begin{bmatrix}
1\\
2\\
3
\end{bmatrix},\frac{\mathbf{w}_2}{|\mathbf{w}_2|}=
\begin{bmatrix}
-\frac{5}{\sqrt{42}}\\
\frac{4}{\sqrt{42}}\\
\frac{-1}{\sqrt{42}}
\end{bmatrix}
$$
是互相垂直的单位向量,且这两个向量张成矩阵$A$的列空间.因此向量$\mathbf{b}$在矩阵$A$的列空间上的投影向量为
$$
\mathbf{b}’=(\mathbf{b}\cdot
\frac{\mathbf{w}_1}{|\mathbf{w}_1|})\frac{\mathbf{w}_1}{|\mathbf{w}_1|}+(\mathbf{b}\cdot \frac{\mathbf{w}_2}{|\mathbf{w}_2|})\frac{\mathbf{w}_2}{|\mathbf{w}_2|}=\frac{1}{3}
\begin{bmatrix}
2m_1-m_2+m_3\\
-m_1+2m_2+m_3\\
m_1+m_2+2m_3
\end{bmatrix}
$$
设$\mathbf{x}=
\begin{bmatrix}
x_1\\
x_2
\end{bmatrix}\in \mathbf{R}^2
$,我们来看线性方程组$A\mathbf{x}=\mathbf{b}’$,即
$$
\begin{bmatrix}
1&2\\
2&5\\
3&7
\end{bmatrix}
\begin{bmatrix}
x_1\\
x_2
\end{bmatrix}=\frac{1}{3}
\begin{bmatrix}
2m_1-m_2+m_3\\
-m_1+2m_2+m_3\\
m_1+m_2+2m_3
\end{bmatrix},
$$
设矩阵$A$的第$i$个行向量为$\mathbf{u}_i$,则矩阵$A$的行空间由向量$\mathbf{u}_1$和$\mathbf{u}_2$张成.则由Gram-Schimidt正交化过程,向量
$$
\mathbf{p}_1=\mathbf{u}_1,
$$
向量
$$
\mathbf{p}_2=\mathbf{u}_2-\frac{\mathbf{u}_2^T\mathbf{u}_1}{\mathbf{u}_1^T\mathbf{u}_1}\mathbf{u}_1=\frac{1}{5}
\begin{bmatrix}
-2\\
1
\end{bmatrix}
$$
则向量
$$
\frac{\mathbf{p}_1}{|\mathbf{p}_1|}=\frac{1}{\sqrt{5}}
\begin{bmatrix}
1\\
2
\end{bmatrix},\frac{\mathbf{p}_2}{|\mathbf{p}_2|}=\frac{1}{\sqrt{5}}
\begin{bmatrix}
-2\\
1
\end{bmatrix}
$$
因此向量$\mathbf{x}$在矩阵$A$的行空间上的投影向量为
\begin{align*}
\mathbf{x}’&=(\mathbf{x}\cdot
\frac{\mathbf{p}_1}{|\mathbf{p}_1|})\frac{\mathbf{p}_1}{|\mathbf{p}_1|}+(\mathbf{x}\cdot
\frac{\mathbf{p}_2}{|\mathbf{p}_2|})\frac{\mathbf{p}_2}{|\mathbf{p}_2|}\\&=(\mathbf{x}\cdot
\mathbf{p}_1)\frac{\mathbf{p}_1}{|\mathbf{p}_1|^2}+(\mathbf{x}\cdot
\mathbf{p}_2)\frac{\mathbf{p}_2}{|\mathbf{p}_2|^2}
\\&=\frac{1}{3}(2m_1-m_2+m_3)
\begin{bmatrix}
\frac{1}{5}\\
\frac{2}{5}
\end{bmatrix}+\frac{1}{3}(-29m_1+22m_2-7m_3)
\begin{bmatrix}
-\frac{2}{5}\\
\frac{1}{5}
\end{bmatrix}
\\&=\frac{1}{3}
\begin{bmatrix}
12m_1-9m_2+3m_3\\
-5m_1+4m_2-m_3
\end{bmatrix}=\frac{1}{3}
\begin{bmatrix}
12&-9&3\\
-5&4&-1
\end{bmatrix}
\begin{bmatrix}
m_1\\
m_2\\
m_3
\end{bmatrix}
\end{align*}
所以矩阵$A$的Moore-Penrose广义逆矩阵为$\frac{1}{3}
\begin{bmatrix}
12&-9&3\\
-5&4&-1
\end{bmatrix}
$.

题目7:(Strang《线性代数及其应用》第三版习题3.4.3)若$A$有正交的单位列向量组,那么它的广义逆是什么?

:设$A$是$m\times n$矩阵.设向量$\mathbf{b}\in \mathbf{R}^m$,向量$\mathbf{x}\in \mathbf{R}^n$.

我们来看线性方程组$A\mathbf{x}=\mathbf{b}$.不管这个线性方程组是否相容,我们都要确定矩阵$A$的广义逆$A^{+}$,使得$\mathbf{x}’=A^{+}\mathbf{b}$,其中$\mathbf{x}’$是向量$\mathbf{x}$在矩阵$A$的行空间上的投影向量.

向量$\mathbf{b}$在矩阵$A$的列空间上的投影为$\mathbf{b}’=AA^{T}\mathbf{b}$.我们来看方程组$A\mathbf{x}=\mathbf{b}’=AA^{T}\mathbf{b}$.

下面我们来求向量$\mathbf{x}$在矩阵$A$的行空间上的投影向量.为此求矩阵$A$的行空间.因为矩阵$A$的列秩为$n$,所以矩阵$A$的行秩也为$n$.可见,$\mathbf{R}^n$中的向量$\mathbf{x}$在矩阵$A$的行空间上的投影向量
$\mathbf{x}’=\mathbf{x}$.

因此$\mathbf{x}’=\mathbf{x}=A^{T}AA^T\mathbf{b}=A^{T}b$,可见矩阵$A$的广义逆是$A^{T}$.

题目8:(Strang《线性代数及其应用》第三版习题3.4.1)求$m\times n$的零矩阵$A=0$的广义逆,并解释你的理由.

解:设向量$\mathbf{x}\in \mathbf{R}^n$,$\mathbf{b}\in \mathbf{R}^m$.

我们来看线性方程组$A\mathbf{x}=\mathbf{b}$.不管这个线性方程组是否相容,我们都要确定矩阵$A$的广义逆$A^{+}$,使得$\mathbf{x}’=A^{+}\mathbf{b}$,其中$\mathbf{x}’$是向量$\mathbf{x}$在矩阵$A$的行空间上的投影向量.

向量$\mathbf{b}$在矩阵$A$的列空间上的投影是零向量$\mathbf{b}’=\mathbf{0}_m\in \mathbf{R}^m$.向量$\mathbf{x}$在矩阵$A$的行空间上的投影是零向量$\mathbf{x}’=\mathbf{0}_n\in \mathbf{R}^n$.而$\mathbf{x}’=B\mathbf{b}$,其中$B$是$n\times m$的零矩阵.因此矩阵$A$的广义逆是$n\times m$的零矩阵.

题目9:(Strang《线性代数及其应用》第三版习题3.4.2)对于一个秩
为$1$的矩阵,分解式$A=\overline{L}\overline{U}$与$A=uv^T$是一致的,两
者都是一个列向量和一个行向量的乘积.对于
$$
A=
\begin{bmatrix}
1&1&1\\
1&1&1
\end{bmatrix}~~\mbox{和}~~\mathbf{b}=
\begin{bmatrix}
0\\
1
\end{bmatrix}
$$
求$A^{+}$和$\overline{\mathbf{x}}$.把$\mathbf{b}$射影到列空间上去,并验证$A\overline{\mathbf{x}}=\mathbf{p}$.

解:
$$
A=
\begin{bmatrix}
1&0\\
1&1
\end{bmatrix}
\begin{bmatrix}
1&1&1\\
0&0&0
\end{bmatrix}=
\begin{bmatrix}
1&0\\
1&0
\end{bmatrix}
\begin{bmatrix}
1&1&1\\
0&0&0
\end{bmatrix}=
\begin{bmatrix}
1\\
1
\end{bmatrix}
\begin{bmatrix}
1&1&1
\end{bmatrix}.
$$
可得矩形$A$的列空间是由向量$
\begin{bmatrix}
1\\
1
\end{bmatrix}
$张成的.矩阵$A$的行空间是由向量$
\begin{bmatrix}
1&1&1
\end{bmatrix}
$张成的.设向量$\mathbf{b}=
\begin{bmatrix}
m_1\\
m_2
\end{bmatrix}\in \mathbf{R}^2
$,$\mathbf{x}=
\begin{bmatrix}
x_1\\
x_2\\
x_3
\end{bmatrix}\in \mathbf{R}^3.
$则向量$\mathbf{b}$在矩阵$A$的列空间上的投影向量$\mathbf{b}’=\frac{m_1+m_2}{2}
\begin{bmatrix}
1\\
1
\end{bmatrix}
$.我们来看线性方程组$A\mathbf{x}=\mathbf{b}’$.即
$$
\begin{bmatrix}
1&1&1\\
1&1&1
\end{bmatrix}
\begin{bmatrix}
x_1\\
x_2\\
x_3
\end{bmatrix}=\frac{m_1+m_2}{2}
\begin{bmatrix}
1\\
1
\end{bmatrix},
$$
则向量$\mathbf{x}$在矩阵$A$的行空间上的投影向量$$\mathbf{x}’=\frac{x_1+x_2+x_3}{3}
\begin{bmatrix}
1\\
1\\
1
\end{bmatrix}=\frac{m_1+m_2}{6}
\begin{bmatrix}
1\\
1\\
1
\end{bmatrix}=\frac{1}{6}
\begin{bmatrix}
1&1\\
1&1\\
1&1
\end{bmatrix}\mathbf{b}
$$
因此$A$的广义逆$A^{+}=\frac{1}{6}
\begin{bmatrix}
1&1\\
1&1\\
1&1
\end{bmatrix}
$.

题目10:(Strang《线性代数及其应用》第三版习题3.4.4)若$AA^T$可逆,则$A^{+}=A^T(AA^{T})^{-1}$,且$\overline{\mathbf{x}}=A^{+}\mathbf{b}$.

  • 验证$A\overline{x}=\mathbf{b}$.
  • 对$A=\begin{bmatrix}1&1\end{bmatrix}$,求$u+v=3$的最佳解.

解:

  • $A\overline{\mathbf{x}}=AA^{+}\mathbf{b}=AA^{T}(AA^{T})^{-1}\mathbf{b}=\mathbf{b}$.事实上,当$AA^T$可逆时,设向量$\mathbf{x}$在矩阵$A$的行空间上的投影向量为$\overline{\mathbf{x}}$,则$$\overline{\mathbf{x}}=A^T(AA^{T})^{-1}A\mathbf{x}=A^T(AA^T)^{-1}\mathbf{p},$$而且,$\overline{\mathbf{x}}=A^{+}\mathbf{p}$,所以$A^{+}=A^T(AA^{T})^{-1}$.
  • 即求
    $$
    \begin{bmatrix}
    1&1
    \end{bmatrix}
    \begin{bmatrix}
    u\\
    v
    \end{bmatrix}=3
    $$
    的最佳解.在这里,向量$\mathbf{b}=3$,向量$\mathbf{x}=
    \begin{bmatrix}
    u\\
    v
    \end{bmatrix}
    $.向量$\mathbf{b}$在矩阵$A$的列空间上的投影向量$\mathbf{p}=3$.向量$\mathbf{x}$在矩阵$A$的行空间上的投影向量$\overline{\mathbf{x}}=
    \begin{bmatrix}
    \frac{u+v}{2}\\
    \frac{u+v}{2}
    \end{bmatrix}=
    \begin{bmatrix}
    \frac{3}{2}\\
    \frac{3}{2}
    \end{bmatrix}
    $.因此$u+v=3$的最佳解是$u=v=\frac{3}{2}$.

Tags:

在此,我们通过两个例子,来说明如何求任何一个矩阵的奇异值分解(SVD):

 

例1:求$A=
\begin{bmatrix}
3&2&2\\
2&3&-2
\end{bmatrix}
$的奇异值分解.

解:
$$
A^TA=
\begin{bmatrix}
3&2\\
2&3\\
2&-2
\end{bmatrix}
\begin{bmatrix}
3&2&2\\
2&3&-2
\end{bmatrix}=
\begin{bmatrix}
13&12&2\\
12&13&-2\\
2&-2&8
\end{bmatrix}.
$$
将矩阵$A^TA$谱分解:
$$
A^TA=UDU^{T}=
\begin{bmatrix}
\frac{1}{\sqrt{2}}&\frac{1}{3 \sqrt{2}}&\frac{2}{3}\\
\frac{1}{\sqrt{2}}&\frac{-1}{3 \sqrt{2}}&-\frac{2}{3}\\
0&\frac{4}{3 \sqrt{2}}&-\frac{1}{3}
\end{bmatrix}
\begin{bmatrix}
25&0&0\\
0&9&0\\
0&0&0
\end{bmatrix}
\begin{bmatrix}
\frac{1}{\sqrt{2}}&\frac{1}{3 \sqrt{2}}&\frac{2}{3}\\
\frac{1}{\sqrt{2}}&\frac{-1}{3 \sqrt{2}}&-\frac{2}{3}\\
0&\frac{4}{3 \sqrt{2}}&-\frac{1}{3}
\end{bmatrix}^{T}
$$
因此
$$
AU=
\begin{bmatrix}
3&2&2\\
2&3&-2
\end{bmatrix}
\begin{bmatrix}
\frac{1}{\sqrt{2}}&\frac{1}{3 \sqrt{2}}&\frac{2}{3}\\
\frac{1}{\sqrt{2}}&\frac{-1}{3 \sqrt{2}}&-\frac{2}{3}\\
0&\frac{4}{3 \sqrt{2}}&-\frac{1}{3}
\end{bmatrix}=
\begin{bmatrix}
\frac{5}{\sqrt{2}}&\frac{3}{\sqrt{2}}&0\\
\frac{5}{\sqrt{2}}&-\frac{3}{\sqrt{2}}&0
\end{bmatrix}=
\begin{bmatrix}
\frac{1}{\sqrt{2}}&\frac{1}{\sqrt{2}}\\
\frac{1}{\sqrt{2}}&-\frac{1}{\sqrt{2}}
\end{bmatrix}
\begin{bmatrix}
5&0&0\\
0&3&0
\end{bmatrix}.
$$
矩阵$AU$中的列向量必定两两互相正交,这是因为,
$$
(AU)^T(AU)=U^T(A^TA)U=U^T(UDU^T)U=D.
$$
因此
$$
A=
\begin{bmatrix}
\frac{1}{\sqrt{2}}&\frac{1}{\sqrt{2}}\\
\frac{1}{\sqrt{2}}&-\frac{1}{\sqrt{2}}
\end{bmatrix}
\begin{bmatrix}
5&0&0\\
0&3&0
\end{bmatrix}U^{-1}=
\begin{bmatrix}
\frac{1}{\sqrt{2}}&\frac{1}{\sqrt{2}}\\
\frac{1}{\sqrt{2}}&-\frac{1}{\sqrt{2}}
\end{bmatrix}
\begin{bmatrix}
5&0&0\\
0&3&0
\end{bmatrix}
\begin{bmatrix}
\frac{1}{\sqrt{2}}&\frac{1}{\sqrt{2}}&0\\
\frac{1}{3 \sqrt{2}}&-\frac{1}{3 \sqrt{2}}&\frac{4}{3 \sqrt{2}}\\
\frac{2}{3}&-\frac{2}{3}&-\frac{1}{3}
\end{bmatrix}.
$$

 

例2:
求矩阵$A=
\begin{bmatrix}
1&0&1\\
0&1&1\\
0&0&0
\end{bmatrix}
$的奇异值分解.

解:
$$
A^TA=
\begin{bmatrix}
1&0&0\\
0&1&0\\
1&1&0
\end{bmatrix}
\begin{bmatrix}
1&0&1\\
0&1&1\\
0&0&0
\end{bmatrix}=
\begin{bmatrix}
1&0&1\\
0&1&1\\
1&1&2
\end{bmatrix}.
$$
将矩阵$A^TA$谱分解:
$$
A^TA=UDU^T=
\begin{bmatrix}
\frac{1}{\sqrt{6}}&\frac{1}{\sqrt{2}}&\frac{1}{\sqrt{3}}\\
\frac{1}{\sqrt{6}}&-\frac{1}{\sqrt{2}}&\frac{1}{\sqrt{3}}\\
\frac{2}{\sqrt{6}}&0&-\frac{1}{\sqrt{3}}
\end{bmatrix}
\begin{bmatrix}
3&0&0\\
0&1&0\\
0&0&0
\end{bmatrix}\begin{bmatrix}
\frac{1}{\sqrt{6}}&\frac{1}{\sqrt{2}}&\frac{1}{\sqrt{3}}\\
\frac{1}{\sqrt{6}}&-\frac{1}{\sqrt{2}}&\frac{1}{\sqrt{3}}\\
\frac{2}{\sqrt{6}}&0&-\frac{1}{\sqrt{3}}
\end{bmatrix}^{T}
$$
则矩阵
$$
AU=
\begin{bmatrix}
1&0&1\\
0&1&1\\
0&0&0
\end{bmatrix}
\begin{bmatrix}
\frac{1}{\sqrt{6}}&\frac{1}{\sqrt{2}}&\frac{1}{\sqrt{3}}\\
\frac{1}{\sqrt{6}}&-\frac{1}{\sqrt{2}}&\frac{1}{\sqrt{3}}\\
\frac{2}{\sqrt{6}}&0&\frac{-1}{\sqrt{3}}
\end{bmatrix}=
\begin{bmatrix}
\frac{3}{\sqrt{6}}&\frac{1}{\sqrt{2}}&0\\
\frac{3}{\sqrt{6}}&\frac{-1}{\sqrt{2}}&0\\
0&0&0
\end{bmatrix}=
\begin{bmatrix}
\frac{1}{\sqrt{2}}&\frac{1}{\sqrt{2}}&0\\
\frac{1}{\sqrt{2}}&-\frac{1}{\sqrt{2}}&0\\
0&0&1
\end{bmatrix}
\begin{bmatrix}
\sqrt{3} & 0& 0\\
0 & 1
&0\\
0&0&0
\end{bmatrix}
$$
因此
$$
A=\begin{bmatrix}
\frac{1}{\sqrt{2}}&\frac{1}{\sqrt{2}}&0\\
\frac{1}{\sqrt{2}}&-\frac{1}{\sqrt{2}}&0\\
0&0&1
\end{bmatrix}
\begin{bmatrix}
\sqrt{3} & 0& 0\\
0 & 1
&0\\
0&0&0
\end{bmatrix}U^{-1}=\begin{bmatrix}
\frac{1}{\sqrt{2}}&\frac{1}{\sqrt{2}}&0\\
\frac{1}{\sqrt{2}}&-\frac{1}{\sqrt{2}}&0\\
0&0&1
\end{bmatrix}
\begin{bmatrix}
\sqrt{3} & 0& 0\\
0 & 1
&0\\
0&0&0
\end{bmatrix}
\begin{bmatrix}
\frac{1}{\sqrt{6}}&\frac{1}{\sqrt{6}}&\frac{2}{\sqrt{6}}\\
\frac{1}{\sqrt{2}}&-\frac{1}{\sqrt{2}}&0\\
\frac{1}{\sqrt{3}}&\frac{1}{\sqrt{3}}&-\frac{1}{\sqrt{3}}
\end{bmatrix}.
$$

例3:求矩阵$A=
\begin{bmatrix}
-3&1\\
6&-2\\
6&-2
\end{bmatrix}
$的奇异值分解.

解:
$$
A^TA=
\begin{bmatrix}
-3&6&6\\
1&-2&-2
\end{bmatrix}
\begin{bmatrix}
-3&1\\
6&-2\\
6&-2
\end{bmatrix}=
\begin{bmatrix}
81&-27\\
-27&9
\end{bmatrix}.
$$
将矩阵$A^TA$谱分解:
$$
A^TA=UDU^T=
\begin{bmatrix}
\frac{3}{\sqrt{10}}&\frac{1}{\sqrt{10}}\\
\frac{-1}{\sqrt{10}}&\frac{3}{\sqrt{10}}
\end{bmatrix}
\begin{bmatrix}
90&0\\
0&0
\end{bmatrix}\begin{bmatrix}
\frac{3}{\sqrt{10}}&\frac{1}{\sqrt{10}}\\
\frac{-1}{\sqrt{10}}&\frac{3}{\sqrt{10}}
\end{bmatrix}^T
$$
矩阵
$$
AU=
\begin{bmatrix}
-3&1\\
6&-2\\
6&-2
\end{bmatrix}
\begin{bmatrix}
\frac{3}{\sqrt{10}}&\frac{1}{\sqrt{10}}\\
-\frac{1}{\sqrt{10}}&\frac{3}{\sqrt{10}}
\end{bmatrix}=
\begin{bmatrix}
-\sqrt{10}&0\\
2 \sqrt{10}&0\\
2 \sqrt{10}&0
\end{bmatrix}=
\begin{bmatrix}
-\frac{1}{3}&\frac{2}{\sqrt{5}}&\frac{2}{3\sqrt{5}}\\
\frac{2}{3}&\frac{1}{\sqrt{5}}&\frac{-4}{3 \sqrt{5}}\\
\frac{2}{3}&0&\frac{\sqrt{5}}{3}
\end{bmatrix}
\begin{bmatrix}
3 \sqrt{10}&0\\
0&0\\
0&0
\end{bmatrix}
$$
因此
$$
A=
\begin{bmatrix}
-\frac{1}{3}&\frac{2}{\sqrt{5}}&\frac{2}{3\sqrt{5}}\\
\frac{2}{3}&\frac{1}{\sqrt{5}}&\frac{-4}{3 \sqrt{5}}\\
\frac{2}{3}&0&\frac{\sqrt{5}}{3}
\end{bmatrix}
\begin{bmatrix}
3 \sqrt{10}&0\\
0&0\\
0&0
\end{bmatrix}
\begin{bmatrix}
\frac{3}{\sqrt{10}}&-\frac{1}{\sqrt{10}}\\
\frac{1}{\sqrt{10}}&\frac{3}{\sqrt{10}}
\end{bmatrix}
$$

 

例4:求矩阵$A=
\begin{bmatrix}
\sqrt{3}&2\\
0& \sqrt{3}
\end{bmatrix}
$的奇异值分解.

解:
$$
A^TA=
\begin{bmatrix}
\sqrt{3}&0\\
2& \sqrt{3}
\end{bmatrix}
\begin{bmatrix}
\sqrt{3}&2\\
0&\sqrt{3}
\end{bmatrix}=
\begin{bmatrix}
3&2 \sqrt{3}\\
2 \sqrt{3}&7
\end{bmatrix}.
$$
将矩阵$A^TA$谱分解:
$$
A^TA=UDU^T=
\begin{bmatrix}
\frac{\sqrt{3}}{2}&\frac{1}{2}\\
-\frac{1}{2}&\frac{\sqrt{3}}{2}
\end{bmatrix}
\begin{bmatrix}
1&0\\
0&9
\end{bmatrix}\begin{bmatrix}
\frac{\sqrt{3}}{2}&\frac{1}{2}\\
-\frac{1}{2}&\frac{\sqrt{3}}{2}
\end{bmatrix}^T,
$$
$$
AU=
\begin{bmatrix}
\sqrt{3}&2\\
0&\sqrt{3}
\end{bmatrix}
\begin{bmatrix}
\frac{\sqrt{3}}{2}&\frac{1}{2}\\
-\frac{1}{2}&\frac{3}{2}
\end{bmatrix}=
\begin{bmatrix}
\frac{1}{2}&\frac{3}{2}\sqrt{3}\\
-\frac{\sqrt{3}}{2}&\frac{3}{2}
\end{bmatrix}=
\begin{bmatrix}
\frac{1}{2}&\frac{\sqrt{3}}{2}\\
-\frac{\sqrt{3}}{2}&\frac{1}{2}
\end{bmatrix}
\begin{bmatrix}
1&0\\
0&3
\end{bmatrix}.
$$
因此
$$
A=
\begin{bmatrix}
\frac{1}{2}&\frac{\sqrt{3}}{2}\\
-\frac{\sqrt{3}}{2}&\frac{1}{2}
\end{bmatrix}
\begin{bmatrix}
1&0\\
0&3
\end{bmatrix}
\begin{bmatrix}
\frac{\sqrt{3}}{2}&-\frac{1}{2}\\
\frac{1}{2}&\frac{\sqrt{3}}{2}
\end{bmatrix}.
$$

 

例5:已知矩阵$A=
\begin{bmatrix}
2&-1\\
2&2
\end{bmatrix}
$,求一个单位向量$\mathbf{x}$,使得$A\mathbf{x}$具有最大的长度.

解:首先求矩阵$A$的奇异值分解.
$$
A^TA=
\begin{bmatrix}
2&2\\
-1&2
\end{bmatrix}
\begin{bmatrix}
2&-1\\
2&2
\end{bmatrix}=
\begin{bmatrix}
8&2\\
2&5
\end{bmatrix}.
$$
将$A^TA$谱分解:
$$
A^TA=UDU^T=
\begin{bmatrix}
\frac{1}{\sqrt{5}}&\frac{2}{\sqrt{5}}\\
\frac{-2}{\sqrt{5}}&\frac{1}{\sqrt{5}}
\end{bmatrix}
\begin{bmatrix}
4&0\\
0&9
\end{bmatrix}\begin{bmatrix}
\frac{1}{\sqrt{5}}&\frac{2}{\sqrt{5}}\\
\frac{-2}{\sqrt{5}}&\frac{1}{\sqrt{5}}
\end{bmatrix}^T
$$
$$
AU=
\begin{bmatrix}
2&-1\\
2&2
\end{bmatrix}
\begin{bmatrix}
\frac{1}{\sqrt{5}}&\frac{2}{\sqrt{5}}\\
-\frac{2}{\sqrt{5}}&\frac{1}{\sqrt{5}}
\end{bmatrix}=
\begin{bmatrix}
\frac{4}{\sqrt{5}}&\frac{3}{\sqrt{5}}\\
-\frac{2}{\sqrt{5}}&\frac{6}{\sqrt{5}}
\end{bmatrix}=
\begin{bmatrix}
\frac{2}{\sqrt{5}}&\frac{1}{\sqrt{5}}\\
-\frac{1}{\sqrt{5}}&\frac{2}{\sqrt{5}}
\end{bmatrix}
\begin{bmatrix}
2&0\\
0&3
\end{bmatrix}.
$$
因此
$$
A=
\begin{bmatrix}
\frac{2}{\sqrt{5}}&\frac{1}{\sqrt{5}}\\
-\frac{1}{\sqrt{5}}&\frac{2}{\sqrt{5}}
\end{bmatrix}
\begin{bmatrix}
2&0\\
0&3
\end{bmatrix}
\begin{bmatrix}
\frac{1}{\sqrt{5}}&\frac{2}{\sqrt{5}}\\
-\frac{2}{\sqrt{5}}&\frac{1}{\sqrt{5}}
\end{bmatrix}^T.
$$
使得$A\mathbf{x}$有最大长度的一个单位向量是$
\begin{bmatrix}
\frac{2}{\sqrt{5}}\\
\frac{1}{\sqrt{5}}
\end{bmatrix}
$.

Tags: