Moore-Penrose广义逆

You are currently browsing articles tagged Moore-Penrose广义逆.

由矩阵的奇异值分解可知,任意秩为$r$的$m\times n$实矩阵$A$都可以分解
成$UDV^{T}$的形式,其中$U$是$m\times m$正交阵,$V$是$n\times n$正交阵,$D$是形如
$$
\begin{pmatrix}
\Sigma&\mathbf{O}\\
\mathbf{O}&\mathbf{O}
\end{pmatrix}
$$
的矩阵,且
$$
\Sigma=
\begin{pmatrix}
\sigma_1&~&~&~\\
~&\sigma_2&~&~\\
~&~&\ddots&~\\
~&~&~&\sigma_{r}
\end{pmatrix}
$$
下面我们求矩阵$A$的Moore-Penrose广义逆所具有的表达式.

设$\mathbf{x}\in \mathbf{R}^{n}$,$\mathbf{b}\in \mathbf{R}^{m}$.则线性方程组$A\mathbf{x}=\mathbf{b}$可能是相容的,也可能是不相容的.

设向量$\mathbf{b}$在$A$的列空间上的射影向量为$\overline{\mathbf{b}}$,先求$\overline{\mathbf{b}}$的表达式.矩阵$A$的列空间和矩阵$UD$的列空间是一致的,而矩阵$UD$的列空间是由矩阵$U$的前$r$个列向量张成的.因此矩阵$A$的列空间是由矩阵$U$的前$r$个列向量张成的.只保留矩阵$U$的前$r$个列向量,得到矩阵$\overline{U}$.则
$$
\overline{\mathbf{b}}=\overline{U}(\overline{U})^{T}\mathbf{b}.
$$
虽然$A\mathbf{x}=\mathbf{b}$可能无解,但是$A\mathbf{x}=\overline{\mathbf{b}}$一定有解.即方程组
$$
A\mathbf{x}=\overline{U}(\overline{U})^T\mathbf{b}
$$
必定有解.即方程组
$$
UDV^T\mathbf{x}=\overline{U}(\overline{U})^T\mathbf{b}
$$
必定有解.

而且,矩阵$U$和矩阵$\overline{U}$具有关系:
$$
\overline{U}=UI_{m,r},
$$
其中矩阵$I_{m,r}$是$m\times r$矩阵,且对于任意的$1\leq i\leq r$,矩阵$I_{m,r}$的第$i$行第$i$列元素为$1$,其余元素都为$0$.

因此,
$$
UDV^T\mathbf{x}=\overline{U}(\overline{U})^T\mathbf{b}=UI_{m,r}I_{m,r}^TU^{T}\mathbf{b},
$$

\begin{equation}\label{eq:1}
DV^{T}\mathbf{x}=I_{m,r}I_{m,r}^TU^T\mathbf{b}.
\end{equation}

然后将解$\mathbf{x}$投影到矩阵$A$的行空间上:

设向量$\mathbf{x}$在$A$的行空间上的射影向量为$\overline{\mathbf{x}}$.下面来求$\overline{\mathbf{x}}$的表达式.首先,矩阵$A$的行空间等于矩阵$A^T$的列空间.由$A^{T}=VD^TU^T$可知,矩阵$A^T$的列空间由矩阵$V$的前$r$个列向量张成.因此矩阵$A$的行空间由矩阵$V$的前$r$个列向量张成.所以向量$\mathbf{x}$在矩阵$A$的行空间上的射影向量$\overline{\mathbf{x}}=\overline{V}(\overline{V})^{T}\mathbf{x}$.

矩阵$V$和矩阵$\overline{V}$的关系是$\overline{V}=VI_{n,r}$,其中矩阵$I_{n,r}$是$n\times r$矩阵,且对于任意的$1\leq i\leq r$,矩阵$I_{n,r}$的第$i$行第$i$列元素为$1$,其余元素都为$0$.

因此,
$$
\overline{\mathbf{x}}=\overline{V}(\overline{V})^T\mathbf{x}=VI_{n,r}I_{n,r}^TV^T\mathbf{x},
$$

\begin{equation}\label{eq:2}
V^T\overline{\mathbf{x}}=I_{n,r}I_{n,r}^TV^T\mathbf{x}.
\end{equation}
在方程\eqref{eq:1}两边同时乘上$n\times m$矩阵$D^{+}$,其中矩阵
$$
D^{+}=
\begin{pmatrix}
\Sigma^{-1}&\mathbf{O}\\
\mathbf{O}&\mathbf{O}
\end{pmatrix}
$$
可得
\begin{equation}\label{eq:3}
I_{n,r}I_{n,r}^TV^T\mathbf{x}=D^{+}U^T\mathbf{b}.
\end{equation}
将方程\eqref{eq:2}代入方程\eqref{eq:3}可得
$$
V^T\overline{\mathbf{x}}=D^{+}U^{T}\mathbf{b},
$$

$$
\overline{\mathbf{x}}=VD^{+}U^{T}\mathbf{b}.
$$
所以矩阵$A$的Moore-Penrose广义逆是$VD^{+}U^{T}$.

注意:文章有一个例外需要分开来讨论,即$D$是零矩阵时,$\Sigma^{-1}$是不存在的.但是文章最终的结论:$A$的M-P广义逆是$VD^+U^T$照样成立.

Tags: ,

题目1:(Strang《线性代数及其应用》第三版复习题3.17)
求出$A=
\begin{bmatrix}
3&0
\end{bmatrix}
$的Moore-Penrose广义逆.

解:
设$\mathbf{x}=
\begin{bmatrix}
x_1\\
x_2
\end{bmatrix}\in \mathbf{R}^2
$,$\mathbf{b}=m\in \mathbf{R}$.我们来看线性方程组$A\mathbf{x}=\mathbf{b}$.不管这个线性方程组是否相容,我们都要确定矩阵$A$的广义逆$A^{+}$,使得$\mathbf{x}’=A^{+}\mathbf{b}$,其中$\mathbf{x}’$是向量$\mathbf{x}$在矩阵$A$的行空间上的投影向量.

向量$\mathbf{b}$在矩阵$A$的列空间上的投影向量为$\mathbf{b’}=m$.我们来看线性方程组$A\mathbf{x}=\mathbf{b}’$,即
$$
\begin{bmatrix}
3&0
\end{bmatrix}
\begin{bmatrix}
x_1\\
x_2
\end{bmatrix}=m.
$$
向量$\mathbf{x}$在矩阵$A$的行空间中的射影向量为
$$
\mathbf{x}’=\frac{
\begin{bmatrix}
3&0
\end{bmatrix}
\begin{bmatrix}
x_1\\
x_2
\end{bmatrix}
}{3^2}
\begin{bmatrix}
3\\
0
\end{bmatrix}=\frac{1}{9}
\begin{bmatrix}
3\\
0
\end{bmatrix}m
$$
所以矩阵$A$的Moore-Penrose广义逆为$\frac{1}{9}
\begin{bmatrix}
3\\
0
\end{bmatrix}
$.

题目2:(Strang《Linear Algebra and Its Application》习题6.3.15)
求矩阵$A=
\begin{bmatrix}
1&1&1&1
\end{bmatrix}
$的Moore-Penrose广义逆.

解:
设$\mathbf{x}=
\begin{bmatrix}
x_1\\
x_2\\
x_3\\
x_4
\end{bmatrix}\in \mathbf{R}^4
$,$\mathbf{b}=m\in \mathbf{R}$.我们来看线性方程组$A\mathbf{x}=\mathbf{b}$.不管这个线性方程组是否相容,我们都要确定矩阵$A$的广义逆$A^{+}$,使得$\mathbf{x}’=A^{+}\mathbf{b}$,其中$\mathbf{x}’$是向量$\mathbf{x}$在矩阵$A$的行空间上的投影向量

向量$\mathbf{b}$在矩阵$A$的列空间上的投影向量是$\mathbf{b}’=m$.我们来看方程组$A\mathbf{x}=\mathbf{b}’$,即
$$
\begin{bmatrix}
1&1&1&1
\end{bmatrix}
\begin{bmatrix}
x_1\\
x_2\\
x_3\\
x_4
\end{bmatrix}=m,
$$
向量$\mathbf{x}$在矩阵$A$的行空间上的投影向量为
$$
\mathbf{x}’=\frac{
\begin{bmatrix}
1&1&1&1
\end{bmatrix}
\begin{bmatrix}
x_1\\
x_2\\
x_3\\
x_4
\end{bmatrix}
}{4}
\begin{bmatrix}
1\\
1\\
1\\
1
\end{bmatrix}=\frac{1}{4}
\begin{bmatrix}
1\\
1\\
1\\
1
\end{bmatrix}m,
$$
所以矩阵$A$的Moore-Penrose广义逆矩阵为$
\begin{bmatrix}
\frac{1}{4}\\
\frac{1}{4}\\
\frac{1}{4}\\
\frac{1}{4}
\end{bmatrix}
$.

题目3:求矩阵$A=
\begin{bmatrix}
1&1\\
0&0
\end{bmatrix}
$的Moore-Penrose广义逆.

:设$\mathbf{x}=
\begin{bmatrix}
x_1\\
x_2
\end{bmatrix}\in \mathbf{R}^2
$,$\mathbf{b}=
\begin{bmatrix}
m_1\\
m_2
\end{bmatrix}\in \mathbf{R}^2
$.

我们来看线性方程组$A\mathbf{x}=\mathbf{b}$.不管这个线性方程组是否相容,我们都要确定矩阵$A$的广义逆$A^{+}$,使得$\mathbf{x}’=A^{+}\mathbf{b}$,其中$\mathbf{x}’$是向量$\mathbf{x}$在矩阵$A$的行空间上的投影向量

向量$\mathbf{b}$在矩阵$A$的列空间上的投影向量为$\mathbf{b}’=
\begin{bmatrix}
m_1\\
0
\end{bmatrix}
$.我们来看方程组$A\mathbf{x}=\mathbf{b}’$,即
$$
\begin{bmatrix}
1&1\\
0&0
\end{bmatrix}
\begin{bmatrix}
x_1\\
x_2
\end{bmatrix}=
\begin{bmatrix}
m_1\\
0
\end{bmatrix},
$$
可得$x_1+x_2=m_1$.向量$\mathbf{x}$在矩阵$A$的行空间上的投影向量是$\mathbf{x}’=
\begin{bmatrix}
\frac{x_1+x_2}{2}\\
\frac{x_1+x_2}{2}
\end{bmatrix}=
\begin{bmatrix}
\frac{m_1}{2}\\
\frac{m_1}{2}
\end{bmatrix}
$.
$$
\mathbf{x}’=
\begin{bmatrix}
\frac{1}{2}&0\\
\frac{1}{2}&0
\end{bmatrix}
\begin{bmatrix}
m_1\\
m_2
\end{bmatrix}.
$$
所以矩阵$A$的Moore-Penrose广义逆为$\frac{1}{2}
\begin{bmatrix}
1&0\\
1&0
\end{bmatrix}
$.

题目4:求矩阵$A=
\begin{bmatrix}
1&2&3\\
2&4&6
\end{bmatrix}
$的Moore-Penrose广义逆.

解:设$\mathbf{x}=
\begin{bmatrix}
x_1\\
x_2\\
x_3
\end{bmatrix}\in \mathbf{R}^3
$,$\mathbf{b}=
\begin{bmatrix}
m_1\\
m_2
\end{bmatrix}\in \mathbf{R}^2
$.

我们来看线性方程组$A\mathbf{x}=\mathbf{b}$.不管这个线性方程组是否相容,我们都要确定矩阵$A$的广义逆$A^{+}$,使得$\mathbf{x}’=A^{+}\mathbf{b}$,其中$\mathbf{x}’$是向量$\mathbf{x}$在矩阵$A$的行空间上的投影向量.

向量$\mathbf{b}$在矩阵$A$的列空间上的投影向量是
$$
\mathbf{b}’=
\begin{bmatrix}
\frac{m_1+2m_2}{5}\\
\frac{2m_1+4m_2}{5}
\end{bmatrix}.
$$
我们来看方程组$A\mathbf{x}=\mathbf{b}’$,即
$$
\begin{bmatrix}
1&2&3\\
2&4&6
\end{bmatrix}
\begin{bmatrix}
x_1\\
x_2\\
x_3
\end{bmatrix}=
\begin{bmatrix}
\frac{m_1+2m_2}{5}\\
\frac{2m_1+4m_2}{5}
\end{bmatrix},
$$
则向量$\mathbf{x}$在矩阵$A$的行空间上的投影是
$$
\mathbf{x}’=\frac{
\begin{bmatrix}
1&2&3
\end{bmatrix}
\begin{bmatrix}
x_1\\
x_2\\
x_3
\end{bmatrix}
}{1^2+2^2+3^2}
\begin{bmatrix}
1\\
2\\
3
\end{bmatrix}=\frac{m_1+2m_2}{70}
\begin{bmatrix}
1\\
2\\
3
\end{bmatrix}=\frac{1}{70}
\begin{bmatrix}
1&2\\
2&4\\
3&6
\end{bmatrix}
\begin{bmatrix}
m_1\\
m_2
\end{bmatrix}.
$$
所以矩阵$A$的Moore-Penrose广义逆为$\frac{1}{70}
\begin{bmatrix}
1&2\\
2&4\\
3&6
\end{bmatrix}
$.

题目5:求矩阵$A=
\begin{bmatrix}
1&1\\
1&1
\end{bmatrix}
$的Moore-Penrose广义逆.

解:设$\mathbf{b}=
\begin{bmatrix}
m_1\\
m_2
\end{bmatrix}\in \mathbf{R}^2
$,$\mathbf{x}=
\begin{bmatrix}
x_1\\
x_2
\end{bmatrix}\in \mathbf{R}^2
$.

我们来看线性方程组$A\mathbf{x}=\mathbf{b}$.不管这个线性方程组是否相容,我们都要确定矩阵$A$的广义逆$A^{+}$,使得$\mathbf{x}’=A^{+}\mathbf{b}$,其中$\mathbf{x}’$是向量$\mathbf{x}$在矩阵$A$的行空间上的投影向量.

$\mathbf{b}$在矩阵$A$的列空间上的投影向量是$\mathbf{b}’=
\begin{bmatrix}
\frac{m_1+m_2}{2}\\
\frac{m_1+m_2}{2}
\end{bmatrix}
$.我们来看方程组
$
A\mathbf{x}=\mathbf{b}’,
$即
$$
\begin{bmatrix}
1&1\\
1&1
\end{bmatrix}
\begin{bmatrix}
x_1\\
x_2
\end{bmatrix}=
\begin{bmatrix}
\frac{m_1+m_2}{2}\\
\frac{m_1+m_2}{2}
\end{bmatrix}.
$$
解得$x_1+x_2=\frac{m_1+m_2}{2}$.向量$\mathbf{x}$在矩阵$A$的行空间上的投影向量是$\mathbf{x}’=
\begin{bmatrix}
\frac{m_1+m_2}{4}\\
\frac{m_1+m_2}{4}
\end{bmatrix}
$.
$$
\mathbf{x}’=
\begin{bmatrix}
\frac{1}{4}&\frac{1}{4}\\
\frac{1}{4}&\frac{1}{4}
\end{bmatrix}
\begin{bmatrix}
m_1\\
m_2
\end{bmatrix}.
$$
因此矩阵$A$的Moore-Penrose广义逆矩阵是$
\begin{bmatrix}
\frac{1}{4}&\frac{1}{4}\\
\frac{1}{4}&\frac{1}{4}
\end{bmatrix}
$.

题目6:求矩阵$A=
\begin{bmatrix}
1&2\\
2&5\\
3&7
\end{bmatrix}
$的Moore-Penrose广义逆.

解:设$\mathbf{b}=
\begin{bmatrix}
m_1\\
m_2\\
m_3
\end{bmatrix}\in \mathbf{R}^3
$.我们来看线性方程组$A\mathbf{x}=\mathbf{b}$.不管这个线性方程组是否相容,我们都要确定矩阵$A$的广义逆$A^{+}$,使得$\mathbf{x}’=A^{+}\mathbf{b}$,其中$\mathbf{x}’$是向量$\mathbf{x}$在矩阵$A$的行空间上的投影向量.

下面我们求向量$\mathbf{b}$在矩阵$A$的列空间上的投影向量.首先,设矩阵$A$的第$i$个列向量为$\mathbf{v}_i$.则由Gram-Schimidt正交化过程,向量
$$
\mathbf{w}_{1}=\mathbf{v}_1=
\begin{bmatrix}
1\\
2\\
3
\end{bmatrix},
$$
向量
$$
\mathbf{w}_2=\mathbf{v}_2-\frac{\mathbf{v}_2^T\mathbf{v}_1}{\mathbf{v}_1^T\mathbf{v}_1}\mathbf{v}_{1}=
\frac{1}{14}\begin{bmatrix}
-5\\
4\\
-1
\end{bmatrix}
$$
则向量
$$
\frac{\mathbf{w}_1}{|\mathbf{w}_1|}=\frac{1}{\sqrt{14}}
\begin{bmatrix}
1\\
2\\
3
\end{bmatrix},\frac{\mathbf{w}_2}{|\mathbf{w}_2|}=
\begin{bmatrix}
-\frac{5}{\sqrt{42}}\\
\frac{4}{\sqrt{42}}\\
\frac{-1}{\sqrt{42}}
\end{bmatrix}
$$
是互相垂直的单位向量,且这两个向量张成矩阵$A$的列空间.因此向量$\mathbf{b}$在矩阵$A$的列空间上的投影向量为
$$
\mathbf{b}’=(\mathbf{b}\cdot
\frac{\mathbf{w}_1}{|\mathbf{w}_1|})\frac{\mathbf{w}_1}{|\mathbf{w}_1|}+(\mathbf{b}\cdot \frac{\mathbf{w}_2}{|\mathbf{w}_2|})\frac{\mathbf{w}_2}{|\mathbf{w}_2|}=\frac{1}{3}
\begin{bmatrix}
2m_1-m_2+m_3\\
-m_1+2m_2+m_3\\
m_1+m_2+2m_3
\end{bmatrix}
$$
设$\mathbf{x}=
\begin{bmatrix}
x_1\\
x_2
\end{bmatrix}\in \mathbf{R}^2
$,我们来看线性方程组$A\mathbf{x}=\mathbf{b}’$,即
$$
\begin{bmatrix}
1&2\\
2&5\\
3&7
\end{bmatrix}
\begin{bmatrix}
x_1\\
x_2
\end{bmatrix}=\frac{1}{3}
\begin{bmatrix}
2m_1-m_2+m_3\\
-m_1+2m_2+m_3\\
m_1+m_2+2m_3
\end{bmatrix},
$$
设矩阵$A$的第$i$个行向量为$\mathbf{u}_i$,则矩阵$A$的行空间由向量$\mathbf{u}_1$和$\mathbf{u}_2$张成.则由Gram-Schimidt正交化过程,向量
$$
\mathbf{p}_1=\mathbf{u}_1,
$$
向量
$$
\mathbf{p}_2=\mathbf{u}_2-\frac{\mathbf{u}_2^T\mathbf{u}_1}{\mathbf{u}_1^T\mathbf{u}_1}\mathbf{u}_1=\frac{1}{5}
\begin{bmatrix}
-2\\
1
\end{bmatrix}
$$
则向量
$$
\frac{\mathbf{p}_1}{|\mathbf{p}_1|}=\frac{1}{\sqrt{5}}
\begin{bmatrix}
1\\
2
\end{bmatrix},\frac{\mathbf{p}_2}{|\mathbf{p}_2|}=\frac{1}{\sqrt{5}}
\begin{bmatrix}
-2\\
1
\end{bmatrix}
$$
因此向量$\mathbf{x}$在矩阵$A$的行空间上的投影向量为
\begin{align*}
\mathbf{x}’&=(\mathbf{x}\cdot
\frac{\mathbf{p}_1}{|\mathbf{p}_1|})\frac{\mathbf{p}_1}{|\mathbf{p}_1|}+(\mathbf{x}\cdot
\frac{\mathbf{p}_2}{|\mathbf{p}_2|})\frac{\mathbf{p}_2}{|\mathbf{p}_2|}\\&=(\mathbf{x}\cdot
\mathbf{p}_1)\frac{\mathbf{p}_1}{|\mathbf{p}_1|^2}+(\mathbf{x}\cdot
\mathbf{p}_2)\frac{\mathbf{p}_2}{|\mathbf{p}_2|^2}
\\&=\frac{1}{3}(2m_1-m_2+m_3)
\begin{bmatrix}
\frac{1}{5}\\
\frac{2}{5}
\end{bmatrix}+\frac{1}{3}(-29m_1+22m_2-7m_3)
\begin{bmatrix}
-\frac{2}{5}\\
\frac{1}{5}
\end{bmatrix}
\\&=\frac{1}{3}
\begin{bmatrix}
12m_1-9m_2+3m_3\\
-5m_1+4m_2-m_3
\end{bmatrix}=\frac{1}{3}
\begin{bmatrix}
12&-9&3\\
-5&4&-1
\end{bmatrix}
\begin{bmatrix}
m_1\\
m_2\\
m_3
\end{bmatrix}
\end{align*}
所以矩阵$A$的Moore-Penrose广义逆矩阵为$\frac{1}{3}
\begin{bmatrix}
12&-9&3\\
-5&4&-1
\end{bmatrix}
$.

题目7:(Strang《线性代数及其应用》第三版习题3.4.3)若$A$有正交的单位列向量组,那么它的广义逆是什么?

:设$A$是$m\times n$矩阵.设向量$\mathbf{b}\in \mathbf{R}^m$,向量$\mathbf{x}\in \mathbf{R}^n$.

我们来看线性方程组$A\mathbf{x}=\mathbf{b}$.不管这个线性方程组是否相容,我们都要确定矩阵$A$的广义逆$A^{+}$,使得$\mathbf{x}’=A^{+}\mathbf{b}$,其中$\mathbf{x}’$是向量$\mathbf{x}$在矩阵$A$的行空间上的投影向量.

向量$\mathbf{b}$在矩阵$A$的列空间上的投影为$\mathbf{b}’=AA^{T}\mathbf{b}$.我们来看方程组$A\mathbf{x}=\mathbf{b}’=AA^{T}\mathbf{b}$.

下面我们来求向量$\mathbf{x}$在矩阵$A$的行空间上的投影向量.为此求矩阵$A$的行空间.因为矩阵$A$的列秩为$n$,所以矩阵$A$的行秩也为$n$.可见,$\mathbf{R}^n$中的向量$\mathbf{x}$在矩阵$A$的行空间上的投影向量
$\mathbf{x}’=\mathbf{x}$.

因此$\mathbf{x}’=\mathbf{x}=A^{T}AA^T\mathbf{b}=A^{T}b$,可见矩阵$A$的广义逆是$A^{T}$.

题目8:(Strang《线性代数及其应用》第三版习题3.4.1)求$m\times n$的零矩阵$A=0$的广义逆,并解释你的理由.

解:设向量$\mathbf{x}\in \mathbf{R}^n$,$\mathbf{b}\in \mathbf{R}^m$.

我们来看线性方程组$A\mathbf{x}=\mathbf{b}$.不管这个线性方程组是否相容,我们都要确定矩阵$A$的广义逆$A^{+}$,使得$\mathbf{x}’=A^{+}\mathbf{b}$,其中$\mathbf{x}’$是向量$\mathbf{x}$在矩阵$A$的行空间上的投影向量.

向量$\mathbf{b}$在矩阵$A$的列空间上的投影是零向量$\mathbf{b}’=\mathbf{0}_m\in \mathbf{R}^m$.向量$\mathbf{x}$在矩阵$A$的行空间上的投影是零向量$\mathbf{x}’=\mathbf{0}_n\in \mathbf{R}^n$.而$\mathbf{x}’=B\mathbf{b}$,其中$B$是$n\times m$的零矩阵.因此矩阵$A$的广义逆是$n\times m$的零矩阵.

题目9:(Strang《线性代数及其应用》第三版习题3.4.2)对于一个秩
为$1$的矩阵,分解式$A=\overline{L}\overline{U}$与$A=uv^T$是一致的,两
者都是一个列向量和一个行向量的乘积.对于
$$
A=
\begin{bmatrix}
1&1&1\\
1&1&1
\end{bmatrix}~~\mbox{和}~~\mathbf{b}=
\begin{bmatrix}
0\\
1
\end{bmatrix}
$$
求$A^{+}$和$\overline{\mathbf{x}}$.把$\mathbf{b}$射影到列空间上去,并验证$A\overline{\mathbf{x}}=\mathbf{p}$.

解:
$$
A=
\begin{bmatrix}
1&0\\
1&1
\end{bmatrix}
\begin{bmatrix}
1&1&1\\
0&0&0
\end{bmatrix}=
\begin{bmatrix}
1&0\\
1&0
\end{bmatrix}
\begin{bmatrix}
1&1&1\\
0&0&0
\end{bmatrix}=
\begin{bmatrix}
1\\
1
\end{bmatrix}
\begin{bmatrix}
1&1&1
\end{bmatrix}.
$$
可得矩形$A$的列空间是由向量$
\begin{bmatrix}
1\\
1
\end{bmatrix}
$张成的.矩阵$A$的行空间是由向量$
\begin{bmatrix}
1&1&1
\end{bmatrix}
$张成的.设向量$\mathbf{b}=
\begin{bmatrix}
m_1\\
m_2
\end{bmatrix}\in \mathbf{R}^2
$,$\mathbf{x}=
\begin{bmatrix}
x_1\\
x_2\\
x_3
\end{bmatrix}\in \mathbf{R}^3.
$则向量$\mathbf{b}$在矩阵$A$的列空间上的投影向量$\mathbf{b}’=\frac{m_1+m_2}{2}
\begin{bmatrix}
1\\
1
\end{bmatrix}
$.我们来看线性方程组$A\mathbf{x}=\mathbf{b}’$.即
$$
\begin{bmatrix}
1&1&1\\
1&1&1
\end{bmatrix}
\begin{bmatrix}
x_1\\
x_2\\
x_3
\end{bmatrix}=\frac{m_1+m_2}{2}
\begin{bmatrix}
1\\
1
\end{bmatrix},
$$
则向量$\mathbf{x}$在矩阵$A$的行空间上的投影向量$$\mathbf{x}’=\frac{x_1+x_2+x_3}{3}
\begin{bmatrix}
1\\
1\\
1
\end{bmatrix}=\frac{m_1+m_2}{6}
\begin{bmatrix}
1\\
1\\
1
\end{bmatrix}=\frac{1}{6}
\begin{bmatrix}
1&1\\
1&1\\
1&1
\end{bmatrix}\mathbf{b}
$$
因此$A$的广义逆$A^{+}=\frac{1}{6}
\begin{bmatrix}
1&1\\
1&1\\
1&1
\end{bmatrix}
$.

题目10:(Strang《线性代数及其应用》第三版习题3.4.4)若$AA^T$可逆,则$A^{+}=A^T(AA^{T})^{-1}$,且$\overline{\mathbf{x}}=A^{+}\mathbf{b}$.

  • 验证$A\overline{x}=\mathbf{b}$.
  • 对$A=\begin{bmatrix}1&1\end{bmatrix}$,求$u+v=3$的最佳解.

解:

  • $A\overline{\mathbf{x}}=AA^{+}\mathbf{b}=AA^{T}(AA^{T})^{-1}\mathbf{b}=\mathbf{b}$.事实上,当$AA^T$可逆时,设向量$\mathbf{x}$在矩阵$A$的行空间上的投影向量为$\overline{\mathbf{x}}$,则$$\overline{\mathbf{x}}=A^T(AA^{T})^{-1}A\mathbf{x}=A^T(AA^T)^{-1}\mathbf{p},$$而且,$\overline{\mathbf{x}}=A^{+}\mathbf{p}$,所以$A^{+}=A^T(AA^{T})^{-1}$.
  • 即求
    $$
    \begin{bmatrix}
    1&1
    \end{bmatrix}
    \begin{bmatrix}
    u\\
    v
    \end{bmatrix}=3
    $$
    的最佳解.在这里,向量$\mathbf{b}=3$,向量$\mathbf{x}=
    \begin{bmatrix}
    u\\
    v
    \end{bmatrix}
    $.向量$\mathbf{b}$在矩阵$A$的列空间上的投影向量$\mathbf{p}=3$.向量$\mathbf{x}$在矩阵$A$的行空间上的投影向量$\overline{\mathbf{x}}=
    \begin{bmatrix}
    \frac{u+v}{2}\\
    \frac{u+v}{2}
    \end{bmatrix}=
    \begin{bmatrix}
    \frac{3}{2}\\
    \frac{3}{2}
    \end{bmatrix}
    $.因此$u+v=3$的最佳解是$u=v=\frac{3}{2}$.

Tags: