一、關(guān)于正定矩陣的一些補充

在此之前，先講一下對稱矩陣中那些特征值為正數(shù)的矩陣，這樣特殊的矩陣稱為正定矩陣。其更加學(xué)術(shù)的定義是：

$S$ 是一個正定矩陣，如果對于每一個非零向量$x$，$x^{T}Sx>0$

• 正定矩陣的逆仍然是正定矩陣
• 兩個正定矩陣的和仍然是正定矩陣
• $S=A{A}^T$ 是正定的條件是矩陣 $A$ 的列是獨立的

對于最后一個結(jié)論。矩陣 $A$ 是一個 $m\times n$ 普通的矩陣（有可能為長方形），那么對應(yīng)的矩陣 $A^{T}A$ 一定是對稱矩陣。那么這樣的 $A^{T}A$ 是一個正定的嗎？

$$A{A}^T$$
左乘$x^T$，右乘 $x$
$$x^T{A}^{T}Ax=(Ax{)}^T(Ax)=|Ax{|}^2\ge 0$$
要保證它一定是正定，$Ax=0(x\ne 0)$ 需要剔除， 這是我們熟悉的，只要 $A$ 列滿秩就一定只有零解，該條件自然剔除。所以結(jié)論是：只要普通方陣列滿秩，$A{A}^T$就一定是一個正定的對稱矩陣。

二、相似矩陣

對于$m\times n矩陣：$$A$ 和 $B$ 是相似的，那么存在一些矩陣使得：
$$B=M^{?1}AM$$
事實上，我們已經(jīng)接觸過一種比較特殊的相似矩陣。假設(shè) $A$ 具有線性無關(guān)的特征向量，也就是存在特征矩陣 $S$使得：
$$S^{?1}AS=\Lambda$$
用這節(jié)課的新概念來看， 矩陣 $A$ 與對角矩陣 $\Lambda$ 相似，與對角矩陣相似是一個特別簡潔的情況。舉個例子：
$$A=\left[\begin{array}{cc}2& 1\\ 1& 2\end{array}\right]$$
因為矩陣 $A$ 是線性無關(guān)的，所以必然存在一個逆矩陣 $S$ 使得：
$$S^{?1}AS=\Lambda =\left[\begin{array}{cc}3& 0\\ 0& 1\end{array}\right]$$
除了 $S$ 很多其他可逆矩陣也可以使得：
$$M^{?1}AM=B$$
不過矩陣沒有這么特殊罷了。比如：
$$\left[\begin{array}{cc}1& ?4\\ 0& 1\end{array}\right]\left[\begin{array}{cc}2& 1\\ 1& 2\end{array}\right]\left[\begin{array}{cc}1& 4\\ 1& 0\end{array}\right]=\left[\begin{array}{cc}?2& ?15\\ 1& 6\end{array}\right]=B$$
那么這兩個矩陣 $B$ 和 $\Lambda$ 的共同點是什么呢？它們的特征值相同！$相似矩陣具有相同的特征值！$下面對這個結(jié)論進(jìn)行證明：
$$Ax=\lambda x$$
在 $A$ 和 $x$之間插入一個 $M^{?1}M$有：
$$AM{M}^{?1}x=\lambda x$$
然后左右兩邊再乘以 $M^{?1}$有：
$$M^{?1}AM{M}^{?1}x=\lambda M^{?1}x$$
加上括號有：
$$(M^{?1}AM)M^{?1}x=\lambda M^{?1}x$$
因為：$B=M^{?1}AM$，所以：
$$B{M}^{?1}x=\lambda M^{?1}x$$
把$M^{?1}x$ 看成一個向量，顯然 $\lambda$ 是矩陣 $B$ 的特征向量，故相似矩陣相同的特征值，但是特征向量卻發(fā)生了改變，變成了$M^{?1}x$

接下來看一下特征值相同的矩陣，前面知識已知：如果特征值相同那么這個矩陣不可以進(jìn)行對角化，這種情況是“不咋美麗”的情況，但是我們需要對其進(jìn)行討論：

假設(shè)我們的特征值 ${\lambda }_1={\lambda }_2=4$，特征值相同的矩陣可以分為兩個陣營：

小陣營1：
$$\left[\begin{array}{cc}4& 0\\ 0& 4\end{array}\right]$$
這個陣營的矩陣只與自己相似。

大陣營2：
$$\left[\begin{array}{cc}4& 1\\ 0& 4\end{array}\right]$$
它是不能對角化的，因為如果可以對角化，那么就會相似于小陣營。上面的大陣營例子是一個若爾當(dāng)標(biāo)準(zhǔn)型 （Jordan Form）。事實上，歷史的某個時期，若爾當(dāng)標(biāo)準(zhǔn)型還是壓軸內(nèi)容，現(xiàn)在不是了，最重要的一個原因就是一般的矩陣很難化簡為若爾當(dāng)標(biāo)準(zhǔn)型：條件特征值完全相等。還可以繼續(xù)列舉這樣的矩陣：
$$\left[\begin{array}{cc}5& 1\\ ?1& 3\end{array}\right]\left[\begin{array}{cc}4& 0\\ 17& 4\end{array}\right]$$

再列舉一個大一些的矩陣：
$$\left[\begin{array}{cccc}0& 1& 0& 0\\ 0& 0& 1& 0\\ 0& 0& 0& 0\\ 0& 0& 0& 0\end{array}\right]$$
特征值全是零 ${\lambda }_1={\lambda }_2={\lambda }_3={\lambda }_4=0$，特征向量有幾個？等于秩的個數(shù) $N(A)=2$，有兩個特征向量“消失了”。

$$\left[\begin{array}{cccc}0& 1& 0& 0\\ 0& 0& 0& 0\\ 0& 0& 0& 1\\ 0& 0& 0& 0\end{array}\right]$$
下面介紹一下若爾當(dāng)塊（Jordan block）：
$$J_i=\left[\begin{array}{ccccc}{\lambda }_i& 1& & & 0\\ 0& {\lambda }_i& 1& & \\ 0& 0& {\lambda }_i& 1& \\ ?& ?& ?& ?& \end{array}\right]$$
對角線上都是相同的特征值 ${\lambda }_i$ 特征值右側(cè)都是1，其他地方都是0。每個塊都有一個特征向量，我們可以通過數(shù)若爾當(dāng)塊確定特征向量的個數(shù)。

若爾當(dāng)定理（Jordan’s theorem）：每個方陣 $A$ 都相似于一個若爾當(dāng)陣矩陣 $J$
$$J=\left[\begin{array}{ccccc}J1& & & & \\ & J2& & & \\ & & J3& & \\ & & & ?& \end{array}\right]$$
若爾當(dāng)塊個數(shù)等于特征向量個數(shù)?！叭绻粋€矩陣可以對角化，那么這個矩陣相似于對角矩陣”，它是若爾當(dāng)矩陣的一種特殊情況。最好情況就是對角矩陣。