# 矩阵

正定矩阵

酉矩阵

埃尔米特矩阵

共轭转置与转置

奇异值分解

# 秩

一个矩阵主元的数量就是 rank，就是化简到最后的主元 就是有多少个解

rank = 基的维度 = 列向量的

当 $R= n<m$ 的情况，有 0 或一个解例如.I 是定义矩阵，其中 0 是自由行，m 是 row number 行数，n 是 colunm number 列数 F 是自由行

$$R=\left|\begin{matrix}I\\0\end{matrix}\right|$$

当$R = m<n$ 时，有无数多个解

$$R = \left|IF\right|$$

当$R <m,R<n$ 时候，有 0 或无数多个解

$$R = \left|\begin{matrix}I&F\\0&0\end{matrix}\right|$$

# 消元法

对于三元一次方程

$$\begin{aligned}x+2y+z=2\\3x+8y+z=12\\4y+z=2\end{aligned}$$

可以写成

$$\left|\begin{matrix}1&2&1\\3&8&1\\0&4&1\end{matrix}\right|\left|\begin{matrix}x\\y\\z\end{matrix}\right|=\left|\begin{matrix}2\\12\\2\end{matrix}\right|$$

利用消元法把第一行 * -3 加到第二行上变成了

$$\left|\begin{matrix}1&2&1\\0&2&-2\\0&4&1\end{matrix}\right|\left|\begin{matrix}x\\y\\z\end{matrix}\right|=\left|\begin{matrix}2\\6\\2\end{matrix}\right|$$

然后把第二行 * -2 加到第三行上

$$\left|\begin{matrix}\boxed{1}&2&1\\0&\boxed{2}&-2\\0&0&\boxed{5}\end{matrix}\right|\left|\begin{matrix}x\\y\\z\end{matrix}\right|=\left|\begin{matrix}2\\6\\-10\end{matrix}\right|$$

这样就变成了上三角矩阵，其中等于的是 增广矩阵 ，其中框中的是主元，主元在高斯消元法中不能为 0，要是为 0 就不能交换行或列，要是交换后还是为 0 就是没有解。

# 行列式

记作 det (𝐴) 或 |𝐴|，是一个在方块矩阵上计算得到的标量。行列式可以看作是有向面积或体积的概念在一般的欧几里得空间中的推广。或者说，在欧几里得空间中，行列式描述的是一个线性变换对 “体积” 所造成的影响。

• 求法可以通过消元法或者 LU 分解得到主元，然后把所有主元相乘起来，要是不是满秩的话，行列式是 0，代表方程式就是无解
• 对于 2x2 矩阵就是对角线相加，对于$A=\begin{bmatrix}a&b\\c&d\end{bmatrix}$|\mathrm{A}|=\text
• 3*3 矩阵就是$A=\left[\begin{array}{ccc}a&b&c\\d&e&f\\g&h&i\end{array}\right]$\mathrm
• |A|=a\cdot\begin{vmatrix}e&f\\h&i\end{vmatrix}-b\cdot\begin{vmatrix}d&f\\g&i\end{vmatrix}+c\cdot\begin{vmatrix}d&e\\g&h\end

# 性质

在行列式中，一行（列）元素全为 0，则此行列式的值为 0。$\begin{vmatrix}0&0&\ldots&0\\a_{21}&a_{22}&\ldots&a_{2n}\\\varvdots&\varvdots&\ddots&\varvdots\\a_{n1}&a_{n2}&\ldots&a_{nn}\end{vmatrix}=\begin{vmatrix}0&a_{12}&\ldots&a_{1n}\\0&a_{22}&\ldots&a_{2n}\\\varvdots&\varvdots&\ddots&\varvdots\\0&a_{n2}&\ldots&a_{nn}\end{vmatrix}=0$

在行列式中，某一行（列）有公因子𝑘，则可以提出𝑘D=\begin{vmatrix}a_{11}&a_{12}&\ldots&a_{1n}\\\varvdots&\varvdots&\ddots&\varvdots\\ka_{i1}&ka_{i2}&\ldots&ka_{in}\\\varvdots&\varvdots&\ddots&\varvdots\\a_{n1}&a_{n2}&\ldots&a_{nn}\end{vmatrix}=k\begin{vmatrix}a_{11}&a_{12}&\ldots&a_{1n}\\\varvdots&\varvdots&\ddots&\varvdots\\a_{i1}&a_{i2}&\ldots&a_{in}\\\varvdots&\varvdots&\ddots&\varvdots\\a_{n1}&a_{n2}&\ldots&a_{nn}\end{vmatrix}=kD_

在行列式中，某一行（列）的每个元素是两数之和，则此行列式可拆分为两个相加的行列式\begin{vmatrix}a_{11}&a_{12}&\ldots&a_{1n}\\\vdots&\vdots&\ddots&\vdots\\a_{i1}+b_{i1}&a_{i2}+b_{i2}&\ldots&a_{in}+b_{in}\\\vdots&\vdots&\ddots&\vdots\\a_{n1}&a_{n2}&\ldots&a_{nn}\end{vmatrix}=\begin{vmatrix}a_{11}&a_{12}&\ldots&a_{1n}\\\vdots&\vdots&\ddots&\vdots\\a_{i1}&a_{i2}&\ldots&a_{in}\\\vdots&\vdots&\ddots&\vdots\\a_{n1}&a_{n2}&\ldots&a_{nn}\end{vmatrix}+\begin{vmatrix}a_{11}&a_{12}&\ldots&a_{1n}\\\vdots&\vdots&\ddots&\vdots\\b_{i1}&b_{i2}&\ldots&b_{in}\\\vdots&\vdots&\ddots&\vdots\\a_{n1}&a_{n2}&\ldots&a_{nn}\end

行列式中的两行（列）互换，改变行列式正负符号\begin{vmatrix}\vdots&\vdots&\vdots&\vdots\\a_{i1}&a_{i2}&\ldots&a_{in}\\a_{j1}&a_{j2}&\ldots&a_{jn}\\\vdots&\vdots&\vdots&\vdots\end{vmatrix}=-\begin{vmatrix}\vdots&\vdots&\vdots&\vdots\\a_{j1}&a_{j2}&\ldots&a_{jn}\\a_{i1}&a_{i2}&\ldots&a_{in}\\\vdots&\vdots&\vdots&\vdots\end

在行列式中，有两行（列）对应成比例或相同，则此行列式的值为 0$\begin{vmatrix}2&2&\ldots&2\\8&8&\ldots&8\\\vdots&\vdots&\ddots&\vdots\\a_{n1}&a_{n2}&\ldots&a_{nn}\end{vmatrix}=0$

行列式的乘法定理：方块矩阵的乘积的行列式等于行列式的乘积。det (𝐴𝐵)=det (𝐴) det (𝐵)。特别的，若将矩阵中的每一行每一列上的数都乘以一个常数𝑟，那么所得到的行列式不是原来的𝑟倍，而是𝑟𝑛倍：

$\det(rA)=\det(rI_n\cdot A)=\det(rI_n)\cdot\det(A)=r^n\det(A)$

矩阵的行列式和矩阵的迹数有一定的关联，当矩阵的系数为域时，在定义了矩阵的指数函数后，有如下的恒等式：

$\det(\exp(A))=\exp(\operatorname{tr}(A))$

# 特征值与特征向量

给定一个矩阵$A$ 经过线性变换 x 后得到$Ax = \lambda x$, 这个$\lambda$ 就是特征值，$x$ 就是特征向量，意思就是朝着某一个方向对矩阵进行缩放，其中 A 的矩阵的维度就有多少个特征值

求法：

$$\det(A-\lambda I)=0$$

例子：

$$A=\begin{bmatrix}3&1\\1&3\end{bmatrix}\\\det(A-\lambda I)=\begin{vmatrix}3-\lambda&1\\1&3-\lambda\end{vmatrix}=(3-\lambda)^{2}-1=0\\\lambda_{1}=2,\quad\lambda_{2}=4$$

特征向量是：

$$(A-\lambda_{1}I)x=\begin{bmatrix}3-2&1\\1&3-2\end{bmatrix}x=\begin{bmatrix}1&1\\1&1\end{bmatrix}x=0\\x=\begin{bmatrix}1\\-1\end{bmatrix}$$

要是$A^{-1}$ 的特征值就是 A 特征值的倒数

特征值之积等于矩阵行列式、特征值之和等于矩阵的迹

# 相乘

# 方法一

对于矩阵乘向量，列（column）相乘是这样的，每一竖跟每一竖相乘

$$x\left|\begin{matrix}1\\3\\0\end{matrix}\right|+y\left|\begin{matrix}2\\8\\4\end{matrix}\right|+z\left|\begin{matrix}1\\1\\1\end{matrix}\right|$$

行（row）向量相乘是这样的

$$\left|\begin{matrix}{1}&2&1\\0&{2}&-2\\0&0&{5}\end{matrix}\right|\left|\begin{matrix}xyz\end{matrix}\right|$$

$$x\left|\begin{matrix}1\\2\\1\end{matrix}\right|+y\left|\begin{matrix}0\\2\\-2\end{matrix}\right|+z\left|\begin{matrix}0\\0\\5\end{matrix}\right|$$

# 方法二

结果矩阵任意一点就是相乘的两个矩阵对应行的点乘，例如$c_{23}$ 就是$A$ 第二行跟$B$ 第三列进行点乘$A_2 \cdot B_3$

# 逆矩阵

逆矩阵求法定义为$AA^{-1} = I$, 对于求法可以用增广矩阵来求，把另一侧变为单位矩阵最后结果就是逆矩阵　，要是行列式是 0 说明矩阵不可逆

$$\left[\begin{array}{cc|cc}1&3&1&0\\2&7&0&1\end{array}\right]\\\left[\begin{array}{cc|cc}1&3&1&0\\0&1&-2&1\end{array}\right]\\\left[\begin{array}{cc|cc}1&0&7&-3\\0&1&-2&1\end{array}\right]\\$$

最后得到逆矩阵就是

$$\left|\begin{matrix}{7}&-3\\-2&1\end{matrix}\right|$$

也可以用逆矩阵 = 伴随矩阵 *（1 / 矩阵的行列式值）（绝对值）
伴随矩阵 = 余子式矩阵对角变换

https://www.shuxuele.com/algebra/matrix-inverse-minors-cofactors-adjugate.html

对于 i + j = 偶数时候，符号要取负号

# 矩阵的行列式值求法

**|A|** 代表矩阵 A 的行列式和绝对值的符号一样

矩阵的行列式

行列式的几何意义是面积体积，2x2 矩阵的行列式是平行四边形的面积，3x3 矩阵的行列式是正方体也就是六面体的体积，行列式也代表线性变化的缩放程度，大于 1 则放大 \

如果矩阵的秩等于列数或行数（或两者），则称矩阵具有满秩。没有满秩的矩阵称为秩亏矩阵的。

一个复系数矩阵 A 的极分解将其分解成两个矩阵的乘积，可以表示为：A=Up

其中 U 是一个酉矩阵，P 是一个半正定的埃尔米特矩阵。这样的分解对任意的矩阵 A 都存在。当 A 是可逆矩阵时，分解是唯一的，并且 P 必然为正定矩阵。

# 矩阵叉乘

# 四大基础子空间

# 列空间或行空间

是由一个矩阵的列向量或者行向量组成的空间

# 列空间 ColumeSpace

对于 m×n 矩阵 A   列空间就是 A 的各列的线性组合的集合，记为 ColA，列空间上所有向量都是列向量的线性组合，都处在$R^m$ 一个子空间，即 Ax=b 中的 b。他的维数是秩，列空间的基就是主元的列

对于矩阵

$$A=\begin{bmatrix}1&2&3\\2&3&5\\3&4&7\\4&5&9\end{bmatrix}\\Ax=\begin{bmatrix}1&2&3\\2&3&5\\3&4&7\\4&5&9\end{bmatrix}\begin{bmatrix}x_1\\x_2\\x_3\end{bmatrix}=\begin{bmatrix}b_1\\b_2\\b_3\\b_4\end{bmatrix}$$

他的列空间就是$r_1 = (1,2,3,4)r_2 = (2,3,4,5)r_3 = (3,5,7,9)||(r_1,r_2)$, 因为 r3 是前连个线性相关，所以不是

从几何角度来说所有向量会组成一个平面，要是解不包含 0 的话就不存在子空间组合

列空间的意义就是 b 是 A 的线性组合，在列空间的里面，所以这个 Ax=b 方程是有解的，反而是无解

• 基

  列空间的基就是可以化简成 11 的所在的列

  $$A=\begin{bmatrix}1&1&1&1\\2&1&4&3\\3&4&1&2\end{bmatrix}\\C(\boldsymbol{A})=span\Bigg(\begin{bmatrix}1\\2\\3\end{bmatrix},\begin{bmatrix}1\\1\\4\end{bmatrix},\begin{bmatrix}1\\4\\1\end{bmatrix},\begin{bmatrix}1\\3\\2\end{bmatrix}\Bigg)$$

  $$\begin{aligned}A=&\begin{bmatrix}1&1&1&1\\2&1&4&3\\3&4&1&2\end{bmatrix}\to\begin{bmatrix}1&1&1&1\\0&-1&2&1\\0&1&-2&-1\end{bmatrix}\to\begin{bmatrix}1&0&3&2\\0&1&-2&-1\\0&0&0&0\end{bmatrix}\\&\to\begin{bmatrix}1&0&3&2\\0&1&-2&-1\\0&0&0&0\end{bmatrix}\begin{bmatrix}x_1\\x_2\\x_3\\x_4\end{bmatrix}=\begin{bmatrix}0\\0\\0\end{bmatrix}\end{aligned}$$

  其中所在的 1，0，0 和 0，1，0 是基

  $$C(A)=span\left(\begin{bmatrix}1\\2\\3\end{bmatrix},\begin{bmatrix}1\\1\\4\end{bmatrix}\right)$$

# 零空间

对于$Ax = 0$ 点情况所有解的组合就是零空间，他们会变成一条经过 0 点一条线

# 投影

对于一个没有解到矩阵，我们可以把它投影到另一个矩阵上求其近似解，就低维来说，就像一个向量投影到另一个向量上，当再次投影就是他自己，他的公式是

$$P=A(A^TA)^{−1}A^T$$

求一个矩阵的投影也可以写成，b 是要投影的矩阵，A 是接受投影的矩阵

$$\frac{A^Tb}{A^TA}A$$

# 投影矩阵的性质

1. 幂等性（Idempotence）：

$$p^2 = p$$

这表示再次应用投影矩阵不会改变已经投影的向量。

1. 对称性（Symmetry）：

$$P = P^T$$

这是 PPP 投影到子空间时保持的性质。

1. 特征值：
   • 投影矩阵的特征值是 0 和 1。
   • 1 的特征向量对应于投影子空间中的向量。
   • 0 的特征向量对应于投影到零的向量。
2. 迹（Trace）：
   • 投影矩阵 P 的迹等于其秩，即 P 投影的子空间的维度。

# 例子

# 最小二乘法

最小二乘法（Least Squares Method）是一种在数据拟合中常用的统计方法，用于寻找一个函数（如线性或非线性函数）使得它与给定数据点的偏差最小。它的目标是通过最小化数据点与模型预测值之间的误差平方和（Sum of Squared Errors, SSE），从而找到最合适的拟合参数。下面是对最小二乘法的详细解释。

核心思想

假设我们有一组数据点 $( (x_1, y_1), (x_2, y_2), \ldots, (x_n, y_n) )$，我们希望找到一个函数 (f (x) ) 使得它能够尽可能地贴合这些数据点。对于每个数据点 $( (x_i, y_i) )$，我们计算函数 $( f(x_i) )$ 和实际值 $y_i$ 之间的误差，通常用平方的形式来度量：

$\text{误差平方} = (y_i - f(x_i))^2$

最小二乘法的目标是最小化所有误差平方的总和，即：

$S = \sum_{i=1}^{n} (y_i - f(x_i))^2$

应用：线性回归

最常见的应用是线性回归，即拟合一条直线 $f(x) = ax + b$ 到数据点上。

线性回归的步骤：

1、定义误差平方和：

$S = \sum_{i=1}^{n} (y_i - (ax_i + b))^2$

2、求偏导数：
对参数 (a) 和 ( b ) 求偏导数，使得误差平方和最小化：

$$\frac{\partial S}{\partial a} = -2 \sum_{i=1}^{n} x_i (y_i - (ax_i + b))\\ \frac{\partial S}{\partial b} = -2 \sum_{i=1}^{n} (y_i - (ax_i + b))$$

3、设导数为 0：
设这两个偏导数为 0，得到一组方程：

$$⁍$$

$$\sum_{i=1}^{n} y_i = a \sum_{i=1}^{n} x_i + b n$$

4、求解方程：
通过解这组方程，我们可以得到 (a) 和 b 的值：

$$a = \frac{n \sum_{i=1}^{n} x_i y_i - \sum_{i=1}^{n} x_i \sum_{i=1}^{n} y_i}{n \sum_{i=1}^{n} x_i^2 - (\sum_{i=1}^{n} x_i)^2}$$

$$⁍$$

优点和局限

• 优点：
  ・ 简单且计算效率高。
  ・ 在噪声较小的情况下能够给出较好的拟合效果。
  ・ 广泛适用于各种数据拟合问题。
  ・ 局限：
  ・ 对离群点敏感，因为误差平方会放大大的偏差。
  ・ 只能处理线性或可以通过变换线性化的问题，无法直接处理高度非线性问题。

# 可对角化矩阵

可对角化矩阵是可化简为对角矩阵的方阵。矩阵对角化后大幅降低了某些属性的计算难度，比如其行列式就是对角线上所有数字的乘积，而对角线上的数字就是其特征值。

对角矩阵就是除了主元其余都是 0

可将矩阵变为，A 是 D 特征值组成的对角矩阵，x 是特征向量

$$x^{-1}\lambda x=D$$

例子：

$$A=\begin{bmatrix}1&2&0\\0&3&0\\2&-4&2\end{bmatrix}\\\lambda_1=3,\quad\lambda_2=2,\quad\lambda_3=1\\v_1=\begin{bmatrix}-1\\-1\\2\end{bmatrix}\quad v_2=\begin{bmatrix}0\\0\\1\end{bmatrix}\quad v_3=\begin{bmatrix}-1\\0\\2\end{bmatrix}\\P=\begin{bmatrix}-1&0&-1\\-1&0&0\\2&1&2\end{bmatrix}\\P^{-1}AP=\begin{bmatrix}0&-1&0\\2&0&1\\-1&1&0\end{bmatrix}\begin{bmatrix}3&0&0\\0&2&0\\0&0&1\end{bmatrix}\begin{bmatrix}-1&0&-1\\-1&0&0\\2&1&2\end{bmatrix}=\begin{bmatrix}1&2&0\\0&3&0\\2&-4&2\end{bmatrix}$$

# 正定与半正定

正定矩阵就是一类对称矩阵，满足:

1. 所有的特征值是正数
2. 所有主元为正
3. 所有的子行列式都为正

判定方式：$x^TAx>0$ x 是任意向量，当等于 0 的时候就是半正定