线性代数笔记

MIT 18.06 / Stanford CS229 (Linear Algebra 部分)

1.矩阵乘法

1.1 向量 x 向量

有向量 $x, y \in R^{n}$ ， $x^{T} y$ 被称为向量内积（Inner Product）或点积（Dot Product），结果为一个实数。
$x^{T} y \in R^{n} = [x_{1} x_{2} ... x_{n}] ⎣ ⎡ y_{1} y_{2} ⋮ y_{n} ⎦ ⎤ = i = 1 \sum n x_{i} y_{i}$
注： $x^{T} y = y^{T} x$ 始终成立。
有向量 $x \in R^{n}, y \in R^{m}$ ， $x y^{T} \in R^{m \times n}$ 被称为向量外积（Outer Product），结果为一个矩阵，其中 $(x y^{T})_{ij} = x_{i} y_{i}$ 。
$x y^{T} \in R^{m \times n} = ⎣ ⎡ x_{1} x_{2} ... x_{m} ⎦ ⎤ [y_{1} y_{2} ... y_{n}] = ⎣ ⎡ x_{1} y_{1} x_{2} y_{1} ⋮ x_{m} y_{1} x_{1} y_{2} x_{2} y_{2} ⋮ x_{m} y_{2} \dots \dots ⋱ \dots x_{1} y_{n} x_{2} y_{n} ⋮ x_{m} y_{n} ⎦ ⎤$

1.2 矩阵 x 向量

有矩阵 $A \in R^{m \times n}$ ，向量 $x \in R^{n}$ ，它们的积是一个向量 $A x \in R^{m}$ 。有两种理解矩阵与向量的乘法的方式：

行列内积
如果按行写 $A$ ，可以把 $A x$ 表示为：
$y = A x = ⎣ ⎡ - - - a_{1}^{T} a_{2}^{T} ⋮ a_{m}^{T} - - - ⎦ ⎤ x = ⎣ ⎡ a_{1}^{T} x a_{2}^{T} x ⋮ a_{m}^{T} x ⎦ ⎤$
可以看出 $y$ 的第 $i$ 行是 $A$ 的第 $i$ 行和 $x$ 的内积，即 $y_{i} = a_{i}^{T} x$ 。
整列相乘
把 $A$ 按列表示：
$y = A x = ⎣ ⎡ ∣ a_{1} ∣ ∣ a_{2} ∣ \dots ∣ a_{n} ∣ ⎦ ⎤ ⎣ ⎡ x_{1} x_{2} ⋮ x_{n} ⎦ ⎤ = [a^{1}] x_{1} + [a^{2}] x_{2} + \dots + [a^{n}] x_{n}$
可以看到， $y$ 是 $A$ 的列的线性组合，其中线性组合的系数由 $x$ 的元素给出。

也可以在左侧乘以行向量，写为 $y^{T} = x^{T} A$ ，其中 $A \in R^{m \times n}, x \in R^{m}, y \in R^{n}$ 。也有两种理解方式：

把 $A$ 按列表示：
$y^{T} = x^{T} A = x^{T} ⎣ ⎡ ∣ a_{1} ∣ ∣ a_{2} ∣ \dots ∣ a_{n} ∣ ⎦ ⎤ = [x^{T} a^{1} x^{T} a^{2} \dots x^{T} a^{n}]$
可以看出 $y^{T}$ 的第 $i$ 个元素为 $x$ 和 $A$ 的第 $i$ 列的内积。
整行相乘
把 $A$ 按行表示：
$y^{T} = x^{T} A = [x_{1} x_{2} \dots x_{n}] ⎣ ⎡ - a_{1}^{T} - - a_{2}^{T} - ⋮ - a_{m}^{T} - ⎦ ⎤ = x_{1} [- a_{1}^{T} -] + x_{2} [- a_{2}^{T} -] + \dots + x_{n} [- a_{n}^{T} -]$
可以看出 $y^{T}$ 是 $A$ 的行的线性组合，其中线性组合的系数由 $x$ 的元素给出。

1.3 矩阵 x 矩阵

两个矩阵相乘，其中 $A \in R^{m \times n}, B \in R^{n \times p}$ （ $A$ 的总列数必须与 $B$ 的总行数相等），则：

$C = A B \in R^{m \times p}$

其中 $C_{ij} = row_{i} \times column_{j} = \sum_{k = 1}^{n} A_{ik} B_{kj}$ 。

2.矩阵消元

2.1 消元法

三元方程组 $⎩ ⎨ ⎧ x 3 x + 2 y + 8 y 4 y + z + z + z = 2 = 12 = 2$ 对应的矩阵形式 $A x = b$ 为：

$⎣ ⎡ 130284111 ⎦ ⎤ ⎣ ⎡ x y z ⎦ ⎤ = ⎣ ⎡ 2122 ⎦ ⎤$

消元（ $[A ∥ b]$ 为方程组的增广矩阵形式）：

$[A ∣ b] = ⎣ ⎡ \underline{1} 30 2841112122 ⎦ ⎤ r_{2} - 3 r_{1} ⎣ ⎡ \underline{1} 00 2 \underline{2} 4 1 - 2 1 262 ⎦ ⎤ r_{3} - 2 r_{2} ⎣ ⎡ \underline{1} 00 2 \underline{2} 0 1 - 2 \underline{5} 26 - 10 ⎦ ⎤$

下划线的元素为主元，主元不能为零。如果在消元时遇到主元位置为零，则需要看它的后面的行对应位置是否为 0，如果不为 0，就交换这两行，将非零数视为主元。

消元失效：如果它后面所有行的对应位置都为 0，则该矩阵不可逆，消元法求出的解不唯一。（如：把第三个方程 $z$ 前的系数成 -4，会导致第二步消元时最后一行全部为零，则第三个主元就不存在了，消元就不能继续进行了。）

消元后方程组变为 $⎩ ⎨ ⎧ x + 2 y 2 y + z - 2 z 5 z = 2 = 6 = - 10$

从第三个方程求出 $z = - 2$ ，代入第二个方程求出 $y = 1$ ，再代入第一个方程求出 $x = 2$ 。

2.1 消元矩阵

8.求解 Ax = b：可解性和解的结构

8.1 Ax = b 的解

举例，同上一讲：有 $3 \times 4$ 矩阵 $A$ ：

$A = ⎣ ⎡ 1232462682810 ⎦ ⎤$

求 $A x = b$ 的特解：

写出其增广矩阵（augmented matrix） $[A ∣ b]$ ：

$⎣ ⎡ 1232462682810 b_{1} b_{2} b_{3} ⎦ ⎤ 消元 ⎣ ⎡ 100200220240 b_{1} b_{2} - 2 b_{1} b_{3} - b_{2} - b_{1} ⎦ ⎤$

显然，有解的必要条件为 $b_{3} - b_{2} - b_{1} = 0$ 。

8.1.1 Ax = b 可解性

讨论 $b$ 满足什么条件才能让方程 $A x = b$ 有解（solvability condition on $b$ ）：

从列空间看：当且仅当 $b$ 属于 $A$ 的列空间时；
如果 $A$ 的各行线性组合得到 0 行，则 $b$ 端分量做同样的线性组合，结果也为 0 时，方程才有解。

8.1.2 Ax = b 的解结构

特解
解法：令所有自由变量取 0，则有 ${x_{1} + 2 x_{3} 2 x_{3} = 1 = 3$ ，解得 ${x_{1} x_{3} = - 2 = \frac{3}{2}$
代入 $A x = b$ 求得特解： $x_{p} = ⎣ ⎡ - 2 0 \frac{3}{2} 0 ⎦ ⎤$
通解
令 $A x = b$ 成立的所有解： ${A x_{p} A x_{n} = b = 0 \to A (x_{p} + x_{n}) = b$
即 $A x = b$ 的解集为其特解加上零空间。对本例有：
$x_{complete} = ⎣ ⎡ - 2 0 \frac{3}{2} 0 ⎦ ⎤ + c_{1} ⎣ ⎡ - 2 100 ⎦ ⎤ + c_{2} ⎣ ⎡ 20 - 2 1 ⎦ ⎤$

8.2 秩 r 与 Ax = b 的解关系

对于 $m \times n$ 矩阵 $A$ ，有矩阵 $A$ 的秩 $r \leq min (m, n)$ 。

8.2.1 列满秩

主元变量为 $n$ ，没有自由变量。因为没有自由变量可以赋值，所以列的线性组合得不到 0（因为如果存在非零 $x$ 使 $A x = 0$ 成立，那么 $A$ 中有一列是没有贡献的，既然没有贡献，那么也就不存在列满秩的情况了）。

所以列满秩的解的情况：0 或 1 个特解。

举例：

列满秩 $r = n$ 情况：

$A = ⎣ ⎡ 12653111 ⎦ ⎤, R = ⎣ ⎡ 10000100 ⎦ ⎤$

$rank (A) = 2$ ，要使 $A x = b, b \neq = 0$ 有非零解， $b$ 必须取 $A$ 中各列的线性组合，此时 $A$ 的零空间中只有 $0$ 向量。

P.S. 因为行向量是 2 维的，且前两行线性无关，2 维平面中有两个向量线性无关，那该平面的所有向量都可以由这两个向量线性组合得到，所以后面两行一定会是 0 行。

8.2.2 行满秩

每行都有主元，不存在 0 行，那么 $b$ 就没有要求，而且有 $n - r$ 个自由变量，所以解有无穷多个。

举例：

行满秩 $r = m$ 情况：

$A = [13216151], R = [1001 - - - -]$

$rank (A) = 2$ ， $\forall b \in R^{m}$ 都有 $x \neq = 0$ 的解，因为此时 $A$ 的列空间为 $R^{m}$ ， $b \in R^{m}$ 恒成立，组成 $A$ 的零空间的自由变量有 $n - r$ 个。

8.2.3 行列满秩

代表的是满秩方阵，消元到最简形式是单位矩阵，是一个可逆矩阵，结合 $r = m$ 和 $r = n$ 的解的情况得出此时一定有一个解 $b$ ， $b$ 满足是 $A$ 向量的线性组合。

举例：

行列满秩情况： $r = m = n$ ，如：

$A = [1324]$

则 $A$ 最终可以化简为 $R = I$ ，其零空间只包含 $0$ 向量。

8.2.4 总结

$r = m = n R = I 1 solution r = n < m R = [I 0] 0 or 1 solution r = m < n R = [I F] \infty solution r < m, r < n R = [I 0 F 0] 0 or \infty solution$

9. 线性相关性、基、维数

9.1 线性相关性

$v_{1}, v_{2}, \dots, v_{n}$ 是 $m \times n$ 矩阵 $A$ 的列向量：

如果 $A$ 零空间中有且仅有 $0$ 向量，则各向量线性无关， $rank (A) = n$ 。
如果存在非零向量 $c$ 使得 $A c = 0$ ，则存在线性相关向量， $rank (A) < n$ 。

9.2 基

向量空间 $S$ 中的一组基（basis），具有两个性质：

他们线性无关；
他们可以生成 $S$ 。

对于向量空间 $R^{n}$ ，如果 $n$ 个向量组成的矩阵为可逆矩阵，则这 $n$ 个向量为该空间的一组基，而数字 $n$ 就是该空间的维数（dimension）。

9.3 维数

举例：

$A = ⎣ ⎡ 111212323111 ⎦ ⎤$

$A$ 的列向量线性相关，其零空间中有非零向量，所以：

$rank (A) = 2 = 主元存在的列数 = 列空间维数$

可以很容易的求得 $A x = 0$ 的两个解，如：

$x_{1} = ⎣ ⎡ - 1 - 1 10 ⎦ ⎤, x_{2} = ⎣ ⎡ - 1 001 ⎦ ⎤$

根据前几讲，我们知道特解的个数就是自由变量的个数，所以：

$n - rank (A) = 2 = 自由变量存在的列数 = 零空间维数$

可以得到：列空间维数 $dim C (A) = rank (A)$ ，零空间维数 $dim N (A) = n - rank (A)$ 。

# 1.矩阵乘法

# 1.1 向量 x 向量

# 1.2 矩阵 x 向量

# 1.3 矩阵 x 矩阵

# 2.矩阵消元

# 2.1 消元法

# 2.1 消元矩阵

# 8.求解 Ax = b：可解性和解的结构

# 8.1 Ax = b 的解

# 8.1.1 Ax = b 可解性

# 8.1.2 Ax = b 的解结构

# 8.2 秩 r 与 Ax = b 的解关系

# 8.2.1 列满秩

# 8.2.2 行满秩

# 8.2.3 行列满秩

# 8.2.4 总结

# 9. 线性相关性、基、维数

# 9.1 线性相关性

# 9.2 基

# 9.3 维数

# 参考