线性代数主要是面向连续数学,而非离散数学。

推荐书籍 The Matrix Cookbook

1 标量、向量、矩阵、张量

  1. 矩阵的转置是以对角线为轴的镜像。
  2. 广播(broadcastring)操作:允许矩阵和向量相加,比如 $C_{i,j} = A_{i,j} + b_j$

2 矩阵和向量相乘

  1. 矩阵乘积(matrix product):矩阵 A 的列数必须和矩阵 B 的行数相等,即 $C_{m,p} = A_{m,n} * B_{n,p}$。
  2. 哈达码乘积(Hadamard product):两个矩阵中的对应元素的乘积,记为 $A \odot B$。
  3. 点积(dot product):可以看作矩阵乘积 $x^Ty$。
  4. 矩阵乘积的性质:
    1. 分配率: $A(B + C) = AB + AC$
    2. 结合律: $A(BC) = (AB)C$
    3. 不满足交换律,但两个向量的点积满足:$x^Ty = y^Tx$
    4. 转置: $(AB)^T = B^TA^T$

3 单位矩阵和逆矩阵

  1. 单位矩阵(identity matrix):所有沿对角线的元素都是 1, 而其他位置的所有元素都是 0。
  2. 逆矩阵(matrix inversion):记作 $A^-1$,满足条件 $A^{-1}A=I_n$。

4 线性相关和生成子空间

5 范数

范数 $L^p$ 的定义如下:

$||x||_p = \bigg(\sum \limits_i |x_i|^p\bigg)^{\frac{1}{p}}$

其中 $ p \in R$,$p \geq 1$。

范数是将向量映射到非负值的函数。

$L^1$ 范数: $||x||_1 = \sum \limits_i |x_i|$

$L^\infty$ 范数: $||x||_\infty =\max \limits_i |x_i|$

6 特殊类型的矩阵和向量

7 特征分解

8 奇异值分解

9 Moore-Penrose 伪逆

10 迹运算

11 行列式

12 实例:主成分分析

未完成。