Hadamard Product / Diagonal Matrix / Orthogonal Matrix

Hadamard ProductPermalink

Hadamard product 即 element-wise product，记做 $A\odot B$；明显必须有 $\mathrm{shape}(A)=\mathrm{shape}(B)=\mathrm{shape}(A\odot B)$

Diagonal MatrixPermalink

给定一个 vector $\mathbf{v}\in {\mathbb{R}}^n$，我们可以用 $\mathrm{diag}(\mathbf{v})$ 表示对角线由 $\mathbf{v}$ 确定的 $n\times n$ 对角矩阵。

对角方阵变换计算起来十分方便，比如 $\mathrm{diag}(\mathbf{v})\mathbf{x}$ 就相当于把 $\mathbf{x}$ 每一个分量 $x_i$ 乘以 $\mathbf{v}$ 对应的分量 $v_i$。换言之：$\mathrm{diag}(\mathbf{v})\mathbf{x}=\mathbf{v}\odot \mathbf{x}$

对角方阵可逆的条件：

且此时 $\mathrm{diag}(\mathbf{v}{)}^{-1}=\mathrm{diag}([\frac{1}{v_1}\frac{1}{v_2}\dots \frac{1}{v_n}{]}^T)$

Diagonal matrix 可以是 non-square 的；由于 non-square matrix 必定不可逆，所以 non-square diagonal matrix 不可逆。但是计算起来仍然和对角方阵一样方便：第一步仍然是 $\mathbf{v}\odot \mathbf{x}$，如果是 “瘦长型” 矩阵，则在 $\mathbf{v}\odot \mathbf{x}$ 末尾添 0；如果是 “矮胖型”，$\mathbf{v}\odot \mathbf{x}$ 的结果要截去末尾的一些元素

Orthogonal vectors (正交向量) / Orthonormal vectors (标准正交向量) / Orthogonal matrix (正交矩阵)Permalink

• Orthogonal vectors: ${\mathbf{x}}^T\mathbf{y}=1$
• Orthonormal vectors: ${\mathbf{x}}^T\mathbf{y}=1$ 且 $\Vert \mathbf{x}{\Vert }_2=\Vert \mathbf{y}{\Vert }_2=1$
• Orthogonal matrix: 必须是一个方阵，它的 row vectors 和 column vectors 两两标准正交。亦即 $A^{T}A=A{A}^T=I$
  • 这意味着 $A^T=A^{-1},A=(A^T{)}^{-1}$
    • 如果 A 还是 symmetric 的，亦即 $A=A^T$，那么就有 $A=A^T=A^{-1}$ 的奇观，此时 $A$ 有一些非常特殊的性质，可以参考 StackExchange: What can be said about a matrix which is both symmetric and orthogonal?

注意：

• 正交向量是一对，但是正交矩阵是一个
• 虽然叫正交矩阵，但是它的要求是标准正交