2 minute read

1. Matrix RankPermalink

假定我们有一个 matrix Am×n,我们也把它看成一个线性变换 A:RnRm

如果我们定义:

dim(X)=the number of dimensions of space Xim(f)=the image of function frowsp(A)=the row space of matrix A=the span of A's row vectorscolsp(A)=the column space of matrix A=the span of A's column vectors
  • “span” means “the set of all possible linear combinations”

那么 rank(A) 有:

rank(A)=dim(rowsp(A))=dim(colsp(A))=dim(im(A))

dim(rowsp(A))=dim(colsp(A)) 是一个可以 证明 的性质,这里不展开。

这里具体说一下数量限制:

  • dim(rowsp(A))m
    • 你最理想的状态就是你的 m 个 rows 全部 linearly independent,那好,我直接把这个 m 个 rows 全部当做 basis,那么我的 dim(rowsp(A))=m
  • dim(colsp(A))n
    • 理由同上
  • dim(im(A))m
    • 注意 im(A)Rm (值域 image 是达域 codomain 的子空间,参 Terminology Recap: Functions)
    • dim(Rm)=m,所以 dim(im(A))m
    • 你可能要问:对于任意一个 vn×1,有 Av=wm×1,那么这所有的 wm×1 构成的 space 为什么可能会有 dimension <m?
      • 想象 3-D space 中的一个 plane,这个 plane 由一组 w3×1 构成,但是 plane 的 dimension 为 2
      • 我们把 wi 写成 wi=[xiyizi],那么这所有的 wi 都满足 zi=axi+byi (a,b 固定;plane 的定义)
    • 换言之, rank(A) 表示了 image 的 “有效维数”,而 image 的表示形式仍然是高维度的 codomain 的子空间
  • 综上,rank(A)=dim(rowsp(A))=dim(colsp(A))=dim(im(A))min(m,n)

2. Row Linear DependencePermalink

2.1 如果 m>nPermalink

如果 m>n,那么 rank(A)min(m,n)=n,换言之

dim(rowsp(A))n<m

所以,你 m 个 rows 张成的空间的 dimension 不足 m,说明你的 rows 存在 linearly dependent 的情况。

  • 这个结论和 rank(A) 无关

另外:

dim(im(A))n<m

说明 image 是 codomain 的低维度的子空间

2.2 如果 m<nPermalink

如果 m<n,那么 rank(A)min(m,n)=m,换言之

dim(rowsp(A))m

m 个 rows 仍然有可能 linearly independent。

但一旦 rank(A)<m,那么 rows 一定存在 linearly dependent 的情况。

3. λ=0|A|=0Permalink

首先 eigen 和 determinant 都是只对 square matrix 才有意义。下面我们假设 An×n

Eigen-decomposition 我们知道:eigenvalue 都满足:

pA(λ)=|λIA|=0

A 存在一个 λ=0|A|=0

根据 Digest of Essence of Linear Algebra 的说法:|A|=0 意味着 linear transformation A 有降维的作用。它的隐含意思其实是:

rank(A)=dim(im(A))<n

进而 dim(rowsp(A))=dim(colsp(A))<n,说明:

  • A 的 rows 存在 linearly depenedent 的情况
  • A 的 columns 也存在 linearly depenedent 的情况

那么 linearly dependent 的程度是多少呢?是 “1 个 row 可以写成其他 n1 个 row 的 linear combination” 还是 “2 个 row 可以写成其他 n2 个 row 的 linear combination”?这是有区别的。

这个程度其实就是 nrank(A)

4. Size of Nullspace (Kernel)Permalink

回忆 rank-nullity theorem:假设有 matrix Am×n 或者一个线性变换 A:RnRm,那么:

nullity(A)+rank(A)=n
  • nullity(A)=dim(ker(A))

对于 square matrix An×n,假设它有一组 eigenvector v1,,vn,它们其中:

  • vi=0
  • λi=0 对应的 vi0

构成的子集 span 成的 space 就是 ker(A)

又因为 eigenvector 不存在 linearly independent 的情况,所以:

dim(ker(A))=|V0|, where V0={vi|λi=0,vi0}
  • ker(A) 可以直接拿 V0 做 basis

所以:

  • rank(A) 越小,dim(ker(A)) 就越大(但最大大不过 n
  • 亦即意味着 λi=0 对应的 vi0 的数量越多,ker(A) 的 basis 就越多

Comments