Digest of Terence Tao Analysis

ChaptersPermalink

Chapter 6 - Limits of sequencesPermalink

6.1 Cauchy ([koʊˈʃiː]) sequencePermalink

Definition 5.1.3 ($ϵ$-steadiness). Let $ϵ>0$. A sequence $(a_n{)}_{n=m}^{\mathrm{\infty }}$ is said to be $ϵ$-steady $⟺$ each pair $a_j,a_k$ of sequence elements is $ϵ$-close for every natural number $j,k$.

Definition 5.1.6 (Eventual ε-steadiness). Let $ϵ>0$. A sequence $(a_n{)}_{n=m}^{\mathrm{\infty }}$ is said to be eventually $ϵ$-steady $⟺$ starting from some natural number $N\ge m$, tail sequence $(a_n{)}_{n=N}^{\mathrm{\infty }}$ is $ϵ$-close.

Definition 6.1.3 (Cauchy sequences of reals). Let $ϵ>0$ be a real number. A sequence $(a_n{)}_{n=m}^{\mathrm{\infty }}$ is a Cauchy sequence $⟺\mathrm{\forall }ϵ$, it’s eventually $ϵ$-steady.

这张图有助理解：Cauchy 就是这么一种 “振幅越来越小” 的感觉：

6.2 adherent point (附着点) / limit point (极限点) / isolated point (孤立点)Permalink

我觉得大神对 set 的附着点的阐述还是有点啰嗦；补充几点：

• 如果 $x\in X$，那么 $x$ 必然是 $X$ 的附着点，因为必然 $\mathrm{\exists }{x}^{\prime }=x$ such that $x^{\prime }-x=0<ϵ$
  • 亦即：$X$ 内的所有元素都是 $X$ 的附着点
• 我们再看一下孤立点的定义，它相当于：如果 $x$ 是 $X$ 的附着点但不是极限点，那么 $x$ 是 $X$ 的孤立点
  • 换言之：附着点要么是极限点，要么是孤立点
  • 再换言之：极限点、孤立点必然都是附着点
• Lemma 9.1.21 区间 (无论开闭、无论有限无限) 内的每个元素都是区间的极限点

我们也可以从 neighborhood / open set 的角度来考察附着点的定义：

• $x$ is $ϵ$-adherent to $X$ $⟺$ $\varphi (x,ϵ)\cap X\ne \mathrm{\varnothing }$
• Suppose $X$ is a subset of topological space $(\mathbb{R},\tau )$.
  • $x$ is an adherent point of $X$ $⟺$ a) $x\in \mathbb{R}$; b) $\mathrm{\forall }$ open set $S\ni x$, $S\cap X\ne \mathrm{\varnothing }$
• 如果我们把 sequence 看做一个 set 的话，并定义 tail of sequence $(a_n{)}_{n=m}^{\mathrm{\infty }}$ after $n=N\ge m$ 为 $T((a_n{)}_{n=m}^{\mathrm{\infty }},N)=\{a_i\mid N\le i\le \mathrm{\infty },i\in \mathbb{N}\}$
  • $x$ is continually $ϵ$-adherent to $(a_n{)}_{n=m}^{\mathrm{\infty }}$ $⟺$ $\mathrm{\forall }N$, $\varphi (x,ϵ)\cap T((a_n{)}_{n=m}^{\mathrm{\infty }},N)\ne \mathrm{\varnothing }$

6.3 convergence & limitPermalink

注意收敛与极限本身就是连体概念，”收敛到 $L$” 也就意味着 “极限为 $L$”

对 $\mathbb{R}$ sequence：

• $(a_n{)}_{n=m}^{\mathrm{\infty }}$ is divergent == $\underset{n\to \mathrm{\infty }}{lim}{a}_n$ is undefined
• 注意与 adherence 的区别：
  • A point is adherent to a sequence. 是个 touchpoint 的概念，有一个点 close 就可以
  • A sequence is close to a point. 这要求明显就严格了，你 sequence 的全员，或者 tail 的全员必须都要 close 才行
  • 明显 limit $L$ is a limit point

对 $f:X\to \mathbb{R}$：

• $X\in \mathbb{R}$
• $f{|}_E$ 表示缩小 $f$ 的定义域到 $E$ 上
• 对比一下，可以发现 $f$ 其实可以理解为两个 sequence，一个 sequence 由定义域的元素构成，另一个由值域的元素构成：
  • “$f$ is locally close to $L$ at $x_0$” 可以看做从值域，i.e. 所有 $f(x)$ 值中构建一个 sequence，使得所有 $\{f(x)\mid x\in E\cap \mathrm{\Phi }(x_0,\delta )\}$ 的值都排在 sequence 的尾部并从这个部分起 eventually $ϵ$-close to $L$
  • 可见这两组概念是高度统一的
• Definition 9.3.6 等价定义：$\underset{x\to x_0;x\in E}{lim}f(x)=L$ $⟺$ $\mathrm{\forall }ϵ>0$, $\mathrm{\exists }\delta >0$ such that $\mathrm{\forall }x\in E$, if $|x-x_0|<\delta$ then $|f(x)-L|\le ϵ$
  • 可以把函数收敛看做是 “定义域元素序列” 与 “值域元素序列” 联动的过程
• Lemma 9.9.7 $(a_n)$ and $(b_n)$ are equivalent $⟺$ $\underset{n\to \mathrm{\infty }}{lim}(a_n-b_n)=0$

6.4 boundednessPermalink

Definition 6.1.16 (Bounded sequences). A sequence $(a_n{)}_{n=m}^{\mathrm{\infty }}$ of real numbers is bounded by a real number $M>0$ $⟺\mathrm{\forall }i$, $|a_i|\le M$.

Definition 9.1.22 (Bounded sets). A subset $X$ of the real line is said to be bounded if for some real number $M>0$ we have $X\subset [-M,M]$.

6.5 收敛 & 有界 & Cauchy (Part 1)Permalink

结论一：收敛必定 CauchyPermalink

Proof: Let $(a_n)$ be a sequence that converges to the limit $L$.

Let $ϵ>0$. Then also $\frac{ϵ}{2}>0$.

Because $(a_n)$ converges to $L$, we have:

So $\mathrm{\forall }m>N$ and $\mathrm{\forall }n>N$, by Triangle Inequality:

Thus $(a_n)$ is a Cauchy sequence. $◼$

结论二：Cauchy 必定有界Permalink

Proof: Let $(a_n)$ be a Cauchy sequence.

By definition:

Particularly, setting $ϵ=1$ (这里设置成任何正数都可以):

This also means that:

To show $(a_n)$ is bounded, we can show that there exists $b$ and $K$ such that $\mathrm{\forall }i$, $d(a_n,b)\le K$ (thus $|a_i|\le b+K$).

Let $K\prime$ be the maximum distance from $a_{N_1}$ to any of the earlier terms (before $N_1$) in the sequence. That is,

Then:

• Each $a_n$ for $n\ge N_1$ satisfies $d(a_{N_1},a_n)\le 1$ ($N_1$ 之后的无限子序列有界)
• Each $a_n$ for $n\le N_1$ satisfies $d(a_{N_1},a_n)\le K^{\prime }$ (前 $N_1-1$ 项构成一个有限序列，而有限序列必定有界)

Thus, taking $b=x_{N_1}$ and $K=max\{K\prime ,1\}$, we have shown that each $a_i$ satisfies $d(a_n,b)\le K$.

So, $(a_n)$ is bounded. $◼$

结论三：收敛必定有界（由结论一与结论二推出）Permalink

结论四 & 五：有界不一定收敛；有界不一定 CauchyPermalink

例子：

6.6 Subsequence (子序列)Permalink

Definition 6.6.1 (Subsequences). Let $(a_n{)}_{n=0}^{\mathrm{\infty }}$ and $(b_n{)}_{n=0}^{\mathrm{\infty }}$ be sequences of real numbers. We say that $(b_n)$ is a subsequence of $(a_n)$ $⟺$ $\mathrm{\exists }$ function $f:\mathbb{N}\to \mathbb{N}$ which is strictly increasing (i.e., $f(n+1)>f(n)$, $\mathrm{\forall }n\in \mathbb{N}$) such that $b_i=a_{f(i)}$, $\mathrm{\forall }i\in \mathbb{N}$.

• 也就是说：你只能沿着原始序列 $1\to \mathrm{\infty }$ 的大方向去取小项构成子序列，比方说你只能 $a_1,a_3,a_{99},\cdots$ 而不能 $a_3,a_1,a_{99},\cdots$。

Proposition 6.6.5 (Subsequences related to limits). 以下两命题等价：

• 序列 $(a_n{)}_{n=0}^{\mathrm{\infty }}$ 收敛到 $L$
  • $⟺$
• $(a_n{)}_{n=0}^{\mathrm{\infty }}$ 的每个子序列都收敛到 $L$

Proposition 6.6.6 (Subsequences related to limit points). 以下两命题等价：

• 序列 $(a_n{)}_{n=0}^{\mathrm{\infty }}$ 有极限点 $L$
  • $⟺$
• 存在 $(a_n{)}_{n=0}^{\mathrm{\infty }}$ 的子序列收敛到 $L$

Theorem 6.6.8 (Bolzano-Weierstrass theorem). 序列有界 $\Rightarrow$ 序列至少有一个子序列收敛 (亦即，序列至少有一个极限点，See Proposition 6.6.6)

6.7 收敛 & 有界 & Cauchy (Part 2)Permalink

结论六：如果序列收敛，那么极限是序列唯一的极限点Permalink

Proof: 因为序列收敛（假设收敛到 $L$），那么它的所有的子序列都收敛到 $L$，从而不可能有子序列收敛到其他的值，亦即所有子序列对应的极限点都是 $L$ (See Proposition 6.6.6)，亦即 $L$ 是唯一的极限点。 $◼$

结论七：有唯一极限点不一定收敛Permalink

例子：$\{1,2,1,4,1,6,\dots 1,2n,\dots \}$ 有唯一极限点 $1$，但是它是无界的，更谈不上收敛

结论八：如果序列有界且发散，则序列可以有两个不同的极限点Permalink

Proof: 序列 $(a_n)$ 有界，根据 Bolzano-Weierstrass theorem，我们可以构建一个子序列，假设收敛到 $p$。

因为 $(a_n)$ 发散，所以 $(a_n)$ 不收敛到 $p$，所以存在 ${ϵ}^{\prime }$，对任意 $N$，都存在 $i_N\ge N$ 使得 $|a_{i_N}-p|>{ϵ}^{\prime }$。取这样所有的 $a_{i_N}$ 构成序列 $(a_n^{\prime })$，它也是 $(a_n)$ 的子序列，所以 $(a_n^{\prime })$ 也有界，再根据 Bolzano-Weierstrass theorem，$(a_n^{\prime })$ 有一个子序列 $(a_n^{″})$ 收敛到 $q$。因为 $(a_n^{\prime })$ 每一项都远离 $p$，所以 $(a_n^{″})$ 的每一项都远离 $p$，所以 $(a_n^{″})$ 不可能收敛到 $p$，亦即 $q\ne p$。

又因为 $(a_n^{″})$ 同时也是 $(a_n)$ 的子序列，所以相当于 $(a_n)$ 有两个极限点：$p$ 和 $q$。$◼$

• $(a_n)$ 明显不可能每一项都远离 $p$ 但它的子序列 $(a_n^{\prime })$ 可以做到每一项都远离 $p$，这看上去有点矛盾，但我可以举一个例子：
  • $a_n=\{\begin{array}{ll}1& \text{if }n\text{ is odd}\\ 2& \text{if }n\text{ is even}\end{array}$ 有界且发散
  • 令 $f(n)=2n-1$，$b_i=a_{f(i)}$，那么 $(b_n)$ 是 $(a_n)$ 的子序列，且 $(b_n)$ 全为 1，收敛到 1
  • 令 $f(n)=2n$，$c_i=a_{f(i)}$，那么 $(c_n)$ 是 $(a_n)$ 的子序列，且 $(c_n)$ 全为 2，收敛到 2

结论九：如果序列有界且极限点唯一，那么序列收敛Permalink

Proof: 假设 $(a_n)$ 有界且有唯一极限点 $L$，那么根据 Proposition 6.6.6，$(a_n)$ 存在子序列 $(b_n)$ 收敛到 $L$。若 $(a_n)$ 还存在子序列 $(c_n)$ 发散，根据结论八，$(c_n)$ 可以有两个极限点，换言之 $(a_n)$ 也可以有两个极限点，矛盾。所以 $(a_n)$ 所有子序列收敛，又因为极限点唯一，所以 $(a_n)$ 收敛 (根据 Proposition 6.6.5)。 $◼$

结论十：Cauchy 必收敛Permalink

Proof: 设 $(a_n)$ 是 Cauchy。根据结论二 “Cauchy 必定有界” 和 Bolzano-Weierstrass theorem “有界必有子序列收敛”，可以假设 $(a_{n_k})$ 是一个收敛的子序列，并收敛到 $L$，即 $\underset{k\to \mathrm{\infty }}{a_{n_k}}=L$

现在要证明 $(a_n)$ 也收敛到 $L$。

固定一个 $ϵ>0$。$\mathrm{\exists }{N}_1$ such that $\mathrm{\forall }i,j\ge N_1$ we have $|a_i-a_j|<\frac{ϵ}{2}$ (根据 Cauchy 定义)。

同时 $\mathrm{\exists }{N}_2$ such that $\mathrm{\forall }{n}_i\ge N_2$ we have $|a_{n_i}-L|<\frac{ϵ}{2}$ (根据子序列收敛)

Set $N=max\{N_1,N_2\}$. Then $\mathrm{\forall }i\ge N$, fix a $n_j>N$ and we have

所以 $(a_n)$ 也收敛到 $L$。$◼$

大总结Permalink

• 收敛 $⟺$ Cauchy $⟺$ 有界且极限点唯一（结论一、二、三、六、九、十）
• 收敛 ${}_{\nLeftarrow }^{\Rightarrow }$ 有界 $\Rightarrow$ 有子序列收敛 $\Rightarrow$ 存在一个对应的极限点（结论四、Bolzano-Weierstrass theorem、Proposition 6.6.6）
• 收敛 ${}_{\nLeftarrow }^{\Rightarrow }$ 有唯一极限点（结论七）

Chapter 9 - Continuous functions on $\mathbb{R}$Permalink

9.1 $\mathbb{R}$ set: adherent point / limit point / isolated point / closure / relations to subsequencesPermalink

adherent point、limit point、isolated point 的定义参 Section 6.2。需要注意的是：

• sequence 的 adherent point == limit point，但是 set 的 limit point 是 adherent point 的特殊情况
• 但是从后面的结论来看，关于 “序列、子序列、极限点” 的一些结论可以近似地迁移到 “集合、集合元素构成的序列、附着点” 上，这个对应关系希望你牢记

Lemma 9.1.14 Let $X$ be a subset of $\mathbb{R}$, and let $L\in \mathbb{R}$ (注意并没有要求 $L\in X$). 以下两命题等价 (注意联系 Proposition 6.6.6)：

• $L$ 是 $X$ 的附着点
  • $⟺$
• $\mathrm{\exists }$ sequence $(a_n)$ where all $a_i\in X$，并且 $(a_n)$ 收敛到 $L$
  • 注意：考虑到序列是可以有重复元素的，所以 “由 $X$ 元素组成的序列 $(a_n)$” 并不要求 $(a_n)$ 使用 $X$ 中的全部元素
• 这个 lemma 简单说就是：$X$ 的附着点可以通过 $X$ 的元素的极限获得

Definition 9.1.10 (Closure). Let $X$ be a subset of $\mathbb{R}$. The closure of $X$, sometimes denoted $\bar{X}$ is defined to be the set of all the adherent points of $X$.

• 考虑到 “所有 $x\in X$ 都是 $X$ 的附着点” (See section 6.2)，可以有 $\bar{X}=X\cup \{l\mid l\text{ is an adherent point outside }X\}$
• Elementary properties of closures:
  • $X\subseteq \bar{X}$
  • $\overline{X\cup Y}=\bar{X}\cup \bar{Y}$
  • $\overline{X\cap Y}\subseteq \bar{X}\cap \bar{Y}$
  • If $X\subseteq Y\Rightarrow$ then $\bar{X}\subseteq \bar{Y}$
• 举例：
  • $(a,b)$, $(a,b]$, $[a,b)$, $[a,b]$ 的闭包都是 $[a,b]$
  • $(a,\mathrm{\infty })$, $[a,\mathrm{\infty })$ 的闭包都是 $[a,\mathrm{\infty })$
  • $(-\mathrm{\infty },a)$, $(\mathrm{\infty },a]$ 的闭包都是 $(\mathrm{\infty },a]$
  • $\bar{\mathbb{N}}=\mathbb{N}$
  • $\bar{\mathbb{Z}}=\mathbb{Z}$
  • $\bar{\mathbb{Q}}=\mathbb{R}$ (注意 $\mathbb{Q}$ 是开集)
  • $\bar{\mathbb{R}}=\mathbb{R}$
  • $\bar{\mathrm{\varnothing }}=\mathrm{\varnothing }$

Definition 9.1.15 (Closed sets). A set $X\subseteq \mathbb{R}$ is said to be closed if $\bar{X}=X$, i.e. $X$ contains all of its adherent points.

• 也相当于：闭集不存在 adherent point outside itself
• 所以 $\mathbb{N}$, $\mathbb{Z}$, $\mathbb{R}$, $\mathrm{\varnothing }$ 是闭集，$\mathbb{Q}$ 是开集

我们可以看到，现在有一条 “集合闭包 $\to$ 附着点 $\to$ 序列极限” 的证据链：

Corollary 9.1.17 设 $X\subseteq \mathbb{R}$:

• If $X$ is closed, then $\mathrm{\forall }$ 由 $X$ 元素组成的收敛序列 $(a_n)$ $\Rightarrow \underset{n\to \mathrm{\infty }}{lim}{a}_n\in X$

  • so by closed it means that “we can’t escape by limit”

• If $\mathrm{\forall }$ 由 $X$ 元素组成的收敛序列 $(a_n)$ 都有 $\underset{n\to \mathrm{\infty }}{lim}{a}_n\in X$ $\Rightarrow$ $X$ is closed

Theorem 9.1.24 (Heine-Borel theorem for the line). 设 $X\subseteq \mathbb{R}$，以下两命题等价:

• $X$ 是闭集且有界
  • $⟺$
• $\mathrm{\forall }$ 由 $X$ 元素组成的序列 $(a_n)$，存在它的一个子序列 $(a_{n_j})$ 收敛到 $L$ 并且 $L\in X$

Proof:

(1) $\Rightarrow$

• $X$ 有界，所以 $(a_n)$ 有界，所以存在一个子序列 $(a_{n_j})$ 收敛 (Bolzano-Weierstrass)
• 因为 $X$ 是闭集，所以 $(a_{n_j})$ 极限必然 $\in X$

(2) $\Leftarrow$

Proof by contradiction:

(2.1) 假设 $X$ 无界

Let’s construct a family of sets, $A_n=\{a\in X\mid |x|>n\}$. Each $A_i$ is non-empty. 根据选择公理 (AC, Axiom of Choice：Given index set $I$，若 $\mathrm{\forall }i\in I$, 集合 $X_i$ 不空，那么 $\prod _{i\in I}{X}_i$ 也不空)，存在序列 $(a_n)$ where $a_i\in A_i$, $\mathrm{\forall }i$

序列 $(a_n)$ 由 $X$ 的元素构成，所以存在一个子序列 $(a_{n_j})$ 收敛到 $L\in X$。

但是 $\mathrm{\forall }j\ge L+1$, $|a_j|>L+1$，所以 $L$ 不可能是 $(a_n)$ 的极限点。矛盾 (Proposition 6.6.6)

(2.2) 假设 $X$ 是开集

那么存在一个 $X$ 的附着点 $L^{\prime }\notin X$，同时存在一个由 $X$ 的元素构成的序列 $(a_n)$ 收敛到 $L^{\prime }$ (Lemma 9.1.14)。

因为 $(a_n)$ 收敛到 $L$，所以 $(a_n)$ 所有的子序列都收敛到 $L^{\prime }\notin X$ (Proposition 6.6.5)，所以不可能存在一个子序列 $(a_{n_j})$ 收敛到 $L\in X$。矛盾。$◼$

9.2 Limits of functionsPermalink

部分概念 See Section 6.3

Proposition 9.3.9 Let $X\subseteq \mathbb{R}$, $f:X\to \mathbb{R}$, $E\subseteq X$, $x_0$ be an adherent point of $E$, and $L$ be a real number. 以下两命题等价：

• $\underset{x\to x_0;x\in E}{lim}f(x)=L$
  • $⟺$
• $\mathrm{\forall }$ 由 $E$ 元素构成并收敛到 $x_0$ 的序列 $(a_n{)}_{n=0}^{\mathrm{\infty }}$，函数值序列 $(f(a_n){)}_{n=0}^{\mathrm{\infty }}$ 收敛到 $L$

Proof:

(1) $\Rightarrow$

(Definition 9.3.6) $\underset{x\to x_0;x\in E}{lim}f(x)=L$ $⟺$ $\mathrm{\forall }ϵ>0$, $\mathrm{\exists }\delta >0$ such that $\mathrm{\forall }x\in E$, if $|x-x_0|<\delta$ then $|f(x)-L|\le ϵ$

Now suppose $(a_n)$ converges to $x_0$, so $\mathrm{\forall }\delta :\mathrm{\exists }N:\mathrm{\forall }i>N:|a_i-x_0|<\delta$.

Therefore $\mathrm{\forall }ϵ>0:\mathrm{\exists }N:\mathrm{\forall }i>N：|f(a_i)-L|\le ϵ$, i.e. $\underset{n\to \mathrm{\infty }}{lim}f(a_n)=L$

• 注意 $\underset{n\to \mathrm{\infty }}{lim}f(a_n)$ 是序列极限而不是函数极限

(2) $\Leftarrow$

Proof by contradiction. Suppose $\underset{x\to x_0;x\in E}{lim}f(x)\ne L$, then

Construct a family of sets $S_n=\{x\in E\mid |x-x_0|<\frac{1}{n}\text{ and }|f(x)-L|>ϵ\}$

$S_i$ is non-empty for all $i\in {\mathbb{N}}_{>0}$. By AC, $\mathrm{\exists }$ a sequence $(a_n)$ such that $a_i\in S_i$ for all $i\in {\mathbb{N}}_{>0}$.

Obviously $(a_n)$ is a sequence of $E$ and converges to $x_0$, but sequence $(f(a_n))$ diverges from $L$ from our construction. This is our contradiction, and so the assumption does not hold. $◼$

Corollary 9.3.10 Following Proposition 9.3.9, we have:

• 注：我们值考虑 $x_0$ 是 $E$ 的附着点的情况，是因为根据 Corollary 9.3.10，如果 $x_0$ 不是 $E$ 的附着点，不可能有 $\underset{n\to \mathrm{\infty }}{lim}{a}_n=x_0$ (极限是极限点，极限点必然是附着点)

Proposition 9.3.18 (Limits are local). Let $X\subseteq \mathbb{R}$, $f:X\to \mathbb{R}$, $E\subseteq X$, $x_0$ be an adherent point of $E$, $L$ be a real number, and $\delta >0$. Then:

Proof:

(1) $\Rightarrow$

Obviously

(2) $\Leftarrow$

Suppose that $(x_n)$ is a sequence of terms in $X$, not necessarily $\delta$-close to $x_0$, converging to $x_0$. Then by definition, $\mathrm{\exists }M$ such that the sequence $(x_n{)}_{n\ge M}$ is $\delta$-close to $x_0$. Therefore, we may apply the hypothesis and conclude that $\underset{n\to \mathrm{\infty };n\ge M}{lim}f(x_n)=L$. But this is the same as $\underset{n\to \mathrm{\infty }}{lim}f(x_n)=L$.

Thus for any sequence $(x_n)$ converging to $x_0$, $(f(x_n))$ converges to $L$. $◼$

9.3 Continuous functionsPermalink

Definition 9.4.1 (Continuity). Let $X\subseteq \mathbb{R}$, $f:X\to \mathbb{R}$, $x_0\in X$ (所以 $x_0$ 必然是 adherent point).

$f$ is continuous at $x_0$ $⟺$ $\underset{x\to x_0;x\in X}{lim}f(x)=f(x_0)$

• 简单点说：连续 $⟺$ 收敛到自己的函数值本身

$f$ is continuous on $X$ $⟺$ $\mathrm{\forall }{x}_0\in X$, $f$ is continuous at $x_0$

Proposition 9.4.7 (Equivalent formulations of continuity). Let $X\subseteq \mathbb{R}$, $f:X\to \mathbb{R}$, $x_0\in X$. 以下三命题等价：

• $f$ is continuous at $x_0$
  • $⟺$
• $\mathrm{\forall }$ 由 $X$ 元素构成并收敛到 $x_0$ 的序列 $(a_n{)}_{n=0}^{\mathrm{\infty }}$，函数值序列 $(f(a_n){)}_{n=0}^{\mathrm{\infty }}$ 收敛到 $f(x_0)$ (Proposition 9.3.9)
  • $⟺$
• $\mathrm{\forall }ϵ>0$, $\mathrm{\exists }\delta >0$ such that $\mathrm{\forall }x\in X$, if $|x-x_0|<\delta$ then $|f(x)-L|\le ϵ$ (Definition 9.3.6)

9.4 Uniform continuity (一致连续性)Permalink

考虑 “定义域序列” 与 “值域序列” 联动时，这两个序列的震荡幅度。假设 $f$ 在 $x_1$, $x_2$ 两点上连续，所以 $\mathrm{\forall }ϵ:\mathrm{\exists }{\delta }_1,{\delta }_2$ such that $f{|}_{x\in \mathrm{\Phi }(x_1,{\delta }_1)}$ is $ϵ$-close to $f(x_1)$, and $f{|}_{x\in \mathrm{\Phi }(x_2,{\delta }_2)}$ is $ϵ$-close to $f(x_2)$. 对同一个固定的 $ϵ$，”值域序列” 的震荡区间 $\mathrm{\Phi }(f(x_1),ϵ)$ 与 $\mathrm{\Phi }(f(x_2),ϵ)$ 的 size 是一样大的，但是 “定义域序列” 的震荡区间 $\mathrm{\Phi }(x_1,{\delta }_1)$ 和 $\mathrm{\Phi }(x_2,{\delta }_2)$ 的差别可能会很大。尤其当定义域是开区间时，越靠近边缘 adherent point 时，”定义域序列” 的震荡区间的变化可能会越大。

如果对任意的 $x_1$、$x_2$，对任意固定的 $ϵ$，我们都能有 ${\delta }_1={\delta }_2$，我们称 $f$ 是一致连续的。正式定义如下：

Definition 9.9.2 (Uniform continuity). Let $X\subseteq \mathbb{R}$, $f:X\to \mathbb{R}$.

$f$ is uniformly continuous $⟺\mathrm{\forall }ϵ:\mathrm{\exists }$ a uniform $\delta >0$ such that whenever $x$ and $x_0$ are $\delta$-close, $f(x)$ and $f(x_0)$ are $ϵ$-close.

• 考虑与 “连续” 概念的 quantifier order 的区别：
  • 函数连续：$\mathrm{\forall }{x}_0:\mathrm{\forall }ϵ:\mathrm{\exists }\delta :|x-x_0|<\delta \Rightarrow |f(x)-f(x_0)|<ϵ$
  • 一致连续：$\mathrm{\forall }ϵ:\mathrm{\exists }\delta :\mathrm{\forall }{x}_0:|x-x_0|<\delta \Rightarrow |f(x)-f(x_0)|<ϵ$

Proposition 9.9.8 Let $X\subseteq \mathbb{R}$, $f:X\to \mathbb{R}$. 以下两命题等价：

• $f$ is uniformly continuous on $X$
  • $⟺$
• $\mathrm{\forall }$ 由 $X$ 元素构成的等价序列 $(a_n)$ 和 $(b_n)$，$(f(a_n))$ 与 $(f(b_n))$ 也等价

Proposition 9.9.12 Let $X\subseteq \mathbb{R}$, $f:X\to \mathbb{R}$ be a uniformly continuous function. 若由 $X$ 元素构成的序列$(a_n)$ 是 Cauchy，则 $(f(a_n))$ 也是 Cauchy

Proposition 9.9.15 Let $X\subseteq \mathbb{R}$, $f:X\to \mathbb{R}$ be a uniformly continuous function. If $E$ is a bounded subset of $X$，then $f(E)$ is also bounded.

Proposition 9.9.16 Let $a<b$ be real numbers, $f:[a,b]\to \mathbb{R}$ be a continuous function on $[a,b]$. Then $f$ is actually uniformly continuous.

• 亦即：定义域是闭区间的连续函数必定一致连续
• 举例：$f(x)=x^2$，(1) 若定义域是 $\mathbb{R}$，则它不是一致收敛；(2) 若定义域是闭区间 $[a,b]$，则它一致收敛。

Proof:

欲证明：$\mathrm{\forall }ϵ:\mathrm{\exists }\delta$ such that $|x-y|<\delta \Rightarrow |x^2-y^2|<ϵ$.

(1) Consider $ϵ=1$. Then $\delta$ is fixed, and let $y=x+\frac{\delta }{2}$. Therefore $\mathrm{\forall }x$, we should have $|x^2-(x+\frac{\delta }{2}{)}^2|=|x\delta +\frac{{\delta }^2}{4}|<1$. This cannot hold when $x$ is sufficiently large.

(2) $|x^2-y^2|=|x-y|\times |x+y|\le |x-y|\times 2b$

$\mathrm{\forall }ϵ:\mathrm{\exists }\delta =\frac{ϵ}{2b}$ such that $|x-y|<\delta \Rightarrow |x^2-y^2|<ϵ$. $◼$

9.5 连续、一致连续与函数映射性质Permalink

• Proposition 9.3.9：连续函数把收敛序列映射成收敛序列
• Proposition 9.9.12：一致连续函数把 Cauchy 序列映射成 Cauchy 序列
  • 这两条看上去有点奇怪，因为前面我们说 “收敛 $⟺$ Cauchy”。但是这是有前提的，这个前提就是序列要在 $\mathbb{R}$ 上.
    • A metric space $X$ is said to be complete if every Cauchy sequence is convergent. $\mathbb{R}$ 是 complete 的；$\mathbb{Q}$ 是 incomplete 的
    • Cauchy 在 incomplete space 上不一定收敛. 比如 $\mathbb{Q}$ 上的一个 Cauchy 可能会收敛到一个实数上，但这个序列在 $\mathbb{Q}$ 上不收敛
  • Proposition 9.9.12 的这个描述是对 complete space 和 incomplete space 都成立的
• Proposition 9.9.8：一对等价序列，经过一致连续函数映射，得到的两个结果序列仍然等价
• Proposition 9.9.15：一致连续函数把有界集映射成有界集

Extra NotesPermalink

• Theorem 6.4.18 (Completeness of the reals). 实数序列 Cauchy $⟺$ 收敛
  • In the language of metric spaces (see Chapter 12), Theorem 6.4.18 asserts that the real numbers are a complete metric space–hat they do not contain “holes” the same way the rationale do. (Certainly the rationale have lots of Cauchy sequences which do not converge to other rationale; take for instance the sequence $1,1.4,1.41,1.414,1.4142,\dots$ which converges to the irrational $\sqrt{2}$.)
  • This property is closely related to the least upper bound property (Theorem 5.5.9), and is one of the principal characteristics which make the real numbers superior to the rational numbers for the purposes of doing analysis (taking limits, taking derivatives and integrals, finding zeroes of functions, that kind of thing), as we shall see in later chapters.
• Bolzano-Weierstrass theorem:
  • It says that if a sequence is bounded, then eventually it has no choice but to converge in some places; it has “no room” to spread out and stop itself from acquiring limit points. It is not true for unbounded sequences; for instance, the sequence $1,2,3,\dots$ has no convergent subsequences whatsoever.
  • In the language of topology, this means that the interval $\{x\in \mathbb{R}:-{\rm M}<x<{\rm M}\}$ is compact, whereas an unbounded set such as the real line $\mathbb{R}$ is not compact. The distinction between compact sets and non-compact sets will be very important in later chapters–of similar importance to the distinction between finite sets and infinite sets.
• Heine-Borel theorem for the line:
  • In the language of metric space topology, it asserts that every subset of the real line which is closed and bounded, is also compact. A more general version of this theorem can be found in Theorem 12.5.7.

Chapter 10 - Differentiation of functions (函数的微分)Permalink

Definition 10.1.1 (Differentiability at a point). Let $X\subset \mathbb{R}$, and let $x\in X$ and also a limit point of $X$. Let $f:X\to \mathbb{R}$ be a function. If

then we say $f$ is differentiable at $x_0$ on $X$ with derivative $L$, and write $f^{\prime }(x_0):=L$.

If:

• the limit does not exist, or
• $x_0\notin X$, or
• $x_0$ is not a limit point of $X$,

we leave $f^{\prime }(x_0)$ undefined and say $f$ is not differentiable at $x_0$ on $X$.

注：

• We need $x_0$ to be a limit point in order for $x_0$ to be adherent to $X-\{x_0\}$, otherwise the limit would automatically be undefined.
• 实际应用中 $X$ 大多为区间，区间上的所有点都是 limit point (Lemma 9.1.21)，所以一般也无需注意这个问题
• 函数可以看做是 “定义域序列” 和 “值域序列” 的联动，i.e. $(x){|}_{x\in X}$ vs $(f(x)){|}_{x\in X}$，那么导数就可以看做是 “定义域序列” 与 “微分序列” 的联动，i.e. $(x){|}_{x\in X}$ vs $(\frac{f(x)-f(x_0)}{x-x_0}){|}_{x\in X}$

Proposition 10.1.10 (Differentiability implies continuity). 若 $f$ 在 $x_0$ 处可微，则 $f$ 在 $x_0$ 处连续

Proof No.1:

已知 $f$ 在 $x_0$ 处可微，则 $\underset{x\to x_0}{lim}\frac{f(x)-f(x_0)}{x-x_0}=f^{\prime }(x_0)$。考虑以下极限及变形 (参考 Proposition 9.3.14, Limit laws for functions)：

which implies $\underset{x\to x_0}{lim}f(x)=f(x_0)$. $◼$

Proof No.2:

已知 $f$ 在 $x_0$ 处可微，根据 Proposition 10.1.7 (Newton’s approximation) 可得：$\mathrm{\forall }ϵ:\mathrm{\exists }\delta$ such that $|x-x_0|\le \delta \Rightarrow |\frac{f(x)-f(x_0)}{x-x_0}-f^{\prime }(x_0)|\le ϵ$。

另有：

所以有：$|f(x)-f(x_0)|\le |x-x_0|\cdot (ϵ+|f^{\prime }(x_0)|)$

根据 Proposition 9.4.7 (Equivalent formulations of continuity)，用反证法，假设 $\mathrm{\exists }{ϵ}^{\prime }:\mathrm{\forall }{\delta }^{\prime }$ such that $|x-x_0|\le {\delta }^{\prime }\Rightarrow |f(x)-f(x_0)|>{ϵ}^{\prime }$.

取 ${\delta }^{\prime }=min(\delta ,\frac{{ϵ}^{\prime }}{ϵ+|f^{\prime }(x_0)|})$.

因为 $|x-x_0|\le {\delta }^{\prime }\le \delta$，所以满足 $|f(x)-f(x_0)|\le |x-x_0|\cdot (ϵ+|f^{\prime }(x_0)|)\le {\delta }^{\prime }\cdot (ϵ+|f^{\prime }(x_0)|)$。

又因为 ${\delta }^{\prime }\le \frac{{ϵ}^{\prime }}{ϵ+|f^{\prime }(x_0)|}$，所以有 $|f(x)-f(x_0)|\le \frac{{ϵ}^{\prime }}{ϵ+|f^{\prime }(x_0)|}\cdot (ϵ+|f^{\prime }(x_0)|)={ϵ}^{\prime }$，矛盾。$◼$

10.2 Local maxima, local minima, and derivatives (局部最大最小值与导数)Permalink

Definition 10.2.1 (Local maxima and minima). Let $X\subset \mathbb{R}$, and $f:X\to \mathbb{R}$ be a function. $f$ attains a local maximum/minimum at $x_0$ $⟺$ $\mathrm{\exists }\delta >0$ such that $f{|}_{x\cap (x_0-\delta ,x_0+\delta )}$ attains a maximum/minimum at $x_0$.

• Makes sense. 你要达到局部最大最小，那一定要有一个 “局部” 才行，这个 “局部” 就是 neighborhood $\mathrm{\Phi }(x_0,\delta )$

Proposition 10.2.6 (Fermat’s Theorem on stationary points). Let $a<b$ be real numbers, and $f:(a,b)\to \mathbb{R}$ be a function. 如果 $x_0\in (a,b)$、$f$ 在 $x_0$ 处可微、且 $f$ 在 $x_0$ 处达到局部最大最小值 $\Rightarrow$ 那么 $f^{\prime }(x_0)=0$.

Proof:

假设 $f$ 在 $x_0$ 处达到局部最大，那么 $f(x_0)\ge f(x)$ for all $x$ with $|x-x_0|<\delta$. 假设 $x=x_0+h$，$h\in (-\delta ,\delta )$, 那么 $f(x_0)-f(x)\ge 0$，$x_0-x=h$。所以：

• $\underset{h\to 0^{+}}{lim}\frac{f(x_0)-f(x)}{x_0-x}\ge 0$
• $\underset{h\to 0^{-}}{lim}\frac{f(x_0)-f(x)}{x_0-x}\le 0$