Analysis

본문에서 사용한 주요 정리들의 엄밀한 증명과 analysis에 필요한 핵심 도구를 정리합니다.

Appendix의 목적은 새로운 계산법을 배우는 것보다 다음을 이해하는 데 있다.

• 왜 주요 정리들이 성립하는가
• 어떤 hypotheses가 필요한가
• approximation error를 어떻게 엄밀하게 제어하는가
• topology와 measure theory가 calculus의 정리를 어떻게 뒷받침하는가

---

A.1 Arithmetic of Real Numbers

1) Rigorous Arithmetic

이 section은 real numbers의 arithmetic을 엄밀하게 정당화한다.

Chapter 0에서 사용한

• addition
• multiplication
• ordering
• limits

등이 실제로 consistent하게 정의된다는 것을 확인한다.

Meaning: calculus에서 당연하게 사용하는 real-number arithmetic의 논리적 기반을 제공한다.

실제 계산을 위한 section이라기보다 analysis의 기초를 엄밀하게 만들기 위한 section이다.

---

A.2 Cubic and Quartic Equations

1) Depressed Cubic

일반 cubic equation

$$x^3+ax^2+bx+c=0$$

에서

$$x=y-\frac{a}{3}$$

를 대입하면

$$\boxed{ y^3+py+q=0 }$$

형태로 바꿀 수 있다.

여기서

$$p=b-\frac{a^2}{3},$$ $$q=c-\frac{ab}{3}+\frac{2a^3}{27}.$$

2) Cardano's Method

depressed cubic

$$y^3+py+q=0$$

은 Cardano's formula를 이용하여 roots를 계산할 수 있다.

이 과정에서 real coefficients와 real roots만 있는 경우에도 complex numbers가 중간 계산에 나타날 수 있다.

3) Cubic Discriminant

책에서는

$$q^2+\frac{4p^3}{27}$$

의 sign을 이용하여 cubic roots의 구조를 분석한다.

4) Quartic Equations

quartic equation 역시 적절한 변환을 통해 lower-degree equations로 환원할 수 있다.

Meaning: polynomial equations에서 complex numbers가 자연스럽게 필요한 이유를 보여준다.

---

A.3 Nested Compact Sets and Heine-Borel

1) Nested Compact Sets

nonempty compact sets가

$$X_1\supset X_2\supset X_3\supset\cdots$$

와 같이 nested되어 있으면

$$\boxed{ \bigcap_{k=1}^{\infty}X_k \neq \varnothing }$$

이다.

Meaning: compact sets가 계속 줄어들더라도 모두 nonempty라면 공통 point가 적어도 하나 남는다.

2) Open Cover

Open Cover: open sets의 collection $\mathcal U$가

$$X\subset \bigcup_{U\in\mathcal U}U$$

를 만족하면 $\mathcal U$는 $X$의 open cover이다.

3) Heine-Borel Theorem

compact set $X\subset\mathbb R^n$의 모든 open cover는 finite subcover를 가진다.

즉,

$$X\subset \bigcup_{U\in\mathcal U}U$$

이면 어떤 finite collection

$$U_1,\ldots,U_m$$

이 존재하여

$$\boxed{ X\subset \bigcup_{i=1}^{m}U_i }$$

이다.

Meaning: compactness는 infinitely many local pieces를 finitely many pieces로 줄일 수 있게 한다.

이 성질은 이후 volume zero, Lebesgue integration, Stokes theorem의 rigorous proof에서 사용된다.

---

A.4 Proof of the Chain Rule

1) Differentiability with a Remainder

differentiability는

$$g(a+h) = g(a)+Dg(a)h+r(h)$$

와

$$\frac{|r(h)|}{|h|} \to0$$

로 표현할 수 있다.

마찬가지로

$$f(g(a)+k) = f(g(a)) + Df(g(a))k + s(k).$$

2) Chain Rule

두 approximations를 합성하면 first-order term은

$$Df(g(a))Dg(a)h$$

가 된다.

따라서

$$\boxed{ D(f\circ g)(a) = Df(g(a))Dg(a) }$$

이다.

Meaning: nonlinear functions의 composition을 local linear approximations의 composition으로 바꿀 수 있다.

---

A.5 Proof of Kantorovich's Theorem

1) Purpose

Kantorovich's theorem은 Newton's method가 언제 실제 root로 convergence하는지를 보장한다.

Newton iteration은

$$x_{n+1} = x_n - Df(x_n)^{-1}f(x_n)$$

이다.

2) Main Ingredients

proof에서는 다음을 제어한다.

• initial residual
• $Df(x_0)^{-1}$의 크기
• derivative의 Lipschitz ratio
• successive Newton increments

3) Lipschitz Derivative

핵심 hypothesis는 derivative가

$$|Df(x)-Df(y)| \leq M|x-y|$$

를 만족한다는 것이다.

Meaning: derivative가 너무 빠르게 변하지 않아야 local linear approximation을 반복해서 사용할 수 있다.

---

A.6 Proof of Superconvergence

Newton's method가 root에 충분히 가까워지면 error는 단순히 일정한 비율로 감소하지 않고 훨씬 빠르게 감소한다.

핵심 구조는 successive errors가 roughly quadratic relation을 만족한다는 것이다.

$$e_{n+1} \sim C e_n^2.$$

Meaning: Newton's method에서는 convergence가 시작된 뒤 correct digits의 수가 매우 빠르게 증가할 수 있다.

---

A.7 Differentiability of the Inverse Function

1) Local Inverse

$f$가 locally invertible이고

$$g=f^{-1}$$

라고 하자.

identity

$$g(f(x))=x$$

를 미분하면

$$Dg(f(x))Df(x)=I.$$

따라서

$$\boxed{ Dg(f(x)) = Df(x)^{-1} }$$

이다.

즉,

$$\boxed{ D(f^{-1})(y) = Df(f^{-1}(y))^{-1} }$$

이다.

Meaning: inverse function의 derivative는 원래 derivative의 inverse linear transformation이다.

---

A.8 Proof of the Implicit Function Theorem

1) Implicit Equation

$$F(x,y)=0$$

에서 일부 variables $x$를 나머지 variables $y$의 function

$$x=g(y)$$

으로 표현한다.

따라서

$$F(g(y),y)=0.$$

2) Differentiate the Identity

chain rule을 사용하면

$$D_xF\,Dg + D_yF = 0.$$

$D_xF$가 invertible이면

$$\boxed{ Dg = -(D_xF)^{-1}D_yF }$$

이다.

Meaning: nonlinear constraint의 local solution도 linear algebra를 이용하여 미분할 수 있다.

---

A.9 Equality of Crossed Partials

$f:U\to\mathbb R$에 대해 partial derivatives $D_if$가 themselves differentiable이면

$$\boxed{ D_j(D_if)(a) = D_i(D_jf)(a) }$$

이다.

즉,

$$\boxed{ \frac{\partial^2 f} {\partial x_j\partial x_i} = \frac{\partial^2 f} {\partial x_i\partial x_j} }$$

이다.

Meaning: 충분한 differentiability가 있으면 second derivatives의 순서를 바꿀 수 있다.

이 결과로 Hessian matrix가 symmetric이 된다.

$$H_f^T=H_f.$$

---

A.10 Functions with Many Vanishing Partial Derivatives

$f$가 $C^k$이고 point $a$에서 order $k$까지의 모든 partial derivatives가 vanish한다고 하자.

이 조건은

$$\boxed{ \lim_{h\to0} \frac{f(a+h)} {|h|^k} = 0 }$$

와 동치이다.

즉,

$$f(a+h) = o(|h|^k).$$

Meaning: 낮은 차수의 derivatives가 모두 zero이면 function은 그 point 근처에서 $|h|^k$보다도 작아진다.

이 결과가 higher-dimensional Taylor approximation의 핵심 기반이다.

---

A.11 Big O and Little o

1) Little $o$

$$f\in o(h)$$

는

$$\boxed{ \lim_{x\to0} \frac{f(x)}{h(x)} = 0 }$$

이라는 뜻이다.

특히

$$f(x)=o(|x|^k)$$

이면 $f$는 $|x|^k$보다 asymptotically smaller하다.

2) Big $O$

$$f\in O(h)$$

는 어떤 constant $C$와 $\delta>0$가 존재하여

$$\boxed{ |f(x)| \leq C h(x) }$$

for

$$0<|x|<\delta$$

를 만족한다는 뜻이다.

Meaning: $f$의 크기를 $h$의 constant multiple로 bound할 수 있다.

3) Relation

$$\boxed{ f\in o(h) \Rightarrow f\in O(h) }$$

이다.

4) Addition Rules

$0\leq k\leq l$이면

$$O(|x|^k)+O(|x|^l) = O(|x|^k).$$ $$o(|x|^k)+o(|x|^l) = o(|x|^k).$$

$k<l$이면

$$o(|x|^k)+O(|x|^l) = o(|x|^k).$$

5) Multiplication Rules

$$O(|x|^k)O(|x|^l) = O(|x|^{k+l}).$$ $$O(|x|^k)o(|x|^l) = o(|x|^{k+l}).$$

Meaning: Taylor polynomial 계산에서 높은 차수의 terms를 체계적으로 무시할 수 있게 한다.

---

A.12 Taylor's Theorem with Remainder

1) One-Dimensional Taylor Remainder

$f$가 $C^{k+1}$이면 $a$와 $a+h$ 사이의 어떤 $c$가 존재하여

$$\boxed{ f(a+h) = P_{f,a}^{k}(a+h) + \frac{f^{(k+1)}(c)} {(k+1)!} h^{k+1} }$$

이다.

2) Error Bound

만약

$$|f^{(k+1)}(x)|\leq C$$

이면

$$\boxed{ \left| f(a+h)-P_{f,a}^{k}(a+h) \right| \leq \frac{C}{(k+1)!} |h|^{k+1} }$$

이다.

Meaning: little-$o$가 asymptotic accuracy를 말한다면 Taylor remainder는 실제 numerical error bound를 준다.

3) Several Variables

multivariable case에서는 line

$$t\mapsto a+th$$

를 따라 one-dimensional Taylor theorem을 적용한다.

remainder의 $(k+1)$-degree term은 multi-index notation으로

$$\sum_{|I|=k+1} \frac{1}{I!} D^If(c)h^I$$

의 형태가 된다.

---

A.13 Completing Squares

모든 quadratic form은 linearly independent linear functions를 이용하여 positive squares와 negative squares의 합으로 나타낼 수 있다.

$$\boxed{ Q(x) = \alpha_1(x)^2+\cdots+\alpha_p(x)^2 - \alpha_{p+1}(x)^2-\cdots-\alpha_{p+q}(x)^2 }$$

proof의 핵심 방법은 반복적인 completing squares이다.

Meaning: quadratic form의 복잡한 cross terms를 없애고 signature를 읽을 수 있는 형태로 바꾼다.

---

A.14 Classifying Constrained Critical Points

constraint가

$$F(z)=0$$

이고 $f$를 이 manifold 위에서 optimize한다고 하자.

Lagrangian을

$$L(z,\lambda) = f(z)-\lambda F(z)$$

로 정의한다.

1) Augmented Hessian

constrained critical point의 classification에는 augmented Hessian matrix를 사용한다.

constraint의 개수가 $m$이고 augmented Hessian의 signature가

$$(p_1,q_1)$$

이면 constrained critical point의 signature는

$$\boxed{ (p,q) = (p_1-m,q_1-m) }$$

이다.

Meaning: ordinary Hessian test를 constraint manifold 위로 확장한다.

---

A.15 Geometry of Curves and Surfaces: Proofs

이 section은 Chapter 3의 curvature와 surface geometry formulas를 엄밀하게 증명한다.

1) Frenet Frame

arc-length parametrized curve에서

• $t$: unit tangent
• $n$: normal
• $b$: binormal

을 사용한다.

2) Frenet Equations

$$\boxed{ t' = \kappa n }$$ $$\boxed{ n' = -\kappa t+\tau b }$$ $$\boxed{ b' = -\tau n }$$

이다.

여기서

• $\kappa$: curvature
• $\tau$: torsion

이다.

Meaning: curve를 따라 이동할 때 tangent-normal-binormal frame이 어떻게 회전하는지를 나타낸다.

이 section에서는 surface curvature와 mean curvature 관련 formulas의 증명도 제공한다.

---

A.16 Stirling's Formula and the Central Limit Theorem

1) Stirling's Formula

큰 $n$에 대해

$$\boxed{ n! \sim \sqrt{2\pi n} \left( \frac{n}{e} \right)^n }$$

이다.

즉, 두 식의 ratio가

$$1$$

로 수렴한다.

2) Why It Matters

factorial의 growth rate를 정확하게 approximation할 수 있다.

이 approximation은 binomial probabilities를 분석하는 데 사용된다.

3) Central Limit Theorem

책에서는 fair coin을 $2n$번 던지는 경우를 통해 central limit theorem을 증명한다.

heads의 개수가

$$n+a\sqrt n$$

과

$$n+b\sqrt n$$

사이에 있을 probability는 $n\to\infty$일 때

$$\boxed{ \frac{1}{\sqrt{\pi}} \int_a^b e^{-t^2}\,dt }$$

로 수렴한다.

Meaning: 많은 independent random effects의 normalized distribution이 Gaussian distribution으로 접근하는 현상을 보여준다.

---

A.17 Proof of Fubini's Theorem

Fubini's theorem은 multidimensional integral을 iterated integral로 계산할 수 있게 한다.

핵심 관계는

$$\boxed{ \int_{\mathbb R^{n+m}} f(x,y) \,|d^nx||d^my| = \int_{\mathbb R^m} \left( \int_{\mathbb R^n} f(x,y)|d^nx| \right) |d^my| }$$

이다.

Meaning: multidimensional integration을 lower-dimensional integrations의 반복으로 환원한다.

Appendix에서는 paving과 upper/lower sums를 이용하여 이 결과를 엄밀하게 정당화한다.

---

A.18 Justifying Other Pavings

Chapter 4에서는 dyadic paving뿐 아니라 다른 nested partitions도 integration에 사용할 수 있다고 했다.

이 section에서는 suitable paving을 사용해도 동일한 integral을 얻는다는 것을 증명한다.

Meaning: integral은 특정 grid에 종속된 계산법이 아니라 function 자체에 의해 결정되는 quantity이다.

---

A.19 Change of Variables: Rigorous Proof

1) Local Linear Approximation

change of variables map

$$\phi:U\to V$$

는 작은 cube $C$ 근처에서

$$\phi(C) \approx D\phi(x)C$$

로 근사된다.

2) Local Volume Scaling

linear transformation에서는 volume scaling factor가

$$|\det D\phi(x)|$$

이다.

따라서 nonlinear map에서도 sufficiently small regions에서는 같은 factor를 사용한다.

3) Change of Variables Formula

$$\boxed{ \int_V f(y)|d^ny| = \int_U f(\phi(x)) |\det D\phi(x)| |d^nx| }$$

이다.

Meaning: Jacobian determinant가 coordinate transformation의 local volume distortion을 정확히 보정한다.

---

A.20 Volume Zero and Related Results

1) Graphs

integrable function의 bounded graph는 ambient space에서 volume $0$을 가진다.

예를 들어

$$f:\mathbb R^n\to\mathbb R$$

의 graph는 $\mathbb R^{n+1}$ 안에서 $(n+1)$-dimensional volume $0$이다.

2) Lower-Dimensional Manifolds

$M\subset\mathbb R^n$이 dimension $m$인 manifold이고

$$m<k\leq n$$

이면 closed subset $X\subset M$은

$$\boxed{ \operatorname{vol}_k(X)=0 }$$

이다.

특히

• curve in $\mathbb R^2$ has area $0$
• surface in $\mathbb R^3$ has volume $0$

이다.

Meaning: lower-dimensional objects는 higher-dimensional volume 측정에서는 negligible하다.

---

A.21 Lebesgue Measure and Lebesgue Integrals

이 section은 Chapter 4의 Lebesgue integration results를 엄밀하게 증명한다.

1) Almost Everywhere Convergence

Riemann-integrable functions $f_k$가

$$\sum_{k=1}^{\infty} \int_{\mathbb R^n} |f_k(x)||d^nx| < \infty$$

를 만족하면

$$\boxed{ \sum_{k=1}^{\infty}f_k(x) }$$

는 almost everywhere converges한다.

2) Measure

Lebesgue measure는 Riemann volume보다 더 넓은 class of sets에 대해 크기를 정의한다.

3) Countable Additivity

disjoint measurable sets $A_i$에 대해

$$\boxed{ \mu \left( \bigcup_{i=1}^{\infty}A_i \right) = \sum_{i=1}^{\infty} \mu(A_i) }$$

가 핵심 성질이다.

4) Lebesgue Integration

Lebesgue integral은

• unbounded domains
• unbounded functions
• infinite limits

를 Riemann integral보다 자연스럽게 다룰 수 있게 한다.

5) Convergence Theorems

이 section은 Chapter 4에서 사용한

• monotone convergence
• dominated convergence
• Fubini for Lebesgue integrals
• change of variables

등의 정당화를 제공한다.

Meaning: limit과 integral을 안전하게 교환하기 위한 rigorous framework를 제공한다.

---

A.22 Computing the Exterior Derivative

$C^2$ $k$-form

$$\omega = \sum_I a_I dx_I$$

에 대해 exterior derivative를 엄밀하게 계산한다.

1) Linearity

$$\boxed{ d(a\omega+b\eta) = a\,d\omega+b\,d\eta }$$

이다.

2) Constant Form

constant form $\omega$에 대해

$$\boxed{ d\omega=0 }$$

이다.

3) Function

$0$-form $f$에 대해

$$\boxed{ df = \sum_{i=1}^{n} D_if\,dx_i }$$

이다.

4) Elementary Form

$$\boxed{ d \left( f\,dx_{i_1}\wedge\cdots\wedge dx_{i_k} \right) = df\wedge dx_{i_1}\wedge\cdots\wedge dx_{i_k} }$$

이다.

Meaning: ordinary derivative를 differential forms 전체로 확장한 operation이 실제로 well-defined함을 증명한다.

proof에서는 Taylor expansion을 사용하며 constant terms가 cancel되고 linear terms만 exterior derivative에 기여한다.

---

A.23 A Technical Result for Stokes's Theorem

이 section은 generalized Stokes's theorem의 proof에서 사용한 technical proposition을 증명한다.

1) Transversality

두 subspaces가 함께 $\mathbb R^n$을 span하면 transversal이라고 한다.

두 manifolds $M,N$이 intersection point $x$에서

$$\boxed{ T_xM+T_xN = \mathbb R^n }$$

을 만족하면 그 point에서 transversal이다.

2) Geometric Meaning

transversality는 objects가 tangent하게 접하는 special case가 아니라 일반적인 방식으로 intersect한다는 뜻이다.

3) Trimming a Piece-with-Boundary

Stokes proof에서는 작은 balls를 제거하여 complicated piece-with-boundary를 piece-with-corners로 바꾼다.

어떤

$$\epsilon>0$$

에 대해서도 balls

$$B_{r_i}(x_i)$$

를 선택하여

$$\sum_i r_i^{k-1} < \epsilon$$

이 되면서

$$\boxed{ X_\epsilon = X- \bigcup_i B_{r_i}(x_i) }$$

가 piece-with-corners가 되도록 할 수 있다.

Meaning: troublesome boundary portions을 arbitrarily small하게 제거한 뒤 Stokes theorem을 적용하고, 마지막에 그 크기를 $0$으로 보내는 strategy이다.

---

Essential Study Checklist

Appendix에서 반드시 이해할 내용:

• Compactness의 핵심 성질

$$X_1\supset X_2\supset\cdots \Rightarrow \bigcap X_i\neq\varnothing$$

• Heine-Borel Theorem
• Differentiability와 remainder
• Chain Rule의 proof structure

$$D(f\circ g) = Df\,Dg$$

• Newton's Method convergence에서 Lipschitz condition의 역할
• Inverse Function Derivative

$$D(f^{-1}) = (Df)^{-1}$$

• Implicit Function Derivative

$$Dg = -(D_xF)^{-1}D_yF$$

• Equality of Crossed Partials

$$D_iD_jf = D_jD_if$$

• Vanishing Derivatives와

$$o(|h|^k)$$

의 관계

• Little $o$
• Big $O$
• Taylor Remainder

$$f(a+h) = P_{f,a}^k(a+h) + \frac{f^{(k+1)}(c)}{(k+1)!}h^{k+1}$$

• Completing Squares와 Quadratic Form Signature
• Augmented Hessian의 의미
• Frenet Equations

$$t'=\kappa n$$ $$n'=-\kappa t+\tau b$$ $$b'=-\tau n$$

• Stirling's Formula

$$n! \sim \sqrt{2\pi n} \left( \frac ne \right)^n$$

• Fubini's Theorem의 rigorous basis
• Change of Variables에서

$$|\det D\phi|$$

가 나오는 이유

• Lower-Dimensional Manifold의 Higher-Dimensional Volume이 $0$이라는 점
• Almost Everywhere
• Lebesgue Measure와 Countable Additivity
• Exterior Derivative 계산법
• Transversality
• Stokes's Theorem proof에서 boundary trimming의 역할