Manifolds, Taylor Polynomials, Quadratic Forms, and Curvature

곡면과 고차원 공간을 manifold로 표현하고, tangent space와 Taylor polynomial을 이용하여 함수와 기하 구조를 국소적으로 분석하는 핵심 개념을 정리합니다.

3.1 Manifolds

1) Smooth Manifold

Smooth Manifold: 집합 $M\subset\mathbb{R}^n$이 각 point 근처에서 $C^1$ function의 graph로 표현될 수 있으면 smooth manifold이다.

$k$-dimensional manifold에서는 locally $k$개의 variables가 독립적으로 변하고 나머지 $n-k$개의 variables가 이들의 function으로 결정된다.

Meaning: manifold는 전체적으로 휘어 있을 수 있지만 각 point 근처에서는 $\mathbb{R}^k$처럼 보이는 공간이다.

예:

• Curve in $\mathbb{R}^2$: dimension $1$
• Surface in $\mathbb{R}^3$: dimension $2$
• Sphere $S^2\subset\mathbb{R}^3$: dimension $2$

2) Manifold Defined by Equations

$$F:U\subset\mathbb{R}^n\to\mathbb{R}^{n-k}$$

가 $C^1$이고

$$M=\{x\in U\mid F(x)=0\}$$

라고 하자.

모든 $x\in M$에서

$$DF(x)$$

가 onto이면 $M$은 $k$-dimensional smooth manifold이다.

$$\boxed{ \operatorname{rank}DF(x)=n-k \Rightarrow \dim M=k }$$

Meaning: $n-k$개의 independent constraints가 있으면 자유롭게 움직일 수 있는 dimension은 $k$이다.

3) Parametrization

Parametrization: $k$-dimensional manifold $M$을

$$\phi:U\subset\mathbb{R}^k\to M$$

으로 표현하는 mapping.

책에서 parametrization은 다음을 만족한다.

• $U$ is open.
• $\phi$ is $C^1$.
• $\phi$ is one-to-one and onto $M$.
• $D\phi(u)$ is one-to-one.

Meaning: $k$개의 parameters를 사용하여 manifold의 point를 표현한다.

---

3.2 Tangent Spaces

1) Tangent Space

Tangent Space: manifold $M$의 point $a$에서 manifold를 가장 잘 근사하는 linear space.

표기:

$$T_aM.$$

Meaning: point $a$에서 manifold를 따라 움직일 수 있는 모든 instantaneous directions의 공간이다.

2) Tangent Space from Equations

Manifold가

$$F(x)=0$$

으로 정의되고 $DF(a)$가 onto이면

$$\boxed{ T_aM=\ker DF(a) }$$

이다.

Meaning: constraint를 first-order에서 변화시키지 않는 directions가 tangent directions이다.

3) Tangent Plane

$t\in T_aM$이면

$$DF(a)t=0.$$

따라서 tangent plane은

$$DF(a)(x-a)=0$$

으로 나타낼 수 있다.

4) Tangent Space from Parametrization

$$\phi:U\subset\mathbb{R}^k\to M$$

이 parametrization이면

$$\boxed{ T_{\phi(u)}M = \operatorname{img}D\phi(u) }$$

이다.

따라서

$$D_1\phi(u),\ldots,D_k\phi(u)$$

는 tangent space의 basis가 된다.

5) Derivative on a Manifold

$$f:M\to\mathbb{R}^m$$

의 derivative는 tangent space에서 정의된다.

$$Df(a): T_aM\to\mathbb{R}^m.$$

Meaning: manifold 위의 function은 manifold를 따라 움직이는 directions에 대해서만 미분하면 된다.

6) Chain Rule on Manifolds

$$g:U\to M, \qquad f:M\to\mathbb{R}^m$$

이면

$$D(f\circ g)(x) = Df(g(x))Dg(x).$$

---

3.3 Taylor Polynomials in Several Variables

1) Higher Partial Derivatives

여러 variables에 대한 higher derivative는 multi-index를 사용하여 나타낼 수 있다.

$$I=(i_1,\ldots,i_n).$$

total degree는

$$|I| = i_1+\cdots+i_n$$

이고

$$I! = i_1!\cdots i_n!.$$

또한

$$h^I = h_1^{i_1}\cdots h_n^{i_n}.$$

2) Taylor Polynomial

$f:U\subset\mathbb{R}^n\to\mathbb{R}$이 $C^k$이면 $a$에서 degree $k$ Taylor polynomial은

$$\boxed{ P_{f,a}^k(a+h) = \sum_{m=0}^{k} \sum_{|I|=m} \frac{1}{I!} D^If(a)h^I }$$

이다.

Meaning: function을 point $a$ 근처에서 polynomial로 근사한다.

3) Second-Degree Taylor Polynomial

다변수 문제에서 특히 중요한 것은 degree $2$이다.

$$P_{f,a}^2(a+h) = f(a) + Df(a)h + \frac12 h^T H_f(a)h.$$

여기서

$$H_f(a)$$

는 Hessian matrix이다.

4) Hessian Matrix

Hessian Matrix: second partial derivatives로 구성된 symmetric matrix.

$$H_f(a) = \begin{bmatrix} D_1D_1f(a) & \cdots & D_1D_nf(a)\\ \vdots & \ddots & \vdots\\ D_nD_1f(a) & \cdots & D_nD_nf(a) \end{bmatrix}.$$

crossed partials가 같으므로

$$H_f(a)^T=H_f(a).$$

5) Approximation Error

Taylor polynomial은

$$f(a+h) = P_{f,a}^k(a+h) + o(|h|^k)$$

의 의미에서 $f$를 근사한다.

즉,

$$\frac{ f(a+h)-P_{f,a}^k(a+h) }{ |h|^k } \to0$$

as $h\to0$.

---

3.4 Rules for Computing Taylor Polynomials

1) Sum Rule

$$P_{f+g,a}^k = P_{f,a}^k + P_{g,a}^k.$$

2) Product Rule

$f$와 $g$의 Taylor polynomials를 곱한 뒤 degree가 $k$보다 큰 terms를 제거한다.

$$P_{fg,a}^k = P_{f,a}^kP_{g,a}^k \quad \text{up to degree }k.$$

Meaning: higher derivatives를 직접 반복 계산하지 않고 polynomial 연산으로 Taylor polynomial을 구할 수 있다.

3) Composition Rule

$$g(a)=b$$

이면

$$P_{f\circ g,a}^k$$

는

$$P_{f,b}^k \left( P_{g,a}^k \right)$$

를 계산한 뒤 degree $k$보다 높은 terms를 제거하여 얻는다.

4) Important Principle

Taylor polynomial 계산에서는 원하는 degree보다 높은 항은 계산 중간에 바로 버려도 된다.

예를 들어 degree $3$까지만 필요하면

$$\text{degree}>3$$

인 모든 terms는 무시한다.

---

3.5 Quadratic Forms

1) Quadratic Form

Quadratic Form: 모든 terms가 degree $2$인 polynomial.

$$Q:\mathbb{R}^n\to\mathbb{R}.$$

예:

$$Q(x,y) = x^2+2xy+3y^2.$$

2) Matrix Representation

모든 quadratic form은 unique symmetric matrix $A$를 사용하여

$$\boxed{ Q(x)=x^TAx }$$

로 나타낼 수 있다.

예를 들어

$$Q(x,y) = ax^2+2bxy+cy^2$$

이면

$$A= \begin{bmatrix} a&b\\ b&c \end{bmatrix}.$$

3) Sum of Squares

Real quadratic form은 linearly independent linear functions를 사용하여

$$Q(x) = \alpha_1(x)^2+\cdots+\alpha_k(x)^2 - \alpha_{k+1}(x)^2-\cdots-\alpha_{k+l}(x)^2$$

형태로 나타낼 수 있다.

4) Signature

Signature: 위 표현에서 positive squares와 negative squares의 개수.

$$\boxed{ \operatorname{signature}(Q)=(k,l) }$$

이 값은 coordinate system을 바꾸어도 변하지 않는다.

5) Positive Definite

$$Q(x)>0 \qquad (x\neq0)$$

이면 positive definite이다.

signature:

$$(n,0).$$

6) Negative Definite

$$Q(x)<0 \qquad (x\neq0)$$

이면 negative definite이다.

signature:

$$(0,n).$$

7) Degenerate Quadratic Form

quadratic form의 rank가 $n$보다 작으면 degenerate이다.

$$\operatorname{rank}Q<n.$$

반대로 rank가 $n$이면 nondegenerate이다.

8) Completing Squares

책에서는 quadratic form의 signature를 찾는 기본 방법으로 completing squares를 사용한다.

예:

$$x^2+2xy-y^2 = (x+y)^2-2y^2.$$

따라서 signature는

$$(1,1)$$

이다.

---

3.6 Classifying Critical Points

1) Critical Point

$f:U\to\mathbb{R}$에 대해

$$Df(a)=0$$

이면 $a$를 critical point라고 한다.

2) Taylor Polynomial at a Critical Point

critical point에서는 linear term이 사라진다.

$$f(a+h) = f(a) + Q_{f,a}(h) + o(|h|^2).$$

여기서

$$\boxed{ Q_{f,a}(h) = \frac12h^TH_f(a)h }$$

는 Taylor polynomial의 quadratic part이다.

3) Signature of a Critical Point

critical point의 signature는

$$Q_{f,a}$$

의 signature로 정의한다.

4) Strict Local Minimum

$$Q_{f,a}$$

가 positive definite이면

$$\boxed{ a\text{ is a strict local minimum} }$$

이다.

즉,

$$\operatorname{signature}(a) = (n,0).$$

5) Strict Local Maximum

$$Q_{f,a}$$

가 negative definite이면

$$\boxed{ a\text{ is a strict local maximum} }$$

이다.

즉,

$$\operatorname{signature}(a) = (0,n).$$

6) Saddle Point

signature가

$$(k,l), \qquad k>0,\quad l>0$$

이면 $a$는 saddle이다.

Meaning: 어떤 directions에서는 증가하고 다른 directions에서는 감소한다.

7) Degenerate Case

quadratic form이 degenerate이면 second-order information만으로 minimum 또는 maximum을 결정하지 못할 수 있다.

Meaning: Hessian test가 결정적인 답을 주지 못하는 경우 higher-order terms를 조사해야 한다.

---

3.7 Constrained Critical Points and Lagrange Multipliers

1) Critical Point on a Manifold

$$f:M\to\mathbb{R}$$

에서 $c$가 critical point라는 것은

$$Df(c)=0$$

on

$$T_cM$$

이라는 뜻이다.

즉,

$$T_cM \subset \ker Df(c).$$

2) Constraint

Manifold가

$$F(x)=0$$

으로 정의되면

$$T_cM = \ker DF(c).$$

따라서 constrained critical point에서는

$$\ker DF(c) \subset \ker Df(c).$$

3) Lagrange Multipliers

constraints가

$$F_1(x)=0,\ldots,F_m(x)=0$$

이라면 constrained critical point $c$에서 어떤 numbers

$$\lambda_1,\ldots,\lambda_m$$

가 존재하여

$$\boxed{ Df(c) = \sum_{j=1}^{m} \lambda_j DF_j(c) }$$

를 만족한다.

Gradient notation으로는

$$\boxed{ \nabla f(c) = \lambda_1\nabla F_1(c) +\cdots+ \lambda_m\nabla F_m(c) }$$

이다.

4) One Constraint

constraint

$$g(x)=0$$

하나만 있는 경우

$$\boxed{ \nabla f(c)=\lambda\nabla g(c) }$$

와

$$g(c)=0$$

을 동시에 푼다.

5) Geometric Meaning

extremum에서는 level surface of $f$와 constraint manifold가 tangent하다.

따라서 normal directions가 서로 dependent해진다.

6) Spectral Theorem

책에서는 Lagrange multipliers를 이용하여 real symmetric matrix의 spectral theorem을 얻는다.

Real symmetric matrix $A$는 orthonormal eigenbasis를 가진다.

$$\boxed{ Av_i=\lambda_i v_i }$$

그리고

$$v_1,\ldots,v_n$$

을 orthonormal하게 선택할 수 있다.

Meaning: symmetric matrix는 적절한 orthonormal coordinates에서 diagonal transformation이 된다.

---

3.8 Probability and the Singular Value Decomposition

1) Expected Value

random variable $f$의 expected value는 probability-weighted average이다.

$$E(f) = \sum_i f(s_i)P(s_i).$$

2) Centered Random Variable

$$\widetilde f = f-E(f).$$

Meaning: 각 value가 평균에서 얼마나 떨어져 있는지를 나타낸다.

3) Variance

$$\boxed{ \operatorname{Var}(f) = E \left[ (f-E(f))^2 \right] }$$

또는

$$\operatorname{Var}(f) = E(f^2)-E(f)^2.$$

4) Standard Deviation

$$\sigma(f) = \sqrt{\operatorname{Var}(f)}.$$

5) Covariance

$$\boxed{ \operatorname{cov}(f,g) = E(fg)-E(f)E(g) }$$

이다.

6) Correlation

$$\operatorname{corr}(f,g) = \frac{ \operatorname{cov}(f,g) }{ \sigma(f)\sigma(g) }.$$

Correlation은 linear relation을 측정한다.

7) Singular Value Decomposition

모든 real $n\times m$ matrix $A$에 대해 orthogonal matrices $P,Q$와 nonnegative rectangular diagonal matrix $D$가 존재하여

$$\boxed{ A=PDQ^T }$$

로 나타낼 수 있다.

8) Singular Values

$D$의 diagonal entries를 singular values라고 한다.

nonzero singular values는

$$A^TA$$

의 eigenvalues의 square roots이다.

$$\sigma_i = \sqrt{\lambda_i(A^TA)}.$$

9) Principal Component Analysis

Covariance matrix는 symmetric matrix이므로 orthonormal eigenbasis를 가진다.

가장 큰 eigenvalue에 대응하는 eigenvector는 data가 가장 크게 변하는 direction이다.

이를 principal component라고 한다.

Meaning: PCA는 많은 dimensions의 data에서 variation이 큰 중요한 directions를 찾는다.

---

3.9 Geometry of Curves and Surfaces

1) Arc Length

curve

$$\phi:[a,b]\to\mathbb{R}^n$$

의 arc length는

$$\boxed{ L = \int_a^b |\phi'(t)|\,dt }$$

이다.

2) Parametrization by Arc Length

parameter $s$가 실제 curve를 따라 이동한 distance이면

$$|\phi'(s)|=1.$$

3) Curvature of a Plane Curve

arc length로 parametrized된 curve에서는 curvature가

$$\boxed{ \kappa = |\phi''(s)| }$$

이다.

Meaning: tangent direction이 distance에 따라 얼마나 빠르게 변하는지를 나타낸다.

4) Curvature for an Arbitrary Parametrization

space curve

$$\phi(t)$$

의 curvature는

$$\boxed{ \kappa = \frac{ |\phi'(t)\times\phi''(t)| }{ |\phi'(t)|^3 } }$$

이다.

5) Torsion

space curve의 torsion은

$$\boxed{ \tau = \frac{ (\phi'\times\phi'')\cdot\phi''' }{ |\phi'\times\phi''|^2 } }$$

이다.

Meaning: curve가 osculating plane에서 얼마나 빠르게 벗어나는지를 나타낸다.

Curvature가 bending을 나타낸다면 torsion은 nonplanarity를 나타낸다.

6) Adapted Coordinates for a Surface

surface $S$의 point $a$에서 tangent plane을 $XY$-plane으로 두고 normal direction을 $Z$-axis로 선택하면 locally

$$Z = f(X,Y)$$

로 표현할 수 있다.

이 coordinates에서는 constant와 linear terms가 사라지고

$$Z = \frac12 \left( A_{2,0}X^2 + 2A_{1,1}XY + A_{0,2}Y^2 \right) + \text{higher-order terms}.$$

7) Second Fundamental Form

surface의 quadratic terms

$$\boxed{ A_{2,0}X^2 + 2A_{1,1}XY + A_{0,2}Y^2 }$$

를 Second Fundamental Form이라고 한다.

associated symmetric matrix는

$$M= \begin{bmatrix} A_{2,0}&A_{1,1}\\ A_{1,1}&A_{0,2} \end{bmatrix}.$$

8) Principal Curvatures

Second fundamental form matrix $M$의 eigenvalues를 principal curvatures라고 한다.

$$\kappa_1,\kappa_2.$$

9) Mean Curvature

$$\boxed{ H = \frac12 \operatorname{tr}M = \frac{\kappa_1+\kappa_2}{2} }$$

이다.

10) Gaussian Curvature

$$\boxed{ K = \det M = \kappa_1\kappa_2 }$$

이다.

또는

$$K = A_{2,0}A_{0,2}-A_{1,1}^2.$$

11) Interpretation of Gaussian Curvature

• $K>0$: locally sphere-like
• $K<0$: locally saddle-like
• $K=0$: locally flat in at least one principal direction

Gaussian curvature는 surface 자체의 intrinsic geometry와 연결되는 중요한 quantity이다.

12) Minimal Surface

mean curvature vector가 zero인 surface를 minimal surface라고 한다.

$$\boxed{ H=0 }$$

대표적인 물리적 예는 soap film이다.

---

Essential Study Checklist

반드시 이해해야 할 내용:

• Smooth Manifold
• Manifold Dimension

$$F:\mathbb{R}^n\to\mathbb{R}^{n-k} \Rightarrow \dim M=k$$

• Parametrization
• Tangent Space

$$\boxed{ T_aM=\ker DF(a) }$$

• Parametrization으로부터 Tangent Space

$$\boxed{ T_{\phi(u)}M = \operatorname{img}D\phi(u) }$$

• Taylor Polynomial
• Second-Order Approximation

$$\boxed{ f(a+h) \approx f(a) + Df(a)h + \frac12h^TH_f(a)h }$$

• Hessian Matrix
• Little-$o$ Error
• Taylor Polynomial의 Sum / Product / Composition Rules
• Quadratic Form

$$Q(x)=x^TAx$$

• Completing Squares
• Signature

$$(k,l)$$

• Positive / Negative Definite
• Degenerate / Nondegenerate
• Critical Point

$$Df(a)=0$$

• Hessian을 이용한 Critical Point Classification

$$(n,0) \Rightarrow \text{minimum}$$ $$(0,n) \Rightarrow \text{maximum}$$ $$(k,l),\ k,l>0 \Rightarrow \text{saddle}$$

• Lagrange Multipliers

$$\boxed{ \nabla f = \sum_i \lambda_i\nabla F_i }$$

• Spectral Theorem for Symmetric Matrices
• Expected Value
• Variance / Covariance
• Singular Value Decomposition

$$\boxed{ A=PDQ^T }$$

• Singular Values
• PCA의 기본 의미
• Arc Length

$$L = \int|\phi'(t)|dt$$

• Curvature

$$\boxed{ \kappa = \frac{ |\phi'\times\phi''| }{ |\phi'|^3 } }$$

• Torsion

$$\boxed{ \tau = \frac{ (\phi'\times\phi'')\cdot\phi''' }{ |\phi'\times\phi''|^2 } }$$

• Second Fundamental Form
• Principal Curvatures
• Mean Curvature

$$H = \frac{\kappa_1+\kappa_2}{2}$$

• Gaussian Curvature

$$K = \kappa_1\kappa_2$$