Vectors, Matrices, and Derivatives

선형대수와 다변수 미적분을 연결하는 벡터, 행렬, 선형변환, 극한, 연속성, 미분의 핵심 개념을 정리합니다.

1.1 Points and Vectors

1) $\mathbb{R}^n$

$\mathbb{R}^n$: $n$개의 실수로 이루어진 ordered list의 공간.

$$\mathbb{R}^n = \left\{ (x_1,\ldots,x_n) \mid x_i\in\mathbb{R} \right\}.$$

Meaning: 다변수 문제를 다루는 기본 공간이다.

2) Point and Vector

같은 $\mathbb{R}^n$의 원소라도 두 가지로 해석할 수 있다.

Point: 위치 또는 상태를 나타낸다.

$$x= \begin{pmatrix} x_1\\ \vdots\\ x_n \end{pmatrix}$$

Vector: 위치의 변화 또는 displacement를 나타낸다.

$$\vec{v} = \begin{bmatrix} v_1\\ \vdots\\ v_n \end{bmatrix}$$

Meaning: point는 위치이고 vector는 위치 사이의 변화이다.

두 point의 차이는 vector이다.

$$\vec{a-b} = a-b.$$

point에 vector를 더하면 새로운 point가 된다.

3) Vector Addition

$$\begin{bmatrix} v_1\\ \vdots\\ v_n \end{bmatrix} + \begin{bmatrix} w_1\\ \vdots\\ w_n \end{bmatrix} = \begin{bmatrix} v_1+w_1\\ \vdots\\ v_n+w_n \end{bmatrix}.$$

4) Scalar Multiplication

$$a \begin{bmatrix} v_1\\ \vdots\\ v_n \end{bmatrix} = \begin{bmatrix} av_1\\ \vdots\\ av_n \end{bmatrix}.$$

5) Vector Subspace

Vector Subspace: $V\subset\mathbb{R}^n$이 vector addition과 scalar multiplication에 대해 닫혀 있는 집합.

$$x,y\in V \Rightarrow x+y\in V$$ $$x\in V,\quad a\in\mathbb{R} \Rightarrow ax\in V.$$

Meaning: vector 연산을 해도 공간 밖으로 나가지 않는 부분공간이다.

6) Standard Basis

$\mathbb{R}^n$의 standard basis vector는

$$e_1= \begin{bmatrix} 1\\ 0\\ \vdots\\ 0 \end{bmatrix}, \quad e_2= \begin{bmatrix} 0\\ 1\\ \vdots\\ 0 \end{bmatrix}, \quad \ldots, \quad e_n= \begin{bmatrix} 0\\ \vdots\\ 0\\ 1 \end{bmatrix}.$$

모든 vector는

$$v = v_1e_1+\cdots+v_ne_n$$

으로 나타낼 수 있다.

7) Vector Field

Vector Field: 각 point에 하나의 vector를 대응시키는 mapping.

$$F:\mathbb{R}^n\to\mathbb{R}^n.$$

Meaning: 공간의 각 위치에서 방향과 크기를 나타내는 field이다.

---

1.2 Matrices

1) Matrix

Matrix: $m$개의 row와 $n$개의 column을 가지는 rectangular array.

$$A= \begin{bmatrix} a_{11}&\cdots&a_{1n}\\ \vdots&\ddots&\vdots\\ a_{m1}&\cdots&a_{mn} \end{bmatrix}.$$

$A$는 $m\times n$ matrix이다.

2) Matrix Addition

같은 크기의 matrix끼리 corresponding entry를 더한다.

$$(A+B)_{ij} = a_{ij}+b_{ij}.$$

3) Scalar Multiplication

$$(cA)_{ij} = ca_{ij}.$$

4) Matrix Multiplication

$A$가 $m\times n$, $B$가 $n\times p$ matrix이면

$$AB$$

는 $m\times p$ matrix이다.

각 entry는

$$(AB)_{ij} = \sum_{k=1}^{n}a_{ik}b_{kj}.$$

Meaning: $A$의 row와 $B$의 column의 dot product로 각 entry를 만든다.

Matrix multiplication은 일반적으로 commutative하지 않다.

$$AB\neq BA.$$

5) Identity Matrix

Identity Matrix:

$$I= \begin{bmatrix} 1&0&\cdots&0\\ 0&1&\cdots&0\\ \vdots&\vdots&\ddots&\vdots\\ 0&0&\cdots&1 \end{bmatrix}.$$ $$AI=IA=A.$$

6) Transpose

Transpose: matrix의 row와 column을 서로 교환한다.

$$(A^T)_{ij} = A_{ji}.$$

7) Inverse Matrix

Inverse Matrix: square matrix $A$에 대해

$$AA^{-1} = A^{-1}A = I$$

를 만족하는 matrix.

이러한 $A^{-1}$이 존재하면 $A$를 invertible이라고 한다.

---

1.3 Linear Transformations

1) Linear Transformation

Linear Transformation: vector addition과 scalar multiplication을 보존하는 mapping.

$$T:\mathbb{R}^n\to\mathbb{R}^m.$$

다음을 만족한다.

$$T(v+w) = T(v)+T(w)$$ $$T(cv) = cT(v).$$

Meaning: 입력의 선형구조를 그대로 유지하는 transformation이다.

2) Matrix Representation

모든 $m\times n$ matrix $A$는

$$T(v)=Av$$

를 통해 linear transformation

$$T:\mathbb{R}^n\to\mathbb{R}^m$$

을 정의한다.

반대로 모든 linear transformation

$$T:\mathbb{R}^n\to\mathbb{R}^m$$

은 하나의 $m\times n$ matrix로 표현할 수 있다.

$$T(v) = [T]v.$$

Matrix $[T]$의 column은

$$T(e_1),T(e_2),\ldots,T(e_n)$$

이다.

Meaning: standard basis가 어디로 이동하는지만 알면 linear transformation 전체를 알 수 있다.

3) Composition and Matrix Multiplication

Linear transformations

$$T:\mathbb{R}^n\to\mathbb{R}^m, \qquad S:\mathbb{R}^m\to\mathbb{R}^p$$

에 대해

$$[S\circ T] = [S][T].$$

Meaning: linear transformation의 composition은 matrix multiplication에 대응한다.

---

1.4 The Geometry of $\mathbb{R}^n$

1) Dot Product

Dot Product:

$$x\cdot y = \sum_{i=1}^{n}x_i y_i.$$

Meaning: length와 angle을 정의하는 기본 연산이다.

2) Length

Length / Euclidean Norm:

$$|x| = \sqrt{x\cdot x} = \sqrt{x_1^2+\cdots+x_n^2}.$$

3) Unit Vector

Unit Vector: length가 $1$인 vector.

$$|u|=1.$$

vector $v\neq0$을 normalize하면

$$\frac{v}{|v|}$$

가 된다.

4) Schwarz Inequality

$$|x\cdot y| \leq |x||y|.$$

Meaning: dot product의 크기는 두 vector 길이의 곱보다 클 수 없다.

5) Angle

두 nonzero vector 사이의 angle $\theta$는

$$\cos\theta = \frac{x\cdot y}{|x||y|}.$$

6) Orthogonal Vectors

Orthogonal: 두 vector의 dot product가 $0$인 경우.

$$x\cdot y=0.$$

Meaning: 두 vector가 서로 직각이다.

7) Triangle Inequality

$$|x+y| \leq |x|+|y|.$$

8) Distance

두 point $x,y$ 사이의 distance는

$$|x-y|.$$

9) Determinant in $\mathbb{R}^2$

$$\det \begin{bmatrix} a&b\\ c&d \end{bmatrix} = ad-bc.$$

두 vector

$$u= \begin{bmatrix} u_1\\ u_2 \end{bmatrix}, \qquad v= \begin{bmatrix} v_1\\ v_2 \end{bmatrix}$$

가 만드는 parallelogram의 area는

$$|\det[u,v]|.$$

Meaning: determinant는 선형변환에 의한 oriented area scaling과 연결된다.

10) Cross Product

$\mathbb{R}^3$에서

$$u\times v$$

는 $u$와 $v$ 모두에 orthogonal한 vector이다.

$$(u\times v)\cdot u=0$$ $$(u\times v)\cdot v=0.$$

그 크기는

$$|u\times v| = |u||v|\sin\theta.$$

Meaning: 두 vector가 만드는 parallelogram의 area와 방향을 동시에 나타낸다.

---

1.5 Limits and Continuity

1) Open Ball

point $x\in\mathbb{R}^n$을 중심으로 radius $r$인 open ball은

$$B_r(x) = \{y\in\mathbb{R}^n\mid |x-y|<r\}.$$

2) Open Set

Open Set: 모든 point 주위에 그 집합 안에 완전히 포함되는 open ball이 존재하는 집합.

$$x\in U \Rightarrow \exists r>0 \text{ such that } B_r(x)\subset U.$$

3) Closed Set

Closed Set: 모든 limit point를 포함하는 집합.

Meaning: 집합 안의 수열이 수렴할 때 그 limit도 집합에 포함된다.

4) Convergent Sequence

sequence $x_k\in\mathbb{R}^n$이 $a$로 수렴한다는 것은

$$\forall\epsilon>0,\quad \exists N$$

이 존재하여

$$k>N \Rightarrow |x_k-a|<\epsilon$$

을 만족한다는 뜻이다.

표기:

$$x_k\to a.$$

5) Limit of a Function

$$\lim_{x\to a}f(x)=b$$

는 $x$가 $a$에 가까워질수록 $f(x)$가 $b$에 가까워진다는 뜻이다.

정확히는

$$\forall\epsilon>0,\quad \exists\delta>0$$

이 존재하여

$$0<|x-a|<\delta \Rightarrow |f(x)-b|<\epsilon.$$

6) Continuity

Continuous at $a$:

$$\lim_{x\to a}f(x)=f(a).$$

동등하게,

$$\forall\epsilon>0,\quad \exists\delta>0$$

이 존재하여

$$|x-a|<\delta \Rightarrow |f(x)-f(a)|<\epsilon.$$

Meaning: 입력의 작은 변화가 출력의 작은 변화로 이어진다.

---

1.6 Five Big Theorems

1) Compact Set

$\mathbb{R}^n$에서 Compact Set은 closed이고 bounded인 집합이다.

2) Convergent Subsequence

compact set 안의 모든 sequence는 그 compact set의 어떤 point로 수렴하는 subsequence를 가진다.

Meaning: compact set 안에서는 sequence가 완전히 탈출할 수 없다.

3) Existence of Minima and Maxima

compact set $C$에서 continuous function

$$f:C\to\mathbb{R}$$

은 maximum과 minimum을 실제로 가진다.

즉, 어떤 $a,b\in C$가 존재하여

$$f(a)\leq f(x)\leq f(b)$$

for all $x\in C$.

4) Uniform Continuity on Compact Sets

compact set에서 continuous function은 uniformly continuous하다.

$$\forall\epsilon>0,\quad \exists\delta>0$$

이 존재하여 모든 $x,y$에 대해

$$|x-y|<\delta \Rightarrow |f(x)-f(y)|<\epsilon.$$

Meaning: $\delta$를 point마다 따로 선택할 필요가 없다.

5) Mean Value Theorem

$f:[a,b]\to\mathbb{R}$이 continuous이고 $(a,b)$에서 differentiable이면 어떤 $c\in(a,b)$가 존재하여

$$f'(c) = \frac{f(b)-f(a)}{b-a}.$$

6) Fundamental Theorem of Algebra

degree가 $1$ 이상인 모든 complex polynomial은 적어도 하나의 complex root를 가진다.

$$p(z_0)=0.$$

따라서 degree $n$ polynomial은 multiplicity를 포함하여 $n$개의 complex roots를 가진다.

---

1.7 Derivatives in Several Variables

1) Partial Derivative

함수

$$f:\mathbb{R}^n\to\mathbb{R}^m$$

에서 $i$번째 변수만 변화시켜 계산한 derivative를 partial derivative라고 한다.

$$D_i f(a) = \lim_{h\to0} \frac{f(a+he_i)-f(a)}{h}.$$

Meaning: coordinate axis 방향으로 측정한 변화율이다.

2) Jacobian Matrix

$f:\mathbb{R}^n\to\mathbb{R}^m$에 대해 Jacobian matrix는

$$J_f(a) = \begin{bmatrix} D_1f_1(a)&\cdots&D_nf_1(a)\\ \vdots&\ddots&\vdots\\ D_1f_m(a)&\cdots&D_nf_m(a) \end{bmatrix}.$$

크기는

$$m\times n$$

이다.

3) Derivative

$f$가 $a$에서 differentiable하다는 것은 어떤 linear transformation

$$L:\mathbb{R}^n\to\mathbb{R}^m$$

이 존재하여

$$\lim_{h\to0} \frac{ |f(a+h)-f(a)-Lh| }{ |h| } = 0$$

을 만족한다는 뜻이다.

이 linear transformation을 derivative라고 한다.

$$L=Df(a).$$

Meaning: derivative는 함수의 $a$ 근처에서 가장 좋은 linear approximation이다.

즉,

$$f(a+h) \approx f(a)+Df(a)h.$$

4) Derivative and Jacobian

$f$가 differentiable이면

$$Df(a) = J_f(a).$$

Meaning: 다변수 derivative는 하나의 숫자가 아니라 linear transformation이며, 좌표로 표현하면 Jacobian matrix이다.

주의:

모든 partial derivatives가 존재한다고 해서 반드시 differentiable한 것은 아니다.

5) Gradient

$f:\mathbb{R}^n\to\mathbb{R}$에 대해

$$\nabla f(a) = \begin{bmatrix} D_1f(a)\\ \vdots\\ D_nf(a) \end{bmatrix}.$$

Gradient: 함수가 가장 빠르게 증가하는 방향을 나타내는 vector.

6) Directional Derivative

unit vector $v$ 방향의 변화율은

$$D_vf(a) = Df(a)v.$$

scalar-valued function에서는

$$D_vf(a) = \nabla f(a)\cdot v.$$

따라서

$$D_vf(a) = |\nabla f(a)|\cos\theta.$$

---

1.8 Rules for Computing Derivatives

1) Sum Rule

$$D(f+g) = Df+Dg.$$

2) Scalar Rule

constant $c$에 대해

$$D(cf) = cDf.$$

3) Product Rule

scalar-valued functions에 대해

$$D(fg)(a)v = f(a)Dg(a)v + Df(a)v\,g(a).$$

4) Quotient Rule

$f(a)\neq0$이면

$$D\left(\frac{g}{f}\right)(a)v = \frac{ Dg(a)v\,f(a) - Df(a)v\,g(a) }{ f(a)^2 }.$$

5) Dot Product Rule

vector-valued functions $f,g$에 대해

$$D(f\cdot g)(a)v = Df(a)v\cdot g(a) + f(a)\cdot Dg(a)v.$$

6) Chain Rule

$$g:U\to V, \qquad f:V\to\mathbb{R}^p$$

이면

$$D(f\circ g)(a) = Df(g(a))Dg(a).$$

Meaning: composition의 derivative는 derivative들의 composition이다.

Matrix 관점에서는

$$J_{f\circ g}(a) = J_f(g(a))J_g(a).$$

---

1.9 Mean Value Theorem and Differentiability

1) Multivariable Mean Value Theorem

$f:U\to\mathbb{R}$이 differentiable이고 $a$와 $b$를 잇는 line segment가 $U$ 안에 있으면 어떤

$$c\in(a,b)$$

가 존재하여

$$f(b)-f(a) = Df(c)(b-a).$$

Meaning: 두 point 사이의 전체 변화량은 중간의 어떤 point에서의 derivative로 표현할 수 있다.

2) Continuously Differentiable Function

$C^1$ Function: 모든 first partial derivatives가 존재하고 continuous한 함수.

즉,

$$D_if$$

가 모두 continuous하다.

3) Criterion for Differentiability

$f:U\to\mathbb{R}^m$이 $C^1$이면 $f$는 differentiable하다.

그리고

$$Df(a) = J_f(a).$$

Meaning: 실제 계산에서는 모든 partial derivative를 구한 뒤 그것들이 continuous임을 확인하면 differentiability를 보장할 수 있다.

4) Important Distinction

다음은 일반적으로 성립하지 않는다.

$$\text{Partial derivatives exist} \;\not\Rightarrow\; \text{Differentiable}.$$

하지만

$$f\in C^1 \Rightarrow f\text{ is differentiable}.$$

따라서 실제 multivariable calculus에서는 $C^1$ functions가 가장 중요한 함수 class이다.

---

Essential Study Checklist

반드시 이해해야 할 내용:

• Point와 Vector의 차이
• Vector Addition과 Scalar Multiplication
• Vector Subspace
• Standard Basis
• Matrix Multiplication
• Identity, Transpose, Inverse Matrix
• Linear Transformation
• Linear Transformation과 Matrix의 대응
• Composition과 Matrix Multiplication의 관계
• Dot Product
• Vector Length
• Schwarz Inequality
• Orthogonality
• Determinant의 geometric meaning
• Cross Product
• Open Set과 Closed Set
• Sequence와 Limit
• Continuity
• Compact Set
• Continuous function의 Maximum과 Minimum
• Mean Value Theorem
• Partial Derivative
• Jacobian Matrix
• Derivative as a Linear Transformation
• Linear Approximation

$$f(a+h) \approx f(a)+Df(a)h$$

• Gradient와 Directional Derivative
• Chain Rule

$$D(f\circ g) = Df\,Dg$$

• Partial derivatives의 존재만으로 differentiability가 보장되지 않는다는 점
• $C^1$이면 differentiable이라는 criterion