선형대수 (Linear Algebra)

1. 벡터와 벡터공간

1-1. 벡터

벡터(vector)는 크기와 방향을 가진 양이다. 좌표 표현으로는 수의 순서쌍이다.

\mathbf{v} = \begin{pmatrix} v_1 \\ v_2 \\ \vdots \\ v_n \end{pmatrix} \in \mathbb{R}^n

1-2. 벡터 연산

연산	정의
덧셈	$\mathbf{u} + \mathbf{v} = (u_1+v_1, \ldots, u_n+v_n)$
스칼라 곱	$c\mathbf{v} = (cv_1, \ldots, cv_n)$
내적 (dot product)	$\mathbf{u} \cdot \mathbf{v} = u_1 v_1 + \cdots + u_n v_n$
노름 (norm)	$\\|\mathbf{v}\\| = \sqrt{\mathbf{v} \cdot \mathbf{v}}$

1-3. 벡터공간의 정의

체 $F$ 위의 집합 $V$ 가 덧셈과 스칼라 곱에 대해 다음 8가지 공리를 만족하면 벡터공간이라 한다.

공리	내용
덧셈 교환법칙	$\mathbf{u} + \mathbf{v} = \mathbf{v} + \mathbf{u}$
덧셈 결합법칙	$(\mathbf{u} + \mathbf{v}) + \mathbf{w} = \mathbf{u} + (\mathbf{v} + \mathbf{w})$
영벡터 존재	$\exists \mathbf{0} \in V,\ \mathbf{v} + \mathbf{0} = \mathbf{v}$
덧셈 역원	$\forall \mathbf{v},\ \exists (-\mathbf{v}),\ \mathbf{v} + (-\mathbf{v}) = \mathbf{0}$
스칼라 곱 결합	$a(b\mathbf{v}) = (ab)\mathbf{v}$
스칼라 분배	$a(\mathbf{u} + \mathbf{v}) = a\mathbf{u} + a\mathbf{v}$
벡터 분배	$(a + b)\mathbf{v} = a\mathbf{v} + b\mathbf{v}$
단위원	$1 \cdot \mathbf{v} = \mathbf{v}$

1-4. 부분공간 (Subspace)

$W \subseteq V$ 가 다음을 만족하면 부분공간이다.

$\mathbf{0} \in W$
$\mathbf{u}, \mathbf{v} \in W \Rightarrow \mathbf{u} + \mathbf{v} \in W$
$\mathbf{v} \in W,\ c \in F \Rightarrow c\mathbf{v} \in W$

2. 일차결합, 생성, 일차독립

2-1. 일차결합 (Linear Combination)

벡터 $\mathbf{v}_1, \ldots, \mathbf{v}_k$ 의 일차결합:

c_1 \mathbf{v}_1 + c_2 \mathbf{v}_2 + \cdots + c_k \mathbf{v}_k \quad (c_i \in F)

2-2. 생성 (Span)

$\text{span}(\mathbf{v}_1, \ldots, \mathbf{v}_k)$ 는 이 벡터들의 모든 일차결합으로 이루어진 집합이며, $V$ 의 부분공간이다.

2-3. 일차독립 (Linear Independence)

c_1 \mathbf{v}_1 + \cdots + c_k \mathbf{v}_k = \mathbf{0} \Rightarrow c_1 = \cdots = c_k = 0

을 만족하면 일차독립, 그렇지 않으면 일차종속이다.

일차종속이라는 것은 어떤 벡터가 나머지 벡터들의 일차결합으로 표현된다는 뜻이다.

3. 기저와 차원

3-1. 기저 (Basis)

집합 $B = \{\mathbf{v}_1, \ldots, \mathbf{v}_n\}$ 가 다음 두 조건을 만족하면 $V$ 의 기저이다.

조건	내용
생성	$\text{span}(B) = V$
일차독립	$B$ 의 원소들이 일차독립

예: $\mathbb{R}^3$ 의 표준기저 $\{\mathbf{e}_1, \mathbf{e}_2, \mathbf{e}_3\} = \{(1,0,0), (0,1,0), (0,0,1)\}$

3-2. 차원 (Dimension)

$V$ 의 차원은 기저의 원소 개수이며, $\dim(V)$ 로 표기한다. 기저의 선택에 무관하게 유일하다.

\dim(\mathbb{R}^n) = n, \quad \dim(\mathbb{P}_n) = n+1 \text{ (차수 } n \text{ 이하의 다항식)}

3-3. 좌표 (Coordinates)

기저 $B = \{\mathbf{b}_1, \ldots, \mathbf{b}_n\}$ 에 대해 $\mathbf{v} = c_1 \mathbf{b}_1 + \cdots + c_n \mathbf{b}_n$ 일 때,

[\mathbf{v}]_B = \begin{pmatrix} c_1 \\ \vdots \\ c_n \end{pmatrix}

을 $B$ 에 대한 좌표벡터라 한다.

4. 행렬

4-1. 정의

$m \times n$ 행렬:

A = \begin{pmatrix} a_{11} & \cdots & a_{1n} \\ \vdots & \ddots & \vdots \\ a_{m1} & \cdots & a_{mn} \end{pmatrix}

4-2. 행렬 연산

연산	정의	조건
덧셈	$(A + B)_{ij} = A_{ij} + B_{ij}$	같은 크기
스칼라 곱	$(cA)_{ij} = c \cdot A_{ij}$	—
곱셈	$(AB)_{ij} = \sum_{k} A_{ik} B_{kj}$	$A: m \times n,\ B: n \times p$
전치	$(A^T)_{ij} = A_{ji}$	—

4-3. 주요 성질

(AB)C = A(BC), \quad A(B+C) = AB + AC, \quad (AB)^T = B^T A^T

행렬 곱셈은 교환법칙이 성립하지 않는다: 일반적으로 $AB \neq BA$ .

4-4. 특수 행렬

이름	정의
단위행렬 $I_n$	대각성분 1, 나머지 0. $AI = IA = A$
영행렬	모든 성분이 0
대각행렬	$i \neq j \Rightarrow A_{ij} = 0$
상삼각행렬	$i > j \Rightarrow A_{ij} = 0$
대칭행렬	$A = A^T$
반대칭행렬	$A = -A^T$
직교행렬	$A^T A = I$ (즉 $A^{-1} = A^T$ )

5. 연립일차방정식과 가우스 소거법

5-1. 행렬 표현

연립일차방정식은 다음과 같이 표현된다.

A\mathbf{x} = \mathbf{b}

5-2. 기본행연산 (Elementary Row Operations)

연산	설명
$R_i \leftrightarrow R_j$	두 행을 교환
$R_i \to cR_i$	행에 $0$ 이 아닌 스칼라를 곱함
$R_i \to R_i + cR_j$	다른 행의 스칼라배를 더함

5-3. 행사다리꼴 (REF)과 기약행사다리꼴 (RREF)

행사다리꼴(REF): 각 행의 선행성분(leading entry)이 위쪽 행보다 오른쪽에 위치
기약행사다리꼴(RREF): REF + 모든 선행성분이 1이고, 선행성분이 있는 열의 다른 성분이 0

RREF는 유일하다.

5-4. 해의 종류

경우	해
$\text{rank}(A) = \text{rank}([A\|\mathbf{b}]) = n$	유일한 해
$\text{rank}(A) = \text{rank}([A\|\mathbf{b}]) < n$	무수히 많은 해
$\text{rank}(A) < \text{rank}([A\|\mathbf{b}])$	해가 없음

6. 역행렬

6-1. 정의

정사각행렬 $A$ 에 대해 $AB = BA = I$ 를 만족하는 $B$ 가 존재하면 $A$ 는 가역(invertible)이고, $B = A^{-1}$ 이다.

6-2. 성질

(AB)^{-1} = B^{-1} A^{-1}, \quad (A^T)^{-1} = (A^{-1})^T, \quad (A^{-1})^{-1} = A

6-3. 가역성의 동치 조건 (Invertible Matrix Theorem)

$n \times n$ 행렬 $A$ 에 대해 다음은 모두 동치이다.

$A$ 는 가역이다
$\det(A) \neq 0$
$A\mathbf{x} = \mathbf{0}$ 의 해는 $\mathbf{x} = \mathbf{0}$ 뿐
$A\mathbf{x} = \mathbf{b}$ 가 모든 $\mathbf{b}$ 에 대해 유일한 해를 가짐
$\text{rank}(A) = n$
$A$ 의 행(열) 벡터들이 일차독립
$A$ 는 $\mathbb{R}^n$ 의 기저를 이룸
$0$ 이 $A$ 의 고유값이 아님

6-4. 역행렬 계산

$[A | I]$ 에 행연산을 적용하여 $[I | A^{-1}]$ 로 만든다.

7. 행렬식 (Determinant)

7-1. 정의

$2 \times 2$ 행렬:

\det \begin{pmatrix} a & b \\ c & d \end{pmatrix} = ad - bc

여인수 전개(Cofactor Expansion)로 일반화:

\det(A) = \sum_{j=1}^{n} (-1)^{i+j} a_{ij} M_{ij}

여기서 $M_{ij}$ 는 $i$ 행 $j$ 열을 제거한 소행렬식(minor)이다.

7-2. 주요 성질

성질	내용
곱셈	$\det(AB) = \det(A)\det(B)$
전치	$\det(A^T) = \det(A)$
역행렬	$\det(A^{-1}) = 1/\det(A)$
스칼라	$\det(cA) = c^n \det(A)$ ( $n \times n$ )
행 교환	부호 반전
같은 행 존재	$\det = 0$

7-3. 기하학적 의미

$|\det(A)|$ = $A$ 에 의한 선형변환이 부피(면적)를 확장하는 비율
$\det(A) > 0$ : 방향 보존
$\det(A) < 0$ : 방향 반전

7-4. 크래머 공식 (Cramer's Rule)

$A\mathbf{x} = \mathbf{b}$ 에서 $\det(A) \neq 0$ 일 때,

x_i = \frac{\det(A_i)}{\det(A)}

여기서 $A_i$ 는 $A$ 의 $i$ 번째 열을 $\mathbf{b}$ 로 바꾼 행렬이다.

8. 선형변환 (Linear Transformation)

8-1. 정의

함수 $T: V \to W$ 가 다음을 만족하면 선형변환이다.

T(\mathbf{u} + \mathbf{v}) = T(\mathbf{u}) + T(\mathbf{v}), \quad T(c\mathbf{v}) = cT(\mathbf{v})

8-2. 행렬 표현

기저를 고정하면 모든 선형변환은 행렬 곱셈으로 표현된다.

T(\mathbf{x}) = A\mathbf{x}

8-3. 핵과 상 (Kernel and Image)

개념	정의	별칭
핵 $\ker(T)$	$\{\mathbf{v} \in V \mid T(\mathbf{v}) = \mathbf{0}\}$	영공간 (Null space)
상 $\text{im}(T)$	$\{T(\mathbf{v}) \mid \mathbf{v} \in V\}$	열공간 (Column space)

8-4. 계수-퇴화차수 정리 (Rank-Nullity Theorem)

$T: V \to W$ 가 선형변환일 때

$\dim(\ker T) + \dim(\text{im}\, T) = \dim(V)$

$\text{nullity}(A) + \text{rank}(A) = n$

8-5. 기저변환 (Change of Basis)

기저 $B$ 에서 기저 $C$ 로의 변환행렬을 $P$ 라 할 때,

[\mathbf{v}]_C = P [\mathbf{v}]_B

선형변환의 행렬 표현은 기저에 따라 달라지며, 두 표현 $A_B$ , $A_C$ 는 닮음(similar)이다.

A_C = P^{-1} A_B P

9. 고유값과 고유벡터

9-1. 정의

정사각행렬 $A$ 에 대해 $A\mathbf{v} = \lambda \mathbf{v}$ ( $\mathbf{v} \neq \mathbf{0}$ )을 만족하는 $\lambda$ 를 고유값(eigenvalue), $\mathbf{v}$ 를 고유벡터(eigenvector)라 한다.

9-2. 특성다항식 (Characteristic Polynomial)

\det(A - \lambda I) = 0

의 해가 고유값이다. 각 $\lambda$ 에 대해 $(A - \lambda I)\mathbf{v} = \mathbf{0}$ 의 해가 고유벡터이다.

9-3. 성질

성질	내용
대각합	$\text{tr}(A) = \lambda_1 + \cdots + \lambda_n$
행렬식	$\det(A) = \lambda_1 \lambda_2 \cdots \lambda_n$
거듭제곱	$A^k$ 의 고유값은 $\lambda^k$
역행렬	$A^{-1}$ 의 고유값은 $1/\lambda$

9-4. 대각화 (Diagonalization)

$A$ 가 $n$ 개의 일차독립인 고유벡터를 가지면 대각화 가능하다.

A = PDP^{-1}

여기서 $P$ 는 고유벡터들의 행렬, $D$ 는 고유값을 대각성분으로 갖는 대각행렬이다.

A^k = PD^k P^{-1} \quad \text{(거듭제곱 계산 용이)}

9-5. 대각화 가능성 조건

서로 다른 고유값을 $n$ 개 가지면 대각화 가능
실대칭행렬은 항상 직교 대각화 가능 (스펙트럼 정리)

10. 내적공간

10-1. 내적 (Inner Product)

벡터공간 $V$ 의 함수 $\langle \cdot, \cdot \rangle : V \times V \to F$ 가 다음을 만족하면 내적이다.

공리	내용
양의 정부호성	$\langle \mathbf{v}, \mathbf{v} \rangle \geq 0$ , 등호는 $\mathbf{v} = \mathbf{0}$ 일 때만
대칭성	$\langle \mathbf{u}, \mathbf{v} \rangle = \overline{\langle \mathbf{v}, \mathbf{u} \rangle}$
선형성	$\langle a\mathbf{u} + b\mathbf{w}, \mathbf{v} \rangle = a\langle \mathbf{u}, \mathbf{v} \rangle + b\langle \mathbf{w}, \mathbf{v} \rangle$

10-2. 노름과 각도

\|\mathbf{v}\| = \sqrt{\langle \mathbf{v}, \mathbf{v} \rangle}, \quad \cos\theta = \frac{\langle \mathbf{u}, \mathbf{v} \rangle}{\|\mathbf{u}\| \|\mathbf{v}\|}

10-3. 주요 부등식

부등식	내용
코시-슈바르츠	$\|\langle \mathbf{u}, \mathbf{v} \rangle\| \leq \\|\mathbf{u}\\| \\|\mathbf{v}\\|$
삼각부등식	$\\|\mathbf{u} + \mathbf{v}\\| \leq \\|\mathbf{u}\\| + \\|\mathbf{v}\\|$
피타고라스	$\mathbf{u} \perp \mathbf{v} \Rightarrow \\|\mathbf{u} + \mathbf{v}\\|^2 = \\|\mathbf{u}\\|^2 + \\|\mathbf{v}\\|^2$

10-4. 직교성과 정규직교기저

직교집합: $i \neq j \Rightarrow \langle \mathbf{v}_i, \mathbf{v}_j \rangle = 0$
정규직교기저(orthonormal basis): 직교집합이면서 각 벡터의 노름이 $1$ 인 기저

10-5. 그람-슈미트 직교화 (Gram-Schmidt Process)

일차독립 집합 $\{\mathbf{v}_1, \ldots, \mathbf{v}_n\}$ 을 정규직교집합으로 변환:

\mathbf{u}_k = \mathbf{v}_k - \sum_{i=1}^{k-1} \frac{\langle \mathbf{v}_k, \mathbf{u}_i \rangle}{\langle \mathbf{u}_i, \mathbf{u}_i \rangle} \mathbf{u}_i, \quad \mathbf{e}_k = \frac{\mathbf{u}_k}{\|\mathbf{u}_k\|}

10-6. 직교사영 (Orthogonal Projection)

벡터 $\mathbf{v}$ 의 부분공간 $W$ 위로의 사영:

\text{proj}_W(\mathbf{v}) = \sum_{i} \langle \mathbf{v}, \mathbf{e}_i \rangle \mathbf{e}_i

( $\{\mathbf{e}_i\}$ 는 $W$ 의 정규직교기저)

11. 최소제곱법 (Least Squares)

11-1. 문제

$A\mathbf{x} = \mathbf{b}$ 의 해가 없을 때, $\|A\mathbf{x} - \mathbf{b}\|$ 를 최소화하는 $\hat{\mathbf{x}}$ 를 찾는다.

11-2. 정규방정식 (Normal Equation)

A^T A \hat{\mathbf{x}} = A^T \mathbf{b}

$A^T A$ 가 가역이면:

\hat{\mathbf{x}} = (A^T A)^{-1} A^T \mathbf{b}

회귀분석과 머신러닝에서 핵심적으로 쓰인다.

11-3. QR 분해

$A = QR$ ( $Q$ : 정규직교열, $R$ : 상삼각)로 분해하면:

R\hat{\mathbf{x}} = Q^T \mathbf{b}

수치적으로 더 안정적이다.

12. 이차형식과 정부호성

12-1. 이차형식 (Quadratic Form)

대칭행렬 $A$ 에 대해:

Q(\mathbf{x}) = \mathbf{x}^T A \mathbf{x} = \sum_{i,j} a_{ij} x_i x_j

12-2. 정부호성 분류

분류	조건 (모든 $\mathbf{x} \neq \mathbf{0}$ )	고유값
양의 정부호	$\mathbf{x}^T A \mathbf{x} > 0$	모두 양수
양의 준정부호	$\mathbf{x}^T A \mathbf{x} \geq 0$	모두 $\geq 0$
음의 정부호	$\mathbf{x}^T A \mathbf{x} < 0$	모두 음수
부정부호	부호 혼재	양수, 음수 혼재

12-3. 스펙트럼 정리 (Spectral Theorem)

실대칭행렬 $A$ 는 직교 대각화 가능하다.

$A = Q D Q^T, \quad Q^T Q = I$

$Q$ 의 열들은 $A$ 의 정규직교 고유벡터, $D$ 는 고유값의 대각행렬이다.

13. 특이값 분해 (SVD)

13-1. 정의

임의의 $m \times n$ 행렬 $A$ 는 다음과 같이 분해된다.

A = U \Sigma V^T

요소	크기	성질
$U$	$m \times m$	직교행렬, 열은 좌특이벡터
$\Sigma$	$m \times n$	대각에 특이값 $\sigma_1 \geq \sigma_2 \geq \cdots \geq 0$
$V$	$n \times n$	직교행렬, 열은 우특이벡터

13-2. 의미

특이값 $\sigma_i$ 는 $A^T A$ 의 고유값의 제곱근
모든 행렬에 대해 존재 (대각화 불가능해도)
차원 축소(PCA), 이미지 압축, 추천 시스템의 이론적 기반

13-3. 낮은 계수 근사

앞에서부터 $k$ 개 특이값만 남기면 최적의 계수 $k$ 근사를 얻는다 (에카트-영 정리).

A_k = \sum_{i=1}^{k} \sigma_i \mathbf{u}_i \mathbf{v}_i^T

14. 주요 분해 정리 요약

분해	형태	적용 대상	용도
LU	$A = LU$	정사각	연립방정식 효율적 풀이
QR	$A = QR$	임의	최소제곱, 고유값 알고리즘
고유분해	$A = PDP^{-1}$	대각화 가능	거듭제곱, 동역학
스펙트럼	$A = QDQ^T$	실대칭	이차형식, PCA
SVD	$A = U\Sigma V^T$	임의	차원축소, 압축, 의사역행렬
촐레스키	$A = LL^T$	양의 정부호 대칭	수치 최적화

15. 응용과 연결

15-1. 머신러닝/딥러닝

선형회귀: 최소제곱법
PCA: 공분산행렬의 고유분해 (또는 SVD)
신경망: 행렬 곱셈의 연쇄
추천시스템: 낮은 계수 근사

15-2. 그래프 이론

인접행렬의 고유값으로 그래프 성질 분석 (스펙트럼 그래프 이론)
페이지랭크: 확률행렬의 고유벡터

15-3. 암호학과의 연결

격자 기반 암호(lattice-based cryptography)는 벡터공간의 부분격자 구조 활용
LWE(Learning With Errors), NTRU 등이 포스트 양자 암호의 후보

15-4. 미분방정식

선형 상미분방정식 시스템 $\mathbf{x}' = A\mathbf{x}$ 의 해는 $e^{At}$ 로 표현
$e^{At}$ 는 대각화를 통해 계산