고유값, 고유 벡터의 개념과 중요성

Q. 고유값과 고유 벡터에 대해 설명해주세요. 그리고 왜 중요할까요?

 

Eigen Value Problem

• N x N matrix A와 N x 1 matrix X가 주어졌을 때, 간단한 상수 λ를 통해 AX = λX로 표현할 수 있는가?
• Eigen Value Problem은 A라는 복잡한 matrix를 간단한 X를 통해 상수 곱으로만 표현할 수 있는가? 라는 질문에서 출발한 Problem이다.
• 참고로 Eigen은 "고유한, 특징적인"이라는 뜻을 가진 단어이며 복잡계의 matrix를 1 처럼 단순하게 표현한다는 뜻을 지닌다.
• AX = λX = λIX
  • A: N x N matrix
  • X: N x 1 matrix
  • λ: number
  • λI : N x N matrix (대각이 λ인 matrix)

여기서 Homogeneous system AX = 0 을 생각해보자.
이 식이 무한히 많은 Solution을 갖는 조건을 언제일까?

• det(A) = 0일 때 무한히 많은 Solution을 갖는다.
• 반대로 det(A) != 0 이라면 AX = 0 은 Unique solution을 갖게 되며 X = 0이다.
• 따라서 AX =λX = λIX 이 무수히 많은 Solution을 갖기 위해서는 det(A-λI) = 0을 만족해야 한다.
• Eigen Value Problem을 풀기 위해서는 먼저 det(A-λI) = 0를 만족하는 λ를 구하며, 이 λ를 A의 Eigenvalues라고 부른다.
• λ를 구한 다음 (A-λI)X = 0을 통해 X를 구할 수 있으며 X를 A의 Eigenvectors라고 한다.
• 이렇게 계산 된 Eigenvalue와 Eigenvector의 기하학적 의미는 다음과 같다.
  • X에 대해 A를 곱하는 결과와 상수 λ를 곱하는 결과가 같다는 의미를 가진다.
  • 다시 말해, matrix 곱의 결과가 X와 방향은 같고 λ만큼만 비례하여 변했다는 의미이다.
  • 따라서 방향이 고정된 채 크기만 변하기 때문에 방향과 크기 모두가 바뀌는 것보다 연산이 간단해진다.
• 이러한 Eigen Value Problem은 여러 분야에서 응용되어 사용할 수 있다.
  • ex) Modeling population growth, Queue theory in Financial Engineering, Machine learning algorithm...

Summary

Eigenvalue는 복잡계의 matrix A를 단순화시킬 수 있는 수이며, Eigenvalue를 만들 수 있게 하는 vector를 Eigenvector라고 한다. AX =  λX에 대해 X가 0이 아닐 때의 λ를 구함으로써 A의 Eigenvalue와 Eigenvector를 계산할 수 있다. Eigenvalue와 Eigenvector를 통해 X에 A를 곱하는 결과와 상수 λ를 곱하는 결과를 동일하게 만듦으로써 행렬 연산량을 줄인다. 이러한 Eigen value problem은 Machine learning algorithm 등 여러 분야에서 응용되어 사용되고 있다.

 

 

Ref) https://kooc.kaist.ac.kr/mathforai/lecture/347963/?isDesc=false 

https://rfriend.tistory.com/181