lecture 14. Orthogonal Vectors and Subspaces

https://www.youtube.com/watch?v=YzZUIYRCE38&list=PLE7DDD91010BC51F8&index=15 

이번 시간에는 orthogonal을 알아볼 것이다.

4 fundamental matrix를 보면 row space와 null space는 orthogonal하고, column space와 nullspace of \(A^T\)도 orthogonal하다. 그럼 orthogonal이 무엇일까

 

orthogonal

orthogonal은 perpendicular과 같은 말이다. n-dimensional space에서 vector들의 각이 90도라는 뜻이다. orthogonality를 확인하기 위해서 dot product를 해야 한다. 벡터 x, y의 dot product는

$$x^Ty$$

로 표현할 수 있고 이것의 결과가 0이면 orthogonal하다.

 

vector가 orthogonal한지 알아봤으니 subspace S, T의 orthogonality도 알아보자. subspace가 orthogonal하기 위해서는 S안의 모든 vector가 T 안의 모든 vector와 orthogonal하다. 예를 들어보자 \(R^3\)공간 안에 벽과 바닥이라는 2개의 plane이 있다. 이들은 orthogonal 할까? 정답은 NO이다. 이 둘은 vector들은 항상 90도의 각도를 이루지 않는다. 벽에 45도 각도로 위치한 vector는 바닥에 위치한 vector는 90도를 이룰 수 없는 것도 하나의 예시가 된다. 그래서 만약 2개의 subspace가 orthogonal하기 위해서는 nonzero vector에서는 교차해서는 안된다.

강의의 첫부분에서 했던 row space와 null space로 돌아가자. 이것은 왜 orthogonal할까. nullspace는 \(Ax=0\)을 만족해야 하므로 A의 모든 row에 대해 orthogonal하다. 그리고 row space는 row의 linear combination으로 이루어진 것이다. 따라서 null space와 row space는 orthogonal한 것이다. 이는 column space와 nullspace of \(A^T\)에도 동일하게 적용되는 것이다.

그리고 orthogonality에 대해 알아야 하는 특징이 있는데 바로 두개의 subspace의 dimension을 합치면 whole space가 된다는 것이다. 그래서 3 dimensional space 안에서는 2개의 직선을 갖을 수 없는 것이다. 따라서 우리는 null space and row space are orthogonal complements in \(R^n\)이라고 할 수 있다. 그리고 orthogonal complements는 nullspace contains all vectors perpendicular to row space를 의미한다.

 

solve Ax=b when there is no solution

Ax=b에서 b가 A의 column space가 아니라면 no solution이라고 했었다. 하지만 양변에 \(A^T\)를 곱하면 \(A^TAx=A^Tb\)형태가 되고 \(A^TA\)는 square matrix라서 inverse matrix를 만들 수 있다. \(A^TA\)의 inverse matrix를 양변에 곱해서 x를 구할 수 있다. 그런데 \(A^TA\)가 inverse matrix를 갖지 않을 수도 있다.

마지막으로 \(N(A^TA) = N(A)\)이고 \(A^TA\)의 rank는 \(A\)의 rank와 같기 때문에(이 부분이 참인 이유는 나중에 알게 될 것이다.) \(A^TA\)는 A가 independent columns를 가질 때 invertible하다는 것을 알아야 한다.