본 게시물은 CS231n: Convolutional Neural Networks for Visual Recognition (2017) 강의의 영상과 슬라이드를 기반을 작성 되었습니다.
\n👉 인간에게는 쉽지만 컴퓨터에게는 매우 어렵다.
\n👉 컴퓨터에게 이미지 == 거대한 숫자판
\nSemantic Gap : 컴퓨터가 실제로 보고 있는 숫자판과, 고양이라고 하는 의미 사이에 존재하는 간극
이런 것들을 모두 고려하였을 때, 컴퓨터가 이미지의 의미를 알아챈다는 것은 매우 어려워 보인다.
\n👉 일부 제한된 상황이라면 잘 동작하는 기술이 존재한다!
\n👉 앞으로의 강의에서는 이것이 어떻게 가능해졌는지 볼 것이다.
😺 고양이 인식하기\n
이러한 방식은 잘 동작하지 않는다.
👉 다양한 객체들에 유연하게 적용가능한 알고리즘 필요
\n👉 ML key insight : Data-Driven Approach가 등장하게 됨
카테고리에 대한 규칙을 정하는 것이 아니라..!
\ndef train(images, labels):\n # Maching learning !\n return model\n\ndef predict(model, test_images):\n # Use model to predict labels\n return test_labels🌟 지금부터 할 것 : 간단한 ML classifier부터 살펴보기
\ndef train(images, labels):\n # Memorize all data and labels\n return model\n\ndef predict(model, test_images):\n # Predict the label of the most similar training image\n return test_labelsCIFAR-10은 10개의 클래스(비행기, 자동차, 새, …)로 분류되는 50000장의 학습용 이미지와 10000장의 테스트 이미지로 구성되어 있다.
\n오른편의 그림은 Nearest Neighbor를 이용하여 예측을 진행한 결과이다. 그림의 왼쪽열이 테스트 이미지이고 오른쪽 방향으로 학습 이미지를 테스트 이미지와 유사한 순으로 정렬한 것이다. 2번째 줄의 2번째까지는 테스트 이미지의 카테고리과 같은 개를 유사한 이미지로 출력하지만 그 이후로는 사슴 혹은 말과 같은 다른 카테고리의 요소들을 출력하고 있다.
\n👉 Nearest Neighbor 알고리즘 적용시 학습 데이터셋에서 가장 가까운 샘플을 찾아냄
\n👉 이게 성능면에서는 좋지 않지만, 지금 단계에서 예시로 보기에는 가치가 있다.
두 이미지 쌍을 어떻게 비교할 것인가?
\n비교를 위하여 어떤 비교함수를 사용할 것인가?
앞의 예제 L1 Distrance(Manhattan distance, 이하 L1 Dist)를 사용하였다.
\n결정 영역에서 각 점은 학습 데이터이고 점의 색은 클래스(label)이 된다. 이 결정 영역의 색은 평면의 각 픽셀에 대해 훈련 데이터에서 가장 가까운 점을 찾아 해당 점의 클래스 레이블로 칠한 것이다. 이 경우 두가지 문제를 존재한다.
\n이는 특정한 노란색 점 혹은 초록색 점이 잡음(noise)이거나 잘못된 정보(spurioius)인 경우 발생할 수 있다. 이를 통하여 Nearest Neighbor는 여러 상황에 대하여 충분히 강건하지 못하다 말할 수 있다.
\n위에서 언급된 Nearest Neighbor의 문제점을 해결하고자 KNN이 등장하게 된다. 이는 Distance metric를 이용하여 가까운 이웃을 K개만큼 찾고 이웃끼리 투표(voting)를 하여 가장 많은 득표수를 올린 레이블로 예측하는 방식이다.
+) 추가 : 투표 결과의 결정방식에도 다양한 방법이 존재하고 위에 언급된 가장 많은 득표수를 올린 레디블을 선택하는 방식을 Majority voting이라 한다.
\n이전까지의 예제에서는 L1 Dist로 픽셀간 차이의 절대값의 합을 구하였다. 이번에 추가로 소개할 방법은 L2 Distance(Euclidean Distance, 이하 L2 Dist)로 두 거리의 차의 제곱합의 제곱근을 계산하는 것으로 구할 수 있다.
\n위의 그림은 그래프는 원점에서 떨어져 있는 거리가 같은 점들을 모아 놓은 것이다. 강의에서는 거리 척도(L1, L2)에 따라 공간의 근본적인 기하하적 구조 자체가 서로 다르게 된다고 표현하고 있다.
\nL1 Dist은 좌표계에 영향을 받는다.
\n위 그림에서는 거리 척도에 따라 발생하는 기하하적 변화를 확인 가능하다. 경계의 모양이 L1 Dist일 때, L2 Dist일 때가 서로 다른 것을 볼 수 있다. L1은 좌표축의 영향을 받기 때문에 경계가 수직 혹은 수평에 가깝다. L2는 축의 영향을 받지 않기 때문에 더 자연스럽게 결정경계가 만들어진다.
\n다양한 거리척도를 이용하면 KNN으로 다양한 데이터를 다룰 수 있다. 벡터/이미지/문장 등 데이터 사이에 거리를 구할 수 있는 척도가 존재한다면 KNN 적용이 모두 가능하다. 추가로 KNN은 아주 단순한 알고리즘이어서 새로운 문제를 접했을 때 가장 먼저 간단히 시도해볼만하다.
\n이전 파트에서 다룬 K와 L1/L2 Dist와 같이 Train time에 학습되는 것이 아닌 학습전에 사용자가 선택하게 되는 값들을 하이퍼 파라미터라고 한다.
\n어떻게 구할까?
\n다양한 하이퍼 파라미터 값을 시도해보고 가장 좋은 값을 찾는다.
\n다양한 하이퍼 파라미터를 시도해 보는 것과 가장 좋은 값을 선택하는 것 은 어떻게 해야 할까? 강의에서는 4가지 아이디어를 제시하고 있다.
전체 데이터셋에 대하여 분류기의 정확도와 성능을 가장 높게 만들어 주는 값을 탐색
\n전체를 쪼개어 일부를 테스트 데이터로 사용한다.
\n일반적인 방법 : 세개로 나눈다. trainig, validation, test
\n교차 검증
\n이 그래프로 알 수 있는 것
\n이유 1. test time이 너무 느리다.
\n이유 2. L1/L2 Dist가 이미지간의 거리 측정에 적절하지 않다.\n
이유 3. 차원의 저주\n