CS231n 1. Image Classification

Summary

image classification에 대한 전체적인 내용을 다룸

Image Classification Problem:

입력 이미지(input image)를 미리 정해진 카테고리 중 하나인 라벨(label)로 분류하는 문제로 Computer Vision에서 매우 핵심적인 문제

현재 이미지를 구별하는데 여러 현실적인 문제가 존재한다!

• semantic gap: 우리 눈에는 고양이가 한 눈에 들어온다! VS 컴퓨터는 이를 매우 크고 다양한 숫자들로 이루어진 배열로 인식!
• 컴퓨터가 이것이 무엇인지 정확히 이해하고 있는 것이 아니고 무엇을 뜻하는지 알아내는 것이 쉽지 않음
• 조금만 카메라를 돌리면 사진을 이루는 픽셀의 숫자가 바로 바뀌게 됨

문제점

1. Viewpoint variation(시점 변화)
2. Scale variation(크기 변화)
3. Deformation(변형): 대부분의 물체는 고정된 모습이 없음(변형되어 보일 수 있음)
4. Occlusion(폐색): 물체의 일부분만 보임
5. Illumination conditions(조명상태): 조명의 영향으로 픽셀값이 바뀌게됨
6. Background clutter(배경 분류): 주변 환경에 섞여 알아보기 힘들게 됨
7. Intra-class variation(내부클라스 다양성): 동물이라면 나이와 종에 따라 다른 것을 보고 하나의 동물이라는 것을 파악해야함

이런 문제점에도 불구하고, 컴퓨터 vision 문제를 통해 이미지가 어떤 라벨(물체)에 들어가는지 알 수 있으며 앞으로 이 방법이 어떤 원리로 이루어지는지를 알아보게 됨! 우리가 흔히 알고있는 알고리즘과 달리 이미지 분류 문제 전반에 걸쳐있는 명확한 알고리즘이 존재하지 않는다. 지금까지 시도된 방법은 이미지의 선,코너를 이용하여 물체를 인식하는 것이었지만 모든 물체를 일반적으로 분류하지 못했다. 즉, 특정 코드를 작성하여 이미지 분류하는 것이 사실상 불가능하기 때문에 나온 방법론이 데이터 기반 방법론이다!

Data-driven approach: 데이터 기반 방법론

---

이미지를 각각의 카테고리로 인식하기 위한 방법 중 하나로 모델을 학습한 후 예측하여 효과를 검증하는 방법이며 코드를 작성하는 것이 아닌 수많은 데이터를 학습시켜, 이를 통해 모든 물체를 보편적으로 분류할 수 있는 방법이다.

1. Input: Collect a dataset of images & labels(학습 데이터에서 N개의 이미지를 K개의 class로 라벨링)
2. Learning: Use ML to train a classifier: 학습데이터을 이용해 각각의 class를 학습!
3. Evaluation: Evaluate the classifier on new images : 새로운 이미지에 대해 예측을 내려 실제 값(ground truth값)과 같은지 비교하며 실제 값과 일치할 수록 성능이 높다는 것을 확인 가능 이는 기존의 프로그램을 짜는 방법과 상반되는데, 기존에는 자신이 가지고 있는 지식을 사용하여 프로그램을 짜서 분류를 하고자 했다면 data-driven approach에서는 입력 데이터만 주어지고 스스로 학습을 한다. 즉, 더 나은 성능 향상을 위해 코드를 작성할 필요없이 계속해서 입력 데이터를 주어주면 된다.

Datasets

---

• MNIST: 0부터 9까지의 10개의 class가 존재하며 grayscale 이미지이며 5만개의 학습데이터와 만개의 테스트 데이터로 구성되어있다. CV개의 초파리라고 불리는데, 생물학에서 초파리 연구를 통해 발전을 한 것처럼 CV에서도 가장 간단한 데이터셋 중 하나로 생각하면 된다. 그렇기 때문에 대부분의 ML 모델에서 높은 성능을 보이므로 논문에서 이 데이터셋을 가지고 성능을 비교하는 것에 주의해야한다.
• CIFAR10: 10개의 사물 RGB class로 이루어져있고 5만개의 학습 데이터, 1만개의 테스트 데이터로 이루어져있다.
• CIFAR 100: 조금 더 복잡한 데이터 셋으로 100개의 class로 이루어져있다
• ImageNet: 1000개의 class로 이루어져있고 사실상 모델의 성능을 좌우하는 가장 보편적인 데이터 셋이다. 130만개의 학습데이터, 5만개의 검증 데이터, 10만개의 테스트 데이터로 구성되며 너무 많은 class로 이루어져있기 때문에 각각의 이미지에 가장 그럴듯한 5개 라벨을 예측하여 그 중에서 맞는 것이 있는지를 성능 지표로 사용한다 ➡️ 사물에 집중한 데이터셋
• MIT Place: 365개의 class로 이루어져있고 800만개의 학습 데이터가 있는 것이 특징이다 ➡️ 풍경에 집중한 데이터셋

이때 학습할 때 사용되는 픽셀의 수는 Places 365>ImageNet>>> CIFAR>MNIST 순이다. 이때 ImageNet과 CIFAR의 픽셀의 수는 약 1000배이기 때문에 ImageNet을 주로 사용하여 모델의 성능을 확인하는 것이 일반적이다.

이렇게 보편적으로 많은 데이터가 있을 때 성능이 좋음을 판단하는 데이터셋이 있는 반면, 적은 데이터셋으로 얼마나 효율적으로 학습을 할 수 있는지를 알아보고자 하는 데이터 셋도 존재한다. 요즘에 떠오르고 있는 분야로 few shot learning이라고 한다.

• Omniglot: 50개의 서로 다른 언어에서 따온 문자들로 1623 class가 존재하고 이때 한 class 당 20개의 이미지가 존재한다.

Nearest Neighbor Classifier

매우 직관적이고 단순한 분류기(최근접 이웃 분류기)로 모든 데이터와 라벨을 기억한 후에 비슷한 학습 image가 모델에 들어오면 어떤 label일지 예측하는 모델이다. 가장 처음 배우는 학습 알고리즘이다!

1. Memorize all data & label
2. Predict the label of the most similar training image

• 새로 들어온 image에 대해 학습데이터에 있는 사진들 중 가장 비슷한 애를 가져오게 됨!
• 정확히 같은 class에 있는 사진을 가져오는 성능이 낮은 편! CS231n 12. Visualizing and Understanding
• [c] 문제점은 실제 코드를 구현해서 실행할 경우에, 학습에 걸리는 시간 O(1)로 적지만 테스트에 걸리는 시간은 O(N)으로 길다. 일반적으로 학습이 길고, 테스트를 실행하는 시간이 짧아야 하기 때문에 비효율적이라는 것이다

❓그럼 이 classifier은 어떤 기준으로 가장 비슷한 training set의 image을 비교해서 가져올까?

The choice of distance (거리 선택)

---

거리를 계산하는 방법은 다양하다. 이때 L1을 선택하든 L2를 선택하든 이미지 분류에서 굉장한 의미적 차이를 가지지는 않지만 L1은 각 차원마다 독립적으로 차이를 계산한다면, L2는 고차원상에서 백터간의 차이를 나타낸다는 점에서 차이가 존재한다. 또한 이외에도 다른 distance metric을 이용하여 K-NN 알고리즘을 수행할 수 있다. (예를 들어 pdf 파일을 k-nn을 이용하여 유사한 논문을 추천할 수 있다)

1. L1 distance: 두 개의 백터간의 차이를 각 차원마다 독립적으로 계산한다!(즉, 모든 픽셀값 차이의 합을 이용!)

• 특정 vector가 개별적인 의미를 가지는 pixel과 같은 경우 자주 사용된다.
• 두 백터 값의 차가 커지는 것에 덜 민감함
• 하나의 큰 차이든 여러개의 적당한 차이든 단순히 값의 차이로 결정
• coordinate axis(좌표축)와 관련이 되어 있어 좌표계 회전시 거리가 달라짐
  • 좌표의 각 차원에서의 차이값이 발생할 수 있기 때문에 거리가 달라진다.
• [n] 구현 시 train 함수에는 단순히 값을 저장하면 되고 test 함수에서는 각 이미지를 기존에 저장한 이미지와 비교를 통해 가장 작은 값을 구하면 된다

2. L2 distance: 기학적으로 두 백터간의euclidean_distance 를 계산하는 방법으로 두 벡터간의 직선 거리를 측정하여 벡터간의 전반적인 유사도를 평가하는데 적합하다.➡️ 즉, ⭐️고차원 공간 상에서 거리를 측정하는데 자주 사용이 된다

• vector 요소의 의미를 모르거나 별로 없을 때로 두 이미지의 전반적인 차이를 평가할 수 있다
• L1 distance에 비해서 두 백터값의 차가 커지는 것에 대해 훨씬 더 크게 반응함! ➡️ ⭐️ 루트는 단순히 크기를 줄이는 역할을 하기 때문에 차이값이 커질 수록 더 민감한거임! (수학적으로 보면 덜 민감하다고 볼 수 있는데 이건 루트 때문임!)
• 하나의 큰 차이가 있는 것보다 여러 개의 적당한 차이가 생기는 것을 선호
  • 좌표계 회전에 영향을 받지 않음
  • 회전을 하더라도 어차피 벡터간의 거리는 달라지는 것이 없으므로 영향을 받지 않음

이때 NN 알고리즘이 제대로 작동하는지 확인하는 방법은 크게 2가지가 존재한다. 첫번째는 가장 가깝다고 확인되는 이미지를 찾아 그 이미지의 class를 확인하여 정확도를 구하는 방법이고, 두번째는 decision boundary를 사용하여 확인을 하는 것이다.

K-Nearest Neighbor

단순한 NN 알고리즘은 이상치의 데이터나 잡음이 있는 데이터 때문에 문제점이 생길 수 있다. 이에 training set에서 가장 비슷한 이미지를 찾는 것 대신 가장 비슷한 k개의 이미지를 찾아 test 이미지의 label에 투표를 하여 정해주는 방법을 통해 이 방법을 해결했는데 이것이 바로 K-Nearest Neighbor이다. 이때 1-Nearest Neighbor는 Nearest Neighbor Classifier와 같다

• 새로운 데이터를 입력 받았을 때 가장 가까이 있는 K개가 무엇인지를 중심으로 새로운 데이터의 종류 정해주는 알고리즘
• k의 값이 커질수록 classifier은 이상점(outlier)에 더 강인하고, 분류 경계가 부드러워지는 효과가 있음

더 나은 점!

1. island 문제 해결(ambiguously classified): 예를 들어, 빨간색이 많은 지점에 초록색이 하나 끼어있는 경우, 이를 최소한 두개의 class로 묶어 애매한 지점임을 보여주고 조그만한 섬들이 생기지 않도록 부드럽게 연결! ➡️ smooth boundary 가능!
2. noisy에 강함: 값 하나가 있다고해서 그 곳이 그 색깔 영역이 되지는 않음 (주변이 다른 영역으로 둘러쌓여있다면 값 하나에 의해 그 값이 맞다고 생각하는 것에 무리가 있음) + 연결선을 부드럽게 만들어 일반화 성능 높임

• 흰색 지점: 투표의 결과, 2개 이상의 최근접 class가 동률을 이룰 때이며 ambiguously classified라고 한다. ➡️ 이를 해결하기 위해 1NN, backup 등 여러가지 방법을 통해 해결이 가능하다
• 배경색: 개, 고양이와 같은 class로, 테스트 이미지가 들어와 특정 지점에 위치할 경우 그 이미지가 속할 class를 의미한다.
• 점: 학습 이미지를 의미 위 사진과 같이 2)decision boundary를 이용하여 2차원 평면상에서 점과 색을 이용해 K-Nearest Neighbor의 효과를 알아볼 수 있고 1) 실제로 새로운 사진에 대해 어떤 training data가 가장 유사한지 확인해봄으로써 알고리즘의 효과를 확인할 수 있다. 이 두가지 방법을 섞어 이해하는 것이 중요하며 k의 값이 커졌을 때 더 나은 성능을 보이는 것을 확인할 수 있었다! http://vision.stanford.edu/teaching/cs231n-demos/knn/

🙋‍♂️ 그렇다면 어떤 K를 골라야할까? 또 어떤metric 을 사용할까?

Validation sets for Hyperparameter tuning

hyperparameter을 조정하기 위해 테스트 셋을 절대 사용하면 안되는데 테스트 데이터는 귀중한 자료이고 잘못된 경우overfitting 될 수 있다. 이때hyperparameter 란 학습데이터에서 학습하는 값이 아니라, 학습 과정 처음에 준비하여 문제 상황에 따라 다르게 설정되어야하는 값이다. ➡️ 이것을 알아내는 방법이 따로 있지는 않고 직접 값을 조정해가며 해봐야한다.

1. Split data into train & test

• 새로운 데이터가 들어왔을때 알고리즘이 얼마나 효과적인지 모르기 때문에 훈련 데이터와 테스트 데이터로 나눠야한다.
• train data가 unseen data(test data)에는 효과적이지 않을 수 있음

2. Split data train, validation, test Training set을 다시 2개로 쪼개 validation set을 생성하여 가짜 테스트 셋으로 활용한다.

• test data: iid(identical independence distribution)이기 때문에 확률적으로 기존 데이터와 비교해보았을 때 매우 무관할 가능성이 낮아 무작위적으로 뽑으면 상관이 없다. 단, 시계열 데이터처럼 특정 시기의 데이터만을 test로 할 경우 문제가 생길 가능성이 있다.
• validation data: 정확도를 확인하며 얼마나 모델이 정확하지 확인할 수 있으며 test data로 hyperparameter을 사용하는 것은 테스트 데이터를 오염시키는 일 일 수 있다.
• 이후 그래프를 그려, 가장 잘 동작하는 k값을 정할 수 있음

Test set 사용에 매우 유의할 것!

test set은 마지막에 한번만 성능을 확인할 때 사용이 되어야한다. 예를 들어 1년동안 프로젝트를 진행한다고 하더라도 test set을 가지고는 절대 사용이 되면 안되고 만약에 실제 test set에서 성능이 안좋다는 것을 걱정해서 미리 사용하는 일은 없어야한다.

3. Cross-Validation 14-1. Cross Validation

• fold(small dataset)으로 데이터를 나누어 여러번 검사하는 방법으로 검증데이터를 여러번 활용하여 성능을 확인할 수 있다.
• 시간이 너무 오래걸리기 때문에 딥러닝에서는 사용하지 않는다. Cf) trainig data에 50~90%를 trainig용으로 나머지는 validation data로 활용한다(validation set의 크기는 여러 변수에 영향을 받음)
• hyperparmeter의 개수가 매우 많으면 validation 크기를 늘리는 게 좋음
• 수백개 정도로 적다면 cross-validaion 이용하는 것이 안전
• 주로 3,5,10 fold로 사용됨 ⇒ cross-validation을 통해 k-NN 알고리즘에서 어떤 k값을 쓰는 것이 정확도가 높은지를 확인할 수 있음!

Universal & Cons of K-NN

만약 학습 데이터가 무한대로 많아질 경우 K-NN classifier은 사실상 어떤 함수든지 간에 표현이 가능하게 된다. 예를 들어 연속함수 상에서 n개의 포인트를 뽑아 K-NN 알고리즘을 작동하면 n의 값이 적을 때는 여러개의 상수함수처럼 보이다가 n의 값이 커지게 되면 실제 함수와 비슷한 연속함수가 된다. 이렇게 되면 단순히 학습데이터가 많을 경우 모든 문제가 해결되는 것처럼 보이지만 차원의 저주(curse of dimensionality에 빠지게 된다. 즉, 차원이 증가하게 되면 그 차원을 이루는 포인트 혹은 함수를 다 채우기 위해 필요한 데이터의 수가 지수적으로 늘어나게 된다. 위의 사진에서는 1차원이기 때문에 적은 데이터 수로 실제 함수를 알아냈지만 고차원의 함수일 경우 매우 비효율적으로 변하게 된다.

즉, 특정 이미지가 어떤 물체인지 알아내기 위해 학습하기 위해서 pixel이 흑백인 경우만 고려하더라도 현실적으로 얻을 수 없는 데이터의 수가 필요하게 된다.

Pros and Cons of Nearest Neighbor classifier

---

장점:

1. 이해하고 실행하기 매우 간편함
2. train에 걸리는 시간이 적음

• [p] 놀랍게도 ConvNet에서 계산된 feature vector을 사용할 때 효과가 좋으며 자주 사용된다고 한다. 즉, 이미지의 raw pixel에 NN 알고리즘을 사용하는 것이 아니라 feature vector에 사용을 하여 의미를 가지게 만든다

단점:

1. test time이 매우 느림(=computational cost)

• 컴퓨터나 스마트폰에 적용을 할 때 시간이 오래 걸림
• 딥러닝에서는 완전히 반전되어 test time을 매우 길게 만듦!

2. 픽셀의 distance(차이)가 정보적이지 않음 만약 데이터가 low-dimension일때는 효과적일 수 있지만 image classification에는 효과적이지 않음

• 이미지는 high dimensional object (차원이 높을수록 커버해야하는 범위가 지수의 속도로 증가!: 차원 증가 ⇒ 조밀하게 포인트를 표현하기 위해서는 지수의 속도로 포인트의 개수들이 증가해야함! ) ⇒ 차원의 저주(curse of dimensionality) 에 빠지게 됨 - 고차원을 가야만 복잡한 데이터를 표현이 가능하며, NN 알고리즘이 제대로 작동하고 가능함
  • 데이터가 고차원 공간으로 이동하면 데이터 간의 거리가 예상보다 빨리 증가
  • 고차원에 모든 방향으로 데이터가 흩어져 더 많은 neighbor를 찾아야 적잘하게 특정 지점을 표현 가능
  • 고차원일수록 거리가 증가함에 따라 성능 저하 및 계산 비용의 증가를 가져옴
• 고차원에서의 distance에 대한 직관이 우리와 달라질 수 있음
  • 고차원 공간에 많은 변수와 차원에 의해 거리 개념이 일반적인 기하학적 해석과 달라지게 됨
  • 이럴 경우 distance를 이용한 NN classifier가 제대로 작동하지 않을 수 있음
• training example을 커버하는 범위가 매우 커짐
• pixel을 기반으로 한 L2 distance의 경우 우리가 인식하는 유사점과 거리가 있게 되며 실제 우리가 원하고자 하는 의미와 다른 결과를 내놓게 된다.
• 실제 물체의 특징과는 별개로 배경이 바뀌었단 이유로 가까이 있을 수 있음
  • 아래 사진모두 L2 distance가 같을 수가 있는데 이에 대한 정보는 매우 다르다는 것을 알 수 있음