Image classification I¶ ✅ 먼저 가장 간단한 Sigle Layer Neural Network를 살펴 보자¶ 위 Sigle Layer Neural Networks는 Fully connected Layer라고도 불린다. 모든 픽셀들을 서로 다른 가중치로 내적을 하고 Non-Linear Activation Function을 통해서 분류 스코어를 출력하는 간단한 모델이다. ✅ 위 간단한 모델을 영상 분류에 사용하면 어떻게 되는지 살펴봐야 한다.¶ 위 Fully connected Layer의 연산은 위와 같이 진행이 된다. 그 결과로 분류 스코어를 얻을 수 있다. W값을 확인해 보면 위 그림과 같다. 이때 확인해 보면 W는 Input image의 그림과 비슷하다는 것을 확인 할 수 있다. 📌 ..

[Day13] CNN CNN - Convolution은 무엇인가? https://n-brogrammer.tistory.com/72 CNN - 1x1 Convolution의 중요성 https://n-brogrammer.tistory.com/73 Computer Vision Applications https://n-brogrammer.tistory.com/74 중요 CNN에서 필요한 부분을 정리 nn.Conv2d import torch.nn as nn nn.Conv2d(in_channels: int, out_channels: int, kernel_size: _size_2_t, stride: _size_2_t=1, padding: _size_2_t=0, dilation: _size_2_t=1, groups: ..

5개 Network 들의 주요 아이디어와 구조¶ 1️⃣ AlexNet¶ 💡 key ideas¶ Rectified Linear Unit(ReLU) activation 사용 2개의 GPU 사용 Local response normalization, Overlapping pooling Data augmentation Dropout ReLU Activation¶ Linear model이 가지는 좋은 성질을 가지고 있다. 최적화가 쉽다. 사라지는 그래디언트 문제를 해결 2️⃣ VGGNet¶ 💡 key ideas¶ 3x3 convolution filters(with stride 1)사용 fully connected layers에 1x1 convolution 사용 Dropout(p=0.5) 🤔 왜 3x3 convolu..

CNN - Convolution¶ Convolution¶ 수식을 보면 아래와 같다. 이 식을 그림으로 확인해 보면, 위와 같이 filter계산이 진행이 된다. RGB Image Convolution¶ 여기서 input의 채널의 크기가 3이므로 filter도 같이 3차원의 값이 3이 되어야한다. 출력값은 filter가 1개이기 때문에 28x28x1이 된다. ✅ 만약 출력의 값을 늘리고 싶다면? filter의 개수를 늘리게 되면 출력의 개수도 같은 수 만큼 늘어나게 된 것을 확인할 수 있다. filter의 개수는 출력의 깊이에 의해 결정되고, filter의 깊이는 입력의 깊이에 의해 결정된다. Convolutional Neural Networks¶ CNN은 convolution layer, pooling l..

[Day12] 최적화 Optimization https://n-brogrammer.tistory.com/69 CNN 첫걸음 https://n-brogrammer.tistory.com/70 중요 여러 최적화 방법을 비교시 필요 부분을 정리 합니다. nn.Linear import torch.nn as nn nn.Linear(in_features: int, out_features: int, bias: bool=True) 선형 layer을 만드는데 in_features인자는 input의 features의 개수, out_features 인자는 output의 features개수를 설정한다. 그 다음으로 bias인자는 절편 값을 사용할 것인지에 대한 설정 값이다. nn.Sequential import torch.nn..

CNN Preview¶ Convolution 연산¶ 다층신경망(MLP)은 각 뉴련들이 선형모델과 활성함수로 모두 연결된(fully connected) 구조이다. Convolution연산은 이와 달리 커널(kernel)을 입력 벡터 상에서 움직여가면서 선형모델과 함성함수가 적용되는 구조이다. https://priorprobability.com 모든 $i$에 대해 적용되는 커널은 $V$로 같고 커널의 사이즈만큰 $x$상에서 이동하면서 적용한다. 활성화 함수를 제외한 Convolution연산도 선형변환에 속한다. Convolution연산의 수학적인 의미는 신호(signal)를 커널을 이용해 국소적으로 증폭 또는 감소시켜서 정보를 추출 또는 필터링하는 것이다. CNN에서 사용하는 연산은 사실 정확히 따지면 co..