Deep Learning/기초 개념

CNN의 parameter 개수와 tensor 사이즈 계산

AlexNet의 구조

  • Input: 227*273*3 크기의 컬러 이미지. 
  • Conv-1: 11*11 크기의 커널 96개, stride=4, padding=0
  • MaxPool-1: stride 2, 3*3 max pooling layer
  • Conv-2: 5*5 크기의 커널 256개, stride=1, padding=2
  • MaxPool-2: stride 2, 3*3 max pooling layer
  • Conv-3: 3*3 크기의 커널 384개, stride=1, padding=1
  • Conv-4: 3*3 크기의 커널 384개, stride=1, padding=1
  • Conv-5: 3*3 크기의 커널 256개, stride=1, padding=1
  • Maxpool-3: stride 2, 3*3 max pooling layer
  • FC-1: 4096개의 fully connected layer
  • FC-2: 4096개의 fully connected layer
  • FC-3: 1000개의 fully connected layer

AlexNet의 총 parameter 개수 및 tensor size

  • AlexNet의 전체 parameter 수는 5개의 convolution layer와 3개의 FC layer에서 계산되는 parameter 개수들의 합
    • 62,378,344 개.
  • 자세한 parameter 및 tensor size는

예를 들어 다음과 같은 코드가 있을 때,

학습이 진행될때의 tensor의 모형을 시각화 해보면 다음과 같다.

cherish-j
# AI #LLM # Computer Vision