CNN 아키텍처 발전 흐름 요약

🧩 1. VGGNet (2014)

🔹 개요

• 매우 단순하고 규칙적인 구조를 가진 CNN
• 3×3 Convolution 필터만 사용해서 모델을 깊게 쌓음
• 깊이가 깊어질수록 성능 향상을 보임

---

✅ VGG16 구조

• 총 16개의 레이어 (13개의 Conv + 3개의 FC)
• 특징:
  • 3×3 Conv만 반복 사용
  • Max Pooling (2×2, stride 2) → 차원 축소
  • 마지막에는 FC 3개 + Softmax로 분류

[Conv3x3 → Conv3x3 → Pool] × 5 → FC × 3

---

✅ VGG19

• VGG16보다 더 깊음 (총 19개의 레이어)
• Conv layer가 16개 → 더 세밀한 특징 추출 가능

---

⚠️ 2. Degradation Problem

❓ 뭐가 문제일까?

네트워크를 깊게 만들면 더 성능이 좋아질 것 같지만,
실제로는 오히려 성능이 떨어지는 현상이 발생!

📉 원인:

• 학습이 어려워지고
• 네트워크가 충분히 학습되지 못함
• ❗ Vanishing Gradient나 Overfitting과는 다름!

---

💡 3. Residual Learning → ResNet (2015)

🔹 목적

Degradation 문제를 해결하기 위해 제안된 구조!

🔧 핵심 아이디어: Skip Connection

• 이전 레이어의 출력을 그대로 다음 레이어로 연결
• 즉, 기존 출력 + 새로운 출력 = 최종 출력

✅ Residual Block 구조

       Input
         |
    ┌────┴─────┐
    |          |
  Conv → ReLU → Conv
    |          |
    └────→ (Add) → Output

• 이 구조 덕분에:
  • 기울기 소실 완화
  • 더 깊은 네트워크 학습 가능
  • 최적화 쉬움

---

🔬 4. Skip Connection과 손실 곡면

✅ 실험: ResNet-56

• Skip Connection이 있을 때:
  • 손실 곡면이 부드럽고 최적화가 쉬움
• 없을 때:
  • 손실 곡면이 불안정하고 학습 어려움

즉, Skip Connection은 모델을 더 깊게 만들 수 있게 해준 핵심 기술이에요.

---

🧠 핵심 요약 비교표

항목VGGNetResNet

구조	Conv 3×3 반복	Residual Block (Skip 연결)
장점	단순하고 효과적	깊은 네트워크에서도 학습 가능
문제	Degradation 현상	해결 가능
학습 안정성	깊어질수록 어려움	안정적, 빠른 수렴
대표 모델	VGG16, VGG19	ResNet-18, 34, 50, 101, 152

---

🎯 결론

• ✅ VGG는 단순한 깊이 증가 전략
• ⚠️ 깊어질수록 성능이 떨어지는 Degradation 문제 발생
• ✅ ResNet은 Residual Learning으로 이 문제 해결
• 📈 이후 대부분의 CNN 구조는 ResNet 계열을 기반으로 발전