전이 학습 (Transfer Learning)

🔍 전이 학습이란?

이미 학습된 모델의 지식(특징)을 새로운 문제에 활용하는 기법

• 대규모 데이터로 학습된 모델의 가중치와 특징 추출 능력을 재활용
• 새로운 데이터가 적거나 학습 시간이 부족할 때 특히 유용

---

🧠 전이 학습의 핵심 구조

[ Pretrained Model ]
        ↓
[ Feature Extractor ]
        ↓
[ New Task-specific Output Layer ]
        ↓
[ Fine-tuning (일부 층 조정) ]

 

---

🔧 구조 구성 요소

단계설명

사전 학습된 모델 로딩	ImageNet으로 학습된 VGG, ResNet, BERT 등 불러오기
특징 추출기 재사용	Conv Layer, Transformer Encoder 등 유지
새로운 출력층 추가	Fully Connected Layer 또는 Classifier 변경
파인튜닝 (Fine-Tuning)	마지막 몇 층의 가중치만 학습에 참여

---

🔁 파인 튜닝 (Fine-Tuning)

기존 모델 전체를 새로 학습하는 게 아니라, 일부만 미세 조정

• 처음부터 전부 학습 ❌ → 시간 낭비, 정보 손실
• 기존 모델의 지식을 유지하면서, 새로운 데이터에 맞게 일부만 수정

📌 파인 튜닝 시 학습률(Learning Rate)을 작게 설정하는 것이 중요!

---

✅ 전이 학습의 장점

장점설명

데이터가 적어도 학습 가능	적은 데이터셋으로도 높은 성능 가능
빠른 학습	이미 학습된 구조를 활용하므로 속도가 빠름
좋은 초기화	랜덤 초기화보다 더 안정적인 시작점 제공

---

⚠️ 전이 학습의 단점

단점설명

태스크 간 유사성이 낮으면 효과 ↓	예: 자동차 이미지 → 고양이 분류 ❌
큰 사전 모델은 리소스 소모 ↑	BERT, GPT 같은 모델은 연산 자원 많이 필요

---

📚 전이 학습 활용 사례

🎨 이미지 인식

• 의료 영상 진단 (암 탐지, CT 분석)
• 자율 주행 차량 객체 인식
• 감시 시스템에서 이상 행동 탐지

사용 모델: ResNet, EfficientNet, MobileNet

---

🗣 자연어 처리 (NLP)

• 감정 분석, 문서 분류, 질의응답, 번역

사용 모델: BERT, GPT, RoBERTa, T5

---

🔊 음성 인식

• 언어별 자동 음성 인식 시스템

사용 모델: Wav2Vec2.0, Whisper

---

📌 요약 한 줄

전이 학습은 이미 잘 배운 모델을 활용해서,
새로운 과제를 더 빠르고 효율적으로 해결하는 방법!