합성 함수, 수치 미분, 경사 하강법 정리

 

1️⃣ 합성 함수 (Composite Function)

📌 합성 함수란?

두 함수 f(x)f(x)f(x)와 g(x)g(x)g(x)가 있을 때, 한 함수의 출력값을 다른 함수의 입력값으로 사용하는 방식.
수학적으로는 다음과 같이 표현됨:

h(x)=f(g(x))h(x) = f(g(x))h(x)=f(g(x))

✔ 예시

• f(x)=2x+3f(x) = 2x + 3f(x)=2x+3, g(x)=x2g(x) = x^2g(x)=x2
• 합성 함수: h(x)=f(g(x))=2x2+3h(x) = f(g(x)) = 2x^2 + 3h(x)=f(g(x))=2x2+3

✔ 딥러닝과의 관계

• 딥러닝은 여러 층(Layers)을 쌓아서 합성 함수 형태로 모델을 구성함.
• 신경망의 각 층은 이전 층의 출력을 입력으로 받아 변환하는 연산을 수행.

---

2️⃣ 수치 미분 (Numerical Differentiation)

📌 수치 미분이란?

• 미분을 직접 계산하기 어려운 경우, 작은 차분을 이용하여 근사적으로 미분을 계산하는 방법.
• 컴퓨터에서 수치적인 방법으로 기울기(Gradient) 를 계산하는 데 사용됨.

✔ 수치 미분 공식 (전진 차분법)

f′(x)≈f(x+h)−f(x)hf'(x) \approx \frac{f(x + h) - f(x)}{h}f′(x)≈hf(x+h)−f(x)​

(여기서 hhh는 아주 작은 값)

📌 수치 미분의 활용

✅ 데이터 기반 분석 → 실험 데이터를 기반으로 미분 계산
✅ 복잡한 함수 → 수학적으로 해석하기 어려운 경우 사용
✅ 시뮬레이션 → 컴퓨터 시뮬레이션 결과를 기반으로 미분 수행

---

3️⃣ 경사 하강법 (Gradient Descent)

📌 경사 하강법이란?

• 머신러닝 및 최적화 문제에서 널리 사용되는 알고리즘.
• 비용 함수(Loss Function)를 최소화하는 방향으로 가중치를 업데이트하는 방식.
• 신경망 학습 과정에서 필수적인 최적화 기법.

---

📌 경사 하강법의 원리 & 단계

1️⃣ 초기값 설정 → 파라미터(가중치)를 임의로 설정
2️⃣ 기울기(Gradient) 계산 → 현재 위치에서 함수의 기울기(미분값)를 계산
3️⃣ 파라미터 업데이트 → 기울기의 반대 방향으로 이동하여 최적값을 찾음

✔ 수학적 표현

θ:=θ−αdLdθ\theta := \theta - \alpha \frac{dL}{d\theta}θ:=θ−αdθdL​

(여기서 α\alphaα는 학습률, LLL은 손실 함수)

✔ 학습률 (Learning Rate, α\alphaα)

• α\alphaα 값이 너무 크면 → Overshooting (최적점을 지나침) 발생
• α\alphaα 값이 너무 작으면 → 수렴 속도가 느려짐

---

4️⃣ 경사 하강법의 종류

종류설명장점단점

배치 경사 하강법 (Batch Gradient Descent)	전체 데이터를 한 번에 사용하여 기울기 계산	안정적인 학습 가능	데이터가 많을 경우 계산 비용이 큼
확률적 경사 하강법 (SGD, Stochastic Gradient Descent)	훈련 데이터에서 랜덤하게 한 샘플을 선택하여 기울기 계산	계산 속도 빠름, 메모리 요구량 적음	학습이 불안정할 수 있음
미니배치 경사 하강법 (Mini-batch Gradient Descent)	데이터셋을 작은 배치(Batch) 단위로 나누어 학습	안정성과 속도의 균형 유지	배치 크기 선택에 따라 성능 차이 발생

✔ 실무에서는 미니배치 경사 하강법이 가장 많이 사용됨!

---

5️⃣ 경사 하강법의 장단점

✔ 장점
✅ 단순하고 직관적이며 구현이 쉬움
✅ 선형 회귀, 로지스틱 회귀, 신경망 등 다양한 모델에 적용 가능

✔ 단점
❌ 지역 최솟값(Local Minimum)에 빠질 가능성
❌ 학습률 설정이 중요함 (학습률이 너무 크거나 작으면 최적화가 어려움)

---

📌 최종 요약

✔ 합성 함수(Composite Function) → 여러 함수가 합쳐져서 새로운 함수가 되는 개념 (딥러닝과 관련)
✔ 수치 미분(Numerical Differentiation) → 수학적으로 미분이 어려울 때 컴퓨터로 근사 미분 수행
✔ 경사 하강법(Gradient Descent) → 비용 함수를 최소화하는 방향으로 가중치를 업데이트하는 최적화 알고리즘
✔ 경사 하강법의 종류 → 배치(BGD), 확률적(SGD), 미니배치(Mini-batch GD)

🎯 딥러닝에서는 경사 하강법을 이용하여 신경망을 최적화하고, 손실을 최소화하는 것이 핵심! 🚀