[신경망-활성화 함수] 소프트맥스 함수

👋 들어가기 전

 

신경망에 대해 맛보기를 끝낸 지금, 신경망은 어디에 이용할 수 있을까?

신경망은 크게 분류와 회귀에 이용될 수 있다.

 

💡 분류(classification)

데이터가 어느 클래스에 속하느냐를 결정하는 문제

💡 회귀(regression)

입력 데이터에서 연속적인 수치를 예측하는 문제

 

오늘은 출력층에서 사용되는 대표적인 함수, 항등함수와 소프트맥스 함수에 대해 알아보자.

 

소프트맥스에 조금 무게를 더 둘 예정

---

🏁 학습할 내용

• 항등함수
• 소프트맥스 함수

---

🟰 항등함수

 

🧩 역할

 

입력과 출력이 항상 같은 활성화 함수

🚀 특징

 

• 회귀 문제에 주로 사용됨
• y = x

---

🍦 소프트맥스 함수

 

🧩 역할

 

입력신호를 연속적인 확률(확률 분포)로 변환해주는 활성화 함수

 

🔎 수식

• z: 입력신호
• 분자: 알고싶은 i의 입력신호의 지수함수
• 분모: 모든 입력신호의 지수함수의 합

 

💡 왜 최대 입력신호값을  뺄까?

지수함수의 특징은 입력이 조금만 증가해도 지수적으로 커지기 떄문에 항상 오버플로우를 조심해야한다.

지수함수는 같은 값을 빼줘도(실질적으로는 나누기연산) 비율은 똑같은 특징을 이용한 것

 

🚀 특징

• 출력은 0.0 ~ 1.0 사이
• 출력의 총합은 반드시 1
• 문제를 확률적(통계적)으로 접근할 수 있게 해줌
• 지수 함수는 단조 증가함수기때문에, 오버플로우 방지를 위해, 최댓값을 빼줘도 대소관계가 유지
• 소프트 맥스는 학습에서는 사용되고, 추론에서는 잘 사용되지 않음
• 출력층의 뉴런 수는 분류하고 싶은 클래스 수로 설정하는 것이 일반적

 

💡 학습과 추론

머신러닝의 문제풀이 단계는, 학습과 추론을 거친디ㅏ.

학습은 모델을 학습(훈련)하는 단계고
추론은 학습한 모델을 통해 미지의 데이터에 대해 추론(분류)를 수행 (실질적인 작업)

💡 추론 단계에서 사용하지 않는 이유

소프트맥스 함수의 특징 중, 단조 증가라는 특징이 있다.

즉, 소프트 맥스를 돌리기전에도 이전 출력이 가장 큰 뉴런이 소프트 맥스를 거쳐도 가장 큰 뉴런이다.
그렇기 때문에, 비용측면에서도 굳이 하지 않아도 된다.

하지만 학습에서는 사용해야한다.

학습은 정답과의 차이를 수치화해야하기떄문에 반드시 확률(통계)적인 접근이 필요하다.

 

---

출처