SMALL
AI모델 활성화 함수
싱견망을 본떠 만든 딥러닝은 여러 인공세포 즉, 퍼셉트론이 모여 인공신경만을 이룬다.
퍼셉트론에서 들어온 값을 처리하여 다음 퍼셉트론에 전달하는 것이 아니라 비선형 함수(Nonlinear function)을 통과시킨 후 전달한다.
이때 사용하는 함수를 "활성화 함수"라고 한다.
- 시그모이드(Sigmoid)함수
- 0과 1로 출력하게 해주는 함수
- 그래프로 표현하면 0과 1로 나누게 되는 비선형 함수
- 중간 값이 0.5 매우 큰 값은 1, 매우 작은 값은 0인 특징
- 미분 값이 최대 0.3을 넘지 못해 몇 번의 학습만으로도 값이 소실되는 치명적인 문제점이 있다.
- 이항 분류에서 마지막 두 가지 카테고리에 분류할 때의 활성화 함수로만 주로 이용된다.
- 렐루(Relu) 함수
- 시그모이드 함수의 단점을 보완한 함수
- 음수일때는 0 양수일때는 값을 그대로 출력
- 양수일 때 미분 값이 1이므로 값을 그대로 전달하여 소실 위험이 없다.
- 인공신경망에서 가장 널리 사용하는 함수
- f(x) = max(0, x)
- 소프트맥스(Softmax) 함수
- 세 개 이상으로 분류하는 다항 분류에서 사용되는 활성화 함수
- n개로 분류할 때 n차원의 벡터를 입력 받아 각 클래스에 속할 확률을 추정한다.
- EX : 장미, 코스모스, 튤립 세 개로 분류한다고 가정하면 장미일 확률, 코스모스일 확률, 튤립일 확률을 각각 출력하게 해 주는 것이 소프트맥스 함수이다.
- 가장 높은 확률이 카테고리로 분류한다.
LIST