300x250 인공신경망 활성화함수1 활성화함수 -왜 Sigmoid가 아니라 Relu 함수를 쓸까? 딥러닝 활성화함수에 대해 공부하다보니 함수에 대한 의문이 들었다. RNN, LSTM에서는 Sigmoid(시그모이드) 함수를 사용했는데, 왜 현대의 모델들은 Relu(렐루)함수를 많이 쓰는 걸까? 그렇다면 각각의 함수의 장단점은 무엇일까? 우선 sigmoid, ReLU 둘 다 딥러닝에서 일반적으로 사용하는 활성화 함수다. 각각의 식을 살펴보면 아래와 같다. 시그모이드는 왼쪽과 같이 S자 곡선을 가지고, 0과 1 사이의 출력 범위를 가진다. 즉 x가 음의 무한대에 가까워지면 출력도 0에 가까워지고, 양의 무한대에 가까워지면 출력은 1에 가까워진다. 반면 ReLU는 양수면 입력값을 출력하고, 아니면 0을 출력한다. 양수의 입력값에 대해서는 기울기가 1이고, 음수 입력 값에 대해서는 기울기가 0이다. 두 가지 .. 2023. 4. 12. 이전 1 다음
