시그모이드 함수 (Sigmoid Function)
쉽게 풀면
시험 점수를 "합격 확률"로 바꾼다고 생각해봅시다. 점수가 아주 낮으면 합격 확률은 0%에 가깝고, 아주 높으면 100%에 가깝지만, 중간 점수대에서는 점수가 조금만 올라도 확률이 급격히 변합니다. 시그모이드 함수가 하는 일이 정확히 이것입니다. 입력값이 아무리 크거나 작아도 결과를 항상 0과 1 사이로 눌러주기 때문에, 신경망에서 "이 뉴런이 얼마나 활성화되었는가"나 "이 사건이 일어날 확률이 얼마인가"를 표현할 때 자주 사용됩니다. 그래프로 그리면 완만한 S자 곡선을 그리는 것이 특징입니다.
왜 중요한가
시그모이드 함수는 신경망의 출력을 확률처럼 해석 가능하게 만들어주는 가장 기본적인 장치이기 때문에, 이진분류·로지스틱 회귀·게이트 메커니즘 등 다양한 논문에서 반복적으로 등장합니다. 특히 딥러닝 초창기 활성화함수의 표준이었던 역사적 배경 때문에, 그래디언트 소실 문제나 대안 활성화함수를 논의하는 연구에서도 비교 기준으로 자주 언급됩니다. LSTM의 게이트처럼 "얼마나 통과시킬지"를 0~1 사이 값으로 조절해야 하는 구조에서는 지금도 핵심적인 역할을 합니다.
논문에서는 이렇게 쓰입니다
이 문장은 "모델이 마지막에 계산한 숫자를 시그모이드 함수에 통과시켜, 그 값이 0~1 사이의 확률처럼 해석되도록 변환했다"는 뜻입니다. 이진분류 문제의 출력층에서 특히 자주 쓰입니다.
여기서는 시그모이드 함수가 확률이 아니라 "게이트가 정보를 얼마나 통과시킬지"를 결정하는 조절 스위치로 쓰였습니다. 순환신경망 계열 논문에서 흔히 볼 수 있는 표현입니다.
통계·역학 분야 논문에서는 시그모이드 함수가 로지스틱 회귀의 핵심 구성요소로 등장하며, 딥러닝 맥락과는 별개로 오래전부터 확률 모형에 쓰여 왔음을 보여줍니다.
조금 더 깊게 보면
시그모이드 함수의 미분값은 자기 자신을 이용해 간단히 표현할 수 있어 역전파 계산이 편리하지만, 입력이 0에서 멀어질수록 미분값이 급격히 작아지는 특성이 있습니다. 이 때문에 층이 깊어질수록 그래디언트가 누적적으로 작아지는 그래디언트 소실 문제와 직결되며, 이를 완화하기 위해 ReLU 계열 활성화함수나 배치정규화 같은 기법이 함께 논의되는 경우가 많습니다. 또한 시그모이드는 출력이 항상 양수라는 점에서 하이퍼볼릭탄젠트(tanh) 함수와 자주 비교되기도 합니다.
주의할 점
시그모이드 함수는 입력값이 아주 크거나 아주 작을 때 그래프가 거의 평평해져서 기울기가 0에 가까워집니다. 이 때문에 층이 깊은 신경망에서는 기울기 소실 문제를 일으키기 쉬워, 은닉층에서는 렐루 함수 같은 다른 활성화 함수가 더 자주 선택됩니다.