신경망 편향(Bias) 파라미터가 뉴런 활성화 민감도를 제어하는 원리

목차

• 1. 서론: 파라미터 편향의 개념적 및 수학적 토대
• 2. 퍼셉트론 패러다임: 편향과 임계값의 역관계 분석
  • 2.1. 퍼셉트론의 임계값 규칙과 현대적 표현
  • 2.2. 활성화 기준점으로서의 편향
• 3. 수학적 메커니즘: 아파인 변환에서의 편향 역할
  • 3.1. 편향의 덧셈적 상수 역할
  • 3.2. 입력 스케일링으로부터의 독립성
• 4. 기하학적 해석: 특징 공간에서의 초평면 변환
  • 4.1. 초평면의 정의와 매개변수의 역할
  • 4.2. 원점 통과 제약 해제와 모델 유연성
• 5. 활성화 함수에 대한 작동적 영향: 곡선 이동 및 기울기 제어
  • 5.1. 시그모이드/하이퍼볼릭 탄젠트의 변곡점 이동
  • 5.2. 포화 방지 및 기울기 활용 제어
  • 5.3. ReLU 계열 함수의 뉴런 사망 완화
• 6. 최적화 과정에서의 편향의 필수성
  • 6.1. 영 입력 정체 극복
  • 6.2. 입력 독립적인 기준선 확립
  • 6.3. 모델 유연성과 오류 편향 감소의 관계
• 7. 종합 및 결론: 활성화 민감도 제어의 필수 메커니즘

1. 서론: 파라미터 편향의 개념적 및 수학적 토대

신경망의 기본 연산 단위인 뉴런(혹은 퍼셉트론)은 데이터를 처리하고 다음 계층으로 정보를 전달하기 위해 입력 신호의 가중합(Weighted Sum)을 계산한 후, 이를 활성화 함수(Activation Function)에 통과시킵니다. 이 과정에서 파라미터 편향(Bias, b)은 가중치(Weights, W)와 함께 뉴런의 핵심 학습 가능한 매개변수로 작용합니다. 편향은 입력 X의 가중합에 더해지는 상수항으로 정의되며, 뉴런의 출력 신호를 결정하는 데 결정적인 역할을 수행합니다.

뉴런의 최종 출력 Y를 계산하는 기본 공식은 다음과 같이 아파인 변환(Affine Transformation)과 비선형 활성화 함수의 조합으로 표현됩니다:

Y = f(Z)

여기서 유도 국소장(Induced Local Field) Z는 다음과 같습니다:

Z = W^T X + b

편향 b는 이 Z 값에 직접적인 영향을 미침으로써, 뉴런이 특정 입력에 대해 ‘활성화되는 민감도’ 또는 ‘활성화되는 기준점’을 조정하는 핵심 메커니즘을 제공합니다. 편향의 기능은 세 가지 상호 연결된 역할로 요약될 수 있습니다: 첫째, 뉴런의 활성화 기준점을 설정하는 역할, 둘째, 결정 경계(Decision Boundary)를 원점에서 멀리 기하학적으로 이동시키는 역할, 셋째, 모든 입력이 0일 때도 뉴런이 정체되는 것을 방지하여 최적화 안정성을 확보하는 역할입니다.

가중치(W)와 편향(b)의 역할 분리는 신경망 설계의 근간을 이룹니다. 가중치는 곱셈적 요소로 작용하여 특정 입력 특성(X)이 출력에 미치는 영향의 강도를 조절합니다. 반면, 편향은 덧셈적 상수 요소로 작용하여 가중합 W^T X 전체에 균일한 이동을 제공합니다. 이러한 ‘덧셈적 분리 원칙(Additive Decoupling Principle)’ 덕분에 신경망은 입력 특성의 상대적 중요도(W)를 방해하지 않으면서, 활성화가 필요한 전체적인 기준점(b)만을 미세하게 조정할 수 있는 유연성을 확보합니다. 만약 b가 없다면, 네트워크는 오직 가중치와 입력의 조합을 통해서만 활성화 기준을 변경해야 하므로, 복잡한 데이터 분포를 학습하는 데 심각한 제약이 발생합니다.

2. 퍼셉트론 패러다임: 편향과 임계값(θ)의 역관계 분석

편향(b)이 활성화 민감도를 제어한다는 이해는 인공신경망의 시초인 퍼셉트론(Perceptron) 모델에서 그 수학적 기원을 찾을 수 있습니다. 퍼셉트론의 초기 모델은 뉴런이 가중합이 특정 내부 임계값(θ)을 초과할 때만 신호를 출력하도록 설계되었습니다.

2.1. 퍼셉트론의 임계값 규칙과 현대적 표현

역사적인 맥락에서 McCulloch-Pitts 모델 및 초기 퍼셉트론의 이산 활성화 규칙은 다음과 같았습니다:

활성화 조건: Σw_ix_i > θ

이 규칙은 뉴런이 활성화되기 위해 필요한 최소한의 에너지 혹은 신호 크기를 θ로 설정합니다.

현대 신경망에서는 이 임계값 비교 과정을 뉴런의 내부 연산으로 흡수하여, 활성화 조건이 0보다 큰지 여부를 기준으로 단순화됩니다. 이는 임계값 θ를 가중합 연산으로 옮겨서 편향 b로 재정의함으로써 달성됩니다.

Σw_ix_i – θ > 0

따라서, 현대 신경망의 표준 공식인 W^T X + b > 0을 만족시키기 위해서는 편향 b가 임계값 θ의 부정을 의미하는 b = -θ 관계가 성립해야 합니다.

2.2. 활성화 기준점으로서의 편향

b = -θ라는 관계는 편향이 뉴런의 활성화 ‘장벽’을 직접적으로 제어하는 메커니즘을 명확하게 보여줍니다.

양의 편향 (b>0): b가 양수라는 것은 θ가 음수(θ < 0)라는 의미입니다. 이는 뉴런이 활성화되기 위한 임계값 자체가 매우 낮거나 심지어 음수임을 나타냅니다. 결과적으로, W^T X의 값이 작거나 약간의 음수일지라도 W^T X + b > 0 조건을 쉽게 충족시킬 수 있으므로, 뉴런이 ‘쉽게 활성화’되도록 만듭니다. 이는 뉴런의 민감도(sensitivity)를 높이는 효과를 가져옵니다.

음의 편향 (b<0): b가 음수라는 것은 θ가 양수(θ > 0)라는 의미이며, 이는 뉴런이 활성화되기 위한 임계값이 높음을 나타냅니다. 따라서 뉴런은 활성화되기 위해 입력 특성으로부터 매우 강력하고 충분히 큰 양의 가중합(W^T X)을 필요로 합니다. 이는 뉴런을 ‘활성화하기 어렵게’ 만들고, 네트워크가 높은 확신도를 가진 입력 신호에만 반응하도록 제어합니다.

이러한 발화 조건의 추상화는 단순한 수학적 치환을 넘어선 중요한 의미를 갖습니다. 초기 M-P 모델에서 θ는 외부에서 설정되거나 고정된 상수였지만, 현대 딥러닝에서 b는 경사 하강법(Gradient Descent)과 같은 최적화 알고리즘을 통해 지속적으로 학습되고 조정되는 매개변수입니다. 즉, 네트워크는 어떤 특성이 중요한지(W)뿐만 아니라, 그 특성들의 합을 바탕으로 뉴런이 얼마나 쉽게 발화해야 하는지(b)까지 스스로 학습하는 것입니다.

표 1: 퍼셉트론 임계값과 현대 편향의 등가성

모델 구성 요소	역사적 퍼셉트론 (1957)	현대 신경망 (ML/DL)	활성화 조건
입력 합산	Zold = Σwixi	Znew = Σwixi + b	Znew > 0
제어 매개변수	임계값 (θ)	편향 (b)
관계	활성화는 Zold > θ일 때 발생	활성화는 Zold + b > 0일 때 발생	b ≡ -θ (편향은 전통적인 활성화 임계값의 부정이다.)

 

3. 수학적 메커니즘: 아파인 변환에서의 편향 역할

편향 b의 활성화 제어 기능은 뉴런의 핵심 연산인 유도 국소장(Z = W^T X + b)이 단순히 선형 변환이 아닌 아파인 변환(Affine Transformation)임을 이해할 때 더욱 명확해집니다.

3.1. 편향의 덧셈적 상수 역할

가중치 W는 입력 X_i와 곱해져 해당 특성의 중요도를 조절하지만, b는 가중합(W^T X)이 계산된 후 단순히 더해지는 덧셈적 상수입니다.

이러한 덧셈적 특성은 b가 유도 국소장 Z에 대한 기준선 값(Baseline Value)을 설정하게 만듭니다. 특히 중요한 경우는 모든 입력이 0이거나, 가중치와 입력의 곱이 상쇄되어 W^T X가 정확히 0이 되는 경우입니다. 이 경우, Z는 오직 b 값에 의존하게 됩니다:

If W^T X = 0, then Z = b

따라서 b는 입력 신호의 규모와 관계없이 뉴런이 가질 수 있는 최소한의 활성화 수준을 보장하며, 이는 네트워크 활동의 최소 수준을 유지하는 데 필수적입니다. 만약 b가 없다면, W^T X = 0인 뉴런은 항상 Z=0을 유지하며 비활성화 상태에 머물게 될 것입니다.

3.2. 입력 스케일링으로부터의 독립성

편향 b의 영향력은 입력 데이터 X와의 상호작용 없이 발생한다는 점에서 W와 근본적으로 구분됩니다. 가중치가 조정되면 특정 입력 특성의 중요도가 바뀌지만, b가 조정되면 W^T X의 결과와 관계없이 Z 전체가 일괄적으로 위 또는 아래로 이동합니다.

이러한 입력 스케일링으로부터의 독립성은 학습 효율성을 극대화하는 데 기여합니다. 네트워크는 가중치 W를 사용하여 입력 데이터의 패턴 및 상대적 중요도(∂Z/∂X_i = W_i)를 정확하게 인코딩하는 데 집중할 수 있습니다. 그와 동시에, 편향 b를 사용하여 이 패턴 인식 결과를 전체적으로 얼마나 쉽게 활성화할지(민감도 조정)를 결정할 수 있습니다. 이처럼 역할이 분리되어 독립적으로 학습되므로, b는 W에 담긴 특징 중요도의 비율을 변경하지 않으면서 뉴런의 전반적인 결정 기준을 미세 조정할 수 있는 것입니다.

4. 기하학적 해석: 특징 공간에서의 초평면 변환

편향 b가 뉴런의 활성화를 제어한다는 사실은 기하학적 관점에서 가장 직관적으로 이해됩니다. 단일 뉴런이나 단층 퍼셉트론의 활성화 기준은 특징 공간(Feature Space)을 둘로 나누는 결정 경계(Decision Boundary), 즉 초평면(Hyperplane)으로 표현됩니다.

4.1. 초평면의 정의와 매개변수의 역할

뉴런이 활성화(예: 출력 1)와 비활성화(예: 출력 0 또는 -1)를 구분하는 경계는 유도 국소장 Z가 0이 되는 지점들의 집합으로 정의됩니다:

W^T X + b = 0

가중치 (W)의 역할 – 방향 제어: 벡터 W는 이 초평면에 직교(orthogonal)하는 법선 벡터입니다. W의 크기와 방향은 초평면의 기울기나 방향(orientation)을 결정합니다. W를 조정하는 것은 결정 경계를 회전시키거나 가파르게 만드는 효과를 가져옵니다.

편향 (b)의 역할 – 평행 이동 제어: 편향 b는 초평면의 오프셋(offset) 또는 절편(intercept) 역할을 합니다. 기하학적으로, b는 이 초평면이 원점(Origin)으로부터 얼마나 멀리 떨어져 있는지를 결정하는 매개변수입니다.

4.2. 원점 통과 제약 해제와 모델 유연성

편향 b의 핵심적인 기하학적 역할은 초평면을 특징 공간 내에서 자유롭게 평행 이동(translation)시킬 수 있게 하는 것입니다.

만약 편향 b가 존재하지 않는다면 (W^T X = 0), 결정 경계는 항상 원점 (0, 0, …)을 통과해야 하는 제약에 놓이게 됩니다. 이러한 제약은 현실 세계의 데이터, 특히 원점을 중심으로 정렬되어 있지 않은 선형 분리 가능한 데이터셋을 분류하는 모델의 능력에 심각한 제한을 가합니다.

편향 b는 이 제약을 해제하여, 가중치 W가 결정한 방향(기울기)을 유지하면서도, 데이터를 최적으로 분리할 수 있는 위치로 초평면 전체를 이동시킬 수 있도록 합니다. b의 학습은 네트워크가 데이터 클러스터의 중심 위치에 상대적으로 결정 함수를 조정할 수 있게 하는 필수적인 기하학적 자유도입니다. 이러한 기하학적 유연성 덕분에 네트워크는 원점을 통과하지 않는 데이터를 효과적으로 학습할 수 있습니다.

표 2: 신경망 활성화에서 가중치와 편향의 역할 비교

매개변수	수학적 역할	기하학적 해석	뉴런 활성화에 미치는 영향
가중치 (W)	곱셈적 스케일링 계수 (WT X)	결정 경계의 방향 및 기울기 제어 (법선 벡터).	특정 입력 특성의 중요도 또는 강도를 제어.
편향 (b)	덧셈적 상수 이동 (+b)	결정 경계의 오프셋 또는 평행 이동 제어.	뉴런 활성화의 기준점 또는 민감도 (유효 임계값)를 제어.

 

5. 활성화 함수에 대한 작동적 영향: 곡선 이동 및 기울기 제어

편향 b의 조정은 비선형 활성화 함수(Activation Functions)에 입력되는 Z 값 자체를 이동시킴으로써, 뉴런이 해당 함수의 어느 영역에서 작동할지를 결정합니다. 이는 단순히 발화 여부를 결정하는 것을 넘어, 학습 과정에서 중요한 기울기(Gradient) 흐름의 효율성을 제어합니다.

5.1. 시그모이드/하이퍼볼릭 탄젠트의 변곡점 이동

시그모이드 함수 σ(Z)나 하이퍼볼릭 탄젠트 함수 tanh(Z)와 같은 S자형 함수에서, 뉴런 출력이 가장 급격하게 변하고 기울기가 가장 높은 지점(변곡점)은 Z=0일 때 발생합니다.

Z = W^T X + b

편향 b를 조정하면, Z=0이 되기 위해 필요한 입력 가중합 W^T X의 크기가 변화합니다:

양의 편향 (b>0): W^T X = -b일 때 Z=0이 됩니다. 즉, b가 양수면 시그모이드 곡선은 W^T X 축을 따라 왼쪽으로 이동합니다. 이는 입력 가중합이 작거나 심지어 음수일 때도 뉴런이 이미 높은 기울기 영역(변곡점 근처)에 도달할 수 있게 만듭니다. 이는 뉴런의 작동 창(Operating Window)을 조정하여 민감도를 높이는 효과가 있습니다.

음의 편향 (b<0): W^T X = -b는 양수가 되므로, 뉴런이 변곡점에 도달하려면 훨씬 큰 양의 입력 가중합이 필요합니다. 이는 곡선을 오른쪽으로 이동시켜 민감도를 낮춥니다.

5.2. 포화 방지 및 기울기 활용 제어

편향의 역할은 단순한 활성화 ‘쉬움’을 넘어, 학습 과정의 효율성, 즉 기울기 활용(Gradient Utilization)을 제어하는 데 있습니다.

시그모이드나 탄젠트 함수에서 Z 값이 너무 크거나(Z ≫ 0) 너무 작으면(Z ≪ 0) 출력은 각각 1이나 0(또는 -1)에 가깝게 포화(Saturation)됩니다. 이 포화 영역에서는 기울기가 0에 가까워지기 때문에, 역전파 과정에서 가중치와 편향을 업데이트하는 데 사용되는 오차 신호가 거의 사라지는 기울기 소실(Vanishing Gradient) 문제가 발생합니다. 이 경우 뉴런의 학습 능력이 사실상 멈추게 됩니다.

편향 b를 적절히 조정함으로써, 네트워크는 Z 값을 활성화 함수의 가장 반응성이 좋은 영역(고 기울기 영역)에 위치하도록 유도할 수 있습니다. 이처럼 b는 뉴런이 얼마나 쉽게 발화할지뿐만 아니라, 발화할 때 생성되는 기울기가 학습에 얼마나 유용한지까지 조절하는 역할을 수행합니다.

5.3. ReLU 계열 함수의 뉴런 사망 완화

최근 딥러닝에서 널리 사용되는 ReLU(Rectified Linear Unit) 함수(ReLU(Z) = max(0, Z))는 Z>0일 때만 활성화됩니다.

만약 가중치 업데이트 오류나 희소 데이터(Sparse Data) 등으로 인해 뉴런의 입력 가중합 W^T X가 지속적으로 음수가 되면, Z ≤ 0이 되고, ReLU 출력은 항상 0이 됩니다. 이때 뉴런의 기울기는 0이 되어 더 이상 학습이 불가능해지는데, 이를 ‘죽은 ReLU(Dying ReLU)’ 문제라고 부릅니다.

이러한 문제를 완화하기 위해 편향 b를 작고 양수인 값(예: b=0.01)으로 초기화하는 전략이 사용될 수 있습니다. 이 양의 오프셋 버퍼는 W^T X가 미세하게 음수일지라도 Z를 약간 양수로 유지하게 하여, 뉴런이 완전히 사망하지 않고 학습에 필요한 기울기 흐름을 유지할 수 있도록 보장합니다.

표 3: 활성화 함수 운영 특성에 대한 편향의 영향

활성화 함수	변곡점/임계점	양의 편향 (b>0) 효과	학습 및 민감도에 대한 함의
시그모이드/Tanh	입력 Z=0 (최대 기울기)	곡선을 왼쪽으로 이동 (더 적은 가중 입력 요구).	기준선 활동 증가; 입력이 작거나 음수일 때 초기 포화를 피하는 데 결정적이다.
ReLU (max(0, Z))	입력 Z=0 (활성화 임계값)	입력 Z를 증가시켜 양의 오프셋 버퍼 제공.	Z > 0을 보장하고 기울기 흐름을 유지하여 ‘Dying ReLU’ 문제 방지.
하드 스텝/퍼셉트론	Z=0 (하드 임계값)	유효 임계값 (θ = -b)을 직접적으로 낮춘다.	뉴런을 본질적으로 더 민감하게 만들거나 ‘발화하기 쉽게’ 만든다.

 

6. 최적화 과정에서의 편향의 필수성

편향 b는 수학적, 기하학적 유연성을 제공하는 것을 넘어, 딥러닝 모델의 최적화 과정과 학습 안정성 확보에 있어 필수불가결한 역할을 수행합니다.

6.1. 영 입력 정체 극복

신경망 학습 초기 단계나 특정 중간 계층에서는 모든 입력 특성 값이 0이 되는 상황이 발생할 수 있습니다. 예를 들어, 이전 계층이 ReLU를 사용하고 출력이 모두 0이라면, 현재 뉴런의 W^T X 역시 0이 됩니다.

만약 편향 b마저 0이라면, 유도 국소장 Z는 0이 되고, 이로 인해 뉴런의 출력은 0이 되거나 활성화 함수의 변곡점 근처에 머무르게 됩니다. 이는 해당 뉴런이 미분 가능한 학습 영역에서 벗어나거나, 오차 신호가 전파되지 않아 학습이 정체되는 결과를 초래합니다.

편향 b는 W^T X=0일 때도 뉴런이 0이 아닌 출력을 생성할 수 있도록 보장합니다. 이는 경사 하강법이 매개변수를 업데이트할 수 있는 측정 가능한 기울기 경로를 유지하여 네트워크가 학습 과정에서 ‘정체되는’ 것을 방지하는 중요한 안정화 장치입니다.

6.2. 입력 독립적인 기준선 확립

편향 b는 모델이 입력 특성과 독립적으로 현실적인 기준선 확률 또는 출력값을 설정할 수 있도록 허용합니다. 이는 특히 회귀 문제나 분류 문제의 로짓(logit) 출력에서 중요합니다. 예를 들어, 주택 가격 예측과 같은 회귀 작업에서, 예측된 가격은 항상 양수여야 합니다. 편향 b는 다른 입력이 모두 0일 때도 가격에 대한 합리적인 기본값(y-절편)을 설정하고, 이 기본값을 기준으로 나머지 입력 특성(W^T X)에 따라 위아래로 조정될 수 있도록 합니다.

이러한 최소 사전 가정(Minimal Prior)의 확립은 최적화 초기 단계에서 특히 유용합니다. b를 의도적으로 작은 양수로 초기화함으로써, 네트워크는 학습 초기부터 긍정적인 활성화 영역을 탐색하도록 유도되며, 이는 최적화 알고리즘이 기울기를 더 쉽게 찾고 초기 수렴을 가속화하는 데 도움을 줄 수 있습니다.

6.3. 모델 유연성과 오류 편향 감소의 관계

일반적인 통계 및 머신러닝 문헌에서 ‘편향(Bias)’은 학습 알고리즘의 잘못된 가정으로 인해 발생하는 오류(Underfitting, 과소적합)를 의미하며, 이는 편향-분산 상충 관계(Bias-Variance Tradeoff)에서 다루어집니다.

흥미롭게도, 여기서 논의되는 파라미터 편향 b는 네트워크에 추가적인 유연성(즉, 초평면을 이동시키는 능력)을 부여함으로써 모델의 표현력(Capacity)을 증가시킵니다. 모델의 유연성이 증가하면 훈련 데이터셋을 더 잘 맞출 수 있게 되며, 이는 결과적으로 모델 전체의 오류 편향(Error Bias), 즉 과소적합 오류를 줄이는 데 기여합니다. 따라서 매개변수 b는 비록 용어는 혼동되더라도, 모델의 일반화 오류를 줄이는 데 긍정적인 역할을 수행하는 핵심 요소입니다.

7. 종합 및 결론: 활성화 민감도 제어의 필수 메커니즘

파라미터 편향 b는 단순한 보조 항이 아니라, 머신러닝 및 딥러닝 모델이 현실 세계의 복잡한 데이터 분포를 학습하고 최적화 과정에서 안정성을 유지할 수 있도록 하는 근본적인 수학적 및 기하학적 메커니즘입니다. b가 뉴런의 활성화 민감도(활성화 쉬움과 어려움 정도)를 제어한다고 보는 이유는 다음과 같은 다각적인 분석을 통해 통합적으로 설명됩니다.

7.1. 수학적 관점에서의 활성화 제어

편향은 유도 국소장 Z에 덧셈적 상수로 작용하며, 고전적인 퍼셉트론의 활성화 임계값(θ)을 효과적으로 상쇄(b = -θ)시킵니다. 양의 편향(b>0)은 유효 임계값을 낮추어 뉴런을 ‘민감하게’ 만들고, 음의 편향(b<0)은 유효 임계값을 높여 뉴런을 '둔감하게' 만듭니다. 이처럼 b는 입력 특성의 중요도(가중치 W)와는 독립적으로, 뉴런이 발화하는 내부 기준선을 유연하게 조정하는 유일한 수단입니다.

7.2. 기하학적 관점에서의 필수성

b는 선형 변환을 아파인 변환으로 확장하는 기하학적 필수 요소입니다. b는 뉴런의 결정 경계(초평면)를 원점에서 떨어진 임의의 위치로 평행 이동(translation)시킬 수 있는 자유도를 제공합니다. 이 능력 없이는 네트워크는 원점을 통과하는 제약적인 결정 경계만을 생성할 수밖에 없으며, 이는 비원점 중심 데이터를 분류하는 능력을 상실하게 됩니다.

7.3. 최적화 및 안정성 관점에서의 역할

b는 특히 Sigmoid나 Tanh와 같은 함수를 사용할 때 뉴런이 포화되는 것을 방지하고, ReLU를 사용할 때 뉴런 사망을 막는 등, 활성화 함수가 최적의 기울기 영역에서 작동하도록 Z 값을 조정하는 역할을 합니다. 또한, 입력 가중합이 0이 되는 상황에서도 뉴런이 최소한의 활동을 유지하도록 보장하여, 경사 하강법 기반의 최적화 알고리즘이 안정적으로 학습을 지속할 수 있도록 돕습니다.

결론적으로, 파라미터 편향 b는 신경망 모델이 단순한 선형 연산의 제약을 벗어나, 복잡한 비선형 함수를 근사하고 데이터 분포의 오프셋을 처리할 수 있게 하는 핵심 구성 요소이며, 뉴런의 개별적인 활성화 민감도를 정밀하게 조정하는 데 필수적인 학습 가능한 매개변수입니다.

참고 자료

• What are weights and biases in a neural network? – Milvus
• Understanding the Role of Bias, Parameters and Hyperparameters in Machine Learning | Medium
• What is the role of the bias in neural networks? – Stack Overflow
• 퍼셉트론 개념 – AI/ML 기술 블로그
• In SVM Algorithm, why vector w is orthogonal to the separating hyperplane?
• Deep Learning 딥러닝 이론 정리
• Weights and Bias in Neural Networks – GeeksforGeeks
• What are Model Parameters? | IBM
• Can someone help me understand exactly what W.x + b represents? – Reddit
• Introduction to neural networks — weights, biases and activation | Medium
• The Basic Artificial Neuron: Bias neuron(Backpropagation) – FunnyPR
• Bias–variance tradeoff – Wikipedia