머신러닝에서 볼 수 있는 Norm.
Norm 은 벡터 공간의 원소인 벡터의 '크기'나 '길이'를 측정하는 함수이다. 실수에서 절댓값 개념을 벡터 공간으로 확장한 것으로 생각할 수 있다고 한다.
Norm 은 머신러닝에서 손실 함수(Loss Function) 또는 모델의 과적합을 방지하는 정규화(Regularization) 기법의 수식에서 볼 수 있다. 손실 함수에서 아래의 Norm 형태를 보았다. 왜 제곱을 했는지 의아했는데 L2 Norm 의 루트를 벗기기 위함이었구나~~
그 외 데이터 분석에서는 벡터 간 거리나 유사도를 측정할 때, 함수 해석학에서는 함수 공간에서 함수의 크기를 정의할 때, 행렬 대수에서는 행렬의 크기를 측정하는 행렬 노름(matrix norm)으로 확장되어 사용된다고 한다.
Norm 의 종류
대표적으로 사용되는 노름은 4가지 정도라고 한다.
1. L1 Norm (Manhatten Norm)
- 벡터의 모든 성분의 절대값을 더한 값. 마치 격자 모양의 도시에서 한 지점에서 다른 지점까지 가는 데 필요한 총 거리를 재는 것과 같아서 '맨해튼 거리' 라고도 불림
2. L2 Norm (Euclidean Norm)
- 원점에서 벡터가 가리키는 점까지의 직선 거리를 측정. 피타고라스의 정리로 구할 수 있음
3. 무한대 노름 (Maximum Norm)
- 벡터의 성분 중 절대값이 가장 큰 값
4. p-Norm
- L1 과 L2 를 일반화 한 형태. p 가 1 이상일 때 노름의 성질을 만족
- p=1 이면 L1, p=2 이면 L2, p 가 무한대이면 무한대 노름
(*출처 : 구글 제미나이)