2024. 09. 27 (금)
선형대수를 준비하기 앞선 프롤로그 부분에 미분 내용에 대해 간단히 정리 해봤습니다.
미분 (derivative)
사상(mapping): 어떤 그룹 안의 원소와 다른 그룹의 원소를 서로 연결해 주는 관계를 의미.
일대일 사상 : X 원소 하나에 Y 원소 한 개가 대응 되는 사상
일대다 사상: X 원소 하나에 Y 원소 여러 개가 대응되는 사상
다대일 사상: X 원소 여러 개에 Y 원소 한 개가 대응되는 사상
다대다 사상: X 원소 여러 개에 Y 원소 여러 개가 대응되는 사상
함수(function): X의 한 개의 값에 대응되는 Y의 값이 오직 1개 뿐인 사상.
사상에 대하여 한 그룹에서 다른 그룹으로 ‘방향성’이 주어지면 이를 X -> Y 라고 표현
이를 X에서 Y로 가는 사상이라고 하며, X의 범위를 ‘정의역(domain)’이라 하고 Y의 범위를 ‘변역(range)’이라 함.
다변량함수(Multivariate Function): 정의역이 2개 이상인 함수를 말함. 2개 이상의 변수에 의해 정의되는 함수.
함수의 극한(Limit of Function) -> 너무 잘 아는 내용이니 넘어가자
해시안행렬(Hessian Matrix): 함수 f(x)의 미분함수를 f’(x)라고 할 때, 이 미분함수를 x에 대해 다시한번 미분한 함수를 2차 미분함수라고 함.
(고등학교때 이계도함수라고 배운것같다. 미분 두번하는 느낌)
합성함수(Composite Function)
함수 f가 f: X -> Y인 함수이고, g는 g: Y -> Z인 함수라 하면 합성함수 h는 h:X- > Z로서 g{f(x)} 라고 정의되며 h(x) = g * f(x) 라고 표현한다.
이와 같은 함수 h를 합성함수라 부름.
연쇄법칙(Chained Rule): 합성함수에 대한 편미분함수를 구하고자 할 때, 아래와 같은 법칙을 사용하는데,
이를 연쇄법칙(chained Rule)이라고 한다.
다변량함수의 연쇄법칙
최적점과 안장점 (Optimal and Saddle):
단변량함수 혹은 다변량함수에서 함수의 최적점(최대 혹은 최소)을 나타내는 극값 -> 최적점의 정의를 의미
안장점: 다변량함수에서 극대값과 극소값은 아니지만, 미분값이 0이면서도 극값을 이루지 않는 점.
즉 두 변수 방향중에 한 변수는 해당 점이 극대값을 이루지만, 다른 변수에서는 극소값을 이루는 점 일때 그 점.
평균값정리(Mean Value Theorem): 어느 구간 상에서 정의된 부드러운(미분가능한)함수에 대하여,
함수의 ‘평균(average)기울기’는 구간 상의 적어도 한개의 점에 대해 함수의 순간기울기(미분값)와 일치한다.
로피탈의경우 딥러닝 분야에서 잘 안쓰이는듯 하니 패스.
테일러급수(Taylor’s Series): 미분 가능한 모든 함수가 다항삭의 무한개 합으로 표현가능하다는 이론.
이는 다항식의 유한개 합에 의해 그 함수가 근사될수 있음을 말한다.
( 쓰는 이유는.. 복잡한 함수를 더 간단한 형태로 만들기 위해서?.. 쓰다보면 끝도 없어질 것 같은디)
이 미분 개념들이 컴퓨터 비전에서 쓰이는지? 는 잘 모르겠다.
딥러닝을 찍먹 해본 사람으로서 그래디언트 계산 할때 썼던거 같은데 ..
차차 딥러닝을 복습하게 되면 그때 다시 알아보자.ㅎㅎ
마지막 사진은 GPT로 부탁한 미분적분 관련 랜덤이미지로 포스팅을 마무리 하겠습니다~!
잘못된 개념이나 문제가 있을시 말씀해주시면 감사하겠습니다.
'선형대수' 카테고리의 다른 글
| 행렬의 기본 개념 (4) | 2024.10.10 |
|---|---|
| 스칼라, 벡터, 행렬 (1) | 2024.10.10 |