- 从零开始:机器学习的数学原理和算法实践
- 大威编著
- 807字
- 2021-07-09 10:33:05
1.2 理解多元函数偏导
为了方便读者理解,前文主要从一元函数角度来讲解导数相关知识。但现实中更为常见的是多元函数的求导问题,也就是多元函数的偏导数和梯度求解。
1.2.1 多元函数偏导数是什么
最简单的函数是一元函数,如,但现实中更多的是多元函数,如等。其实,多元函数在生活中随处可见,例如矩形的面积(其中,x、y分别是矩形的长和宽)就是二元函数,梯形的面积(其中,x、y分别是梯形上、下底长,z为梯形的高)就是三元函数。从映射的观点来看,一元函数是实数集到实数集的映射,多元函数则是有序数组集合到实数集合的映射。我们对一元函数求导是非常熟悉的,那么对多元函数的求导该如何处理呢?
典型的一元函数,对这个典型一元函数求导有。实际上,式子中的a、b、c也是可以变化的,所以求导过程也是求解关于x的偏导数。由此可知,多元函数偏导数的求解方法就是“各个击破”,对一个变量求导时,将其他变量暂时看成固定的参数。
对于形如这样的一元函数,它的导数就是自变量x的微小变化Δx与其所引起函数值微小变化Δf的比值,一般表示为。那么对于一个含有x、y两个变量的函数,保持其他变量固定而关注一个变量的微小变化带来的函数值变化情况,这种变化的比值就是偏导数,如或。
1.2.2 搞清楚梯度是什么
梯度和导数是密切相关的一对概念,实际上梯度是导数对多元函数的推广,它是多元函数对各个自变量求偏导形成的向量。
中学时,我们接触“微分”这个概念是从“函数图像某点切线斜率”或“函数的变化率”这个认知开始的。典型的函数微分如、、等。
梯度实际上就是多变量微分的一般化,例如。对该函数求解微分,也就得到了梯度。梯度的本意是一个向量,表示某一函数在该点处的方向导数沿着该方向取得最大值,即函数在该点处沿着该方向(此梯度的方向)变化最快,变化率最大(为该梯度的模)。一般来说,梯度可以定义为一个函数的全部偏导数构成的向量。梯度在机器学习中有着重要的应用,例如梯度下降算法,这将在后文详细论述。