从导数的物理意义理解梯度下降
机器学习中常会用随机梯度下降法求解一个目标函数 L(Θ) 的优化问题,并且常是最小化的一个优化问题:
min L(Θ)
我们所追求的是目标函数能够快速收敛或到达一个极小值点。而随机梯度法操作起来也很简单,不过是求偏导数而已,但是为什么是这样呢?为什么算个偏导数就能说下降得最快?初期并不很明了,后来看过一些数学相关的知识才稍微明白了一点,一下内容算是一个理解梯度的渐进过程。如果不当之处,欢迎指正。
以下关于梯度下降法,导数,偏导数的内容可在维基百科中找到,关于方向导数与梯度的内容可在高等数学书中找到。
梯度下降法
梯度下降法(Gradient descent)是一个最优化算法,通常也称为最速下降法。
梯度下降法,基于这样的观察:如果实值函数F(x)在点a处可微且有定义,那么函数F(x)在a点沿着梯度相反的方向 ??F(a) 下降最快。
因而,如果b=a?γ?F(a)
对于γ>0为一个够小数值时成立,那么F(a)≥F(b)。
考虑到这一点,我们可以从函数F的局部极小值的初始估计 x0 出发,并考虑如下序列
x0, x1, x2, …
使得xn+1=xn?γn?F(xn), n≥0。
因此可得到
F(x0)≥F(x1)≥F(x2)≥?,
如果顺利的话序列(xn)收敛到期望的极值。注意每次迭代步长γ可以改变。
下面的图片示例了这一过程,这里假设F定义在平面上,并且函数图像是一个碗形。蓝色的曲线是等高线(水平集),即函数F为常数的集合构成的曲线。红色的箭头指向该点梯度的反方向。(一点处的梯度方向与通过该点的等高线垂直)。沿着梯度下降方向,将最终到达碗底,即函数F值最小的点。
求解机器学习中的min问题,可以采用梯度下降法。
为何可能会有下面的缺点,可在梯度下降法的维基百科中看到更多内容。这里仅当一个搬运工而已,梯度下降法的缺点:
靠近极小值时速度减慢。
直线搜索可能会产生一些问题。
可能会’之字型’地下降。
导数
导数(Derivative)是微积分学中重要的基础概念。一个函数在某一点的导数描述了这个函数在这一点附近的变化率。导数的本质是通过极限的概念对函数进行局部的线性逼近。
当函数 f 的自变量在一点 x0 上产生一个增量 h 时,
函数输出值的增量与自变量增量h的比值在h趋于0时的极限如果存在,即为f在x0处的导数,记作f′(x0)、dfdx(x0)或dfdx∣∣x=x0.
几何意义上导数表示函数在这一点切线的斜率。
偏导数
在数学中,一个多变量的函数的偏导数是它关于其中一个变量的导数,而保持其他变量恒定(相对于全导数,在其中所有变量都允许变化)。
假设?是一个多元函数。例如:
z=f(x,y)=x2+xy+y2
f=x2+xy+y2的图像。我们希望求出函数在点(1, 1, 3)的对x的偏导数;对应的切线与xOz平面平行。
因为曲面上的每一点都有无穷多条切线,描述这种函数的导数相当困难。偏导数就是选择其中一条切线,并求出它的斜率。通常,最感兴趣的是垂直于y轴(平行于xOz平面)的切线,以及垂直于x轴(平行于yOz平面)的切线。
一种求出这些切线的好办法是把其他变量视为常数。例如,欲求出以上的函数在点(1, 1, 3)的与xOz平面平行的切线。上图中显示了函数f=x2+xy+y2的图像以及这个平面。下图中显示了函数在平面y = 1上是什么样的。我们把变量y视为常数,通过对方程求导,我们发现?在点(x, y, z)的。我们把它记为:
?z?x=2x+y,于是在点(1, 1, 3)的与xOz平面平行的切线的斜率是3。?f?x=3 在点(1, 1, 3),或称“f在(1, 1, 3)的关于x的偏导数是3”。
在几何意义上偏导数即为函数在坐标轴方向上的变化率。
方向导数
方向导数是分析学特别是多元微积分中的概念。一个标量场在某点沿着某个向量方向上的方向导数,描绘了该点附近标量场沿着该向量方向变动时的瞬时变化率。方向导数是偏导数的概念的推广。
方向导数定义式:
方向导数计算公式(在推导方向导数与梯度关系时用到):
几何意义上方向导数为函数在某点沿着其他特定方向上的变化率。
梯度
在一个数量场中,函数在给定点处沿不同的方向,其方向导数一般是不相同的。那么沿着哪一个方向其方向导数最大,其最大值为多少,为此引进一个很重要的概念–梯度。函数在点p0处沿哪一方向增加的速度最快?
方向导数与梯度的关系
函数在某一点处的方向导数在其梯度方向上达到最大值,此最大值即梯度的范数。
这就是说,沿梯度方向,函数值增加最快。同样可知,方向导数的最小值在梯度的相反方向取得,此最小值为最大值的相反数,从而沿梯度相反方向函数值的减少最快。详细内容:方向导数与梯度。
在机器学习中往往是最小化一个目标函数L,理解了上面的内容,便很容易理解在SGD中常用的更新公式:
θ=θ?γ?L?θ
γ在机器学习中常被称为学习率(learning rate),也就是上面梯度下降法中的步长。
通过算出目标函数的梯度并在其反方向更新完参数θ,在此过程完成后也便是达到了函数值减少最快的效果,经过迭代以后目标函数即可很快地到达一个极小值。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在当今数字化时代,数据分析师的重要性与日俱增。但许多人在踏上这条职业道路时,往往充满疑惑: 如何成为一名数据分析师?成为 ...
2025-04-02最近我发现一个绝招,用DeepSeek AI处理Excel数据简直太爽了!处理速度嘎嘎快! 平常一整天的表格处理工作,现在只要三步就能搞 ...
2025-04-01你是否被统计学复杂的理论和晦涩的公式劝退过?别担心,“山有木兮:统计学极简入门(Python)” 将为你一一化解这些难题。课程 ...
2025-03-31在电商、零售、甚至内容付费业务中,你真的了解你的客户吗? 有些客户下了一两次单就消失了,有些人每个月都回购,有些人曾经是 ...
2025-03-31在数字化浪潮中,数据驱动决策已成为企业发展的核心竞争力,数据分析人才的需求持续飙升。世界经济论坛发布的《未来就业报告》, ...
2025-03-28你有没有遇到过这样的情况?流量进来了,转化率却不高,辛辛苦苦拉来的用户,最后大部分都悄无声息地离开了,这时候漏斗分析就非 ...
2025-03-27TensorFlow Datasets(TFDS)是一个用于下载、管理和预处理机器学习数据集的库。它提供了易于使用的API,允许用户从现有集合中 ...
2025-03-26"不谋全局者,不足谋一域。"在数据驱动的商业时代,战略级数据分析能力已成为职场核心竞争力。《CDA二级教材:商业策略数据分析 ...
2025-03-26当你在某宝刷到【猜你喜欢】时,当抖音精准推来你的梦中情猫时,当美团外卖弹窗刚好是你想吃的火锅店…… 恭喜你,你正在被用户 ...
2025-03-26当面试官问起随机森林时,他到底在考察什么? ""请解释随机森林的原理""——这是数据分析岗位面试中的经典问题。但你可能不知道 ...
2025-03-25在数字化浪潮席卷的当下,数据俨然成为企业的命脉,贯穿于业务运作的各个环节。从线上到线下,从平台的交易数据,到门店的运营 ...
2025-03-25在互联网和移动应用领域,DAU(日活跃用户数)是一个耳熟能详的指标。无论是产品经理、运营,还是数据分析师,DAU都是衡量产品 ...
2025-03-24ABtest做的好,产品优化效果差不了!可见ABtest在评估优化策略的效果方面地位还是很高的,那么如何在业务中应用ABtest? 结合企业 ...
2025-03-21在企业数据分析中,指标体系是至关重要的工具。不仅帮助企业统一数据标准、提升数据质量,还能为业务决策提供有力支持。本文将围 ...
2025-03-20解锁数据分析师高薪密码,CDA 脱产就业班助你逆袭! 在数字化浪潮中,数据驱动决策已成为企业发展的核心竞争力,数据分析人才的 ...
2025-03-19在 MySQL 数据库中,查询一张表但是不包含某个字段可以通过以下两种方法实现:使用 SELECT 子句以明确指定想要的字段,或者使 ...
2025-03-17在当今数字化时代,数据成为企业发展的关键驱动力,而用户画像作为数据分析的重要成果,改变了企业理解用户、开展业务的方式。无 ...
2025-03-172025年是智能体(AI Agent)的元年,大模型和智能体的发展比较迅猛。感觉年初的deepseek刚火没多久,这几天Manus又成为媒体头条 ...
2025-03-14以下的文章内容来源于柯家媛老师的专栏,如果您想阅读专栏《小白必备的数据思维课》,点击下方链接 https://edu.cda.cn/goods/sh ...
2025-03-13以下的文章内容来源于刘静老师的专栏,如果您想阅读专栏《10大业务分析模型突破业务瓶颈》,点击下方链接 https://edu.cda.cn/go ...
2025-03-12