
研究者们一直在探寻最优解的路径。无论是确定大型航空枢纽的最佳位置,还是在投资组合中最大化收益的同时最小化风险,或是开发能够区分交通灯和停车标志的自动驾驶汽车,这些问题都可以转化为寻找函数的最小值。
这些函数往往过于复杂,无法直接评估其最小值。研究者们不得不采用近似方法来寻求最佳解。而在这其中,最有效的方法之一就是源自艾萨克牛顿300多年前提出的牛顿法。
牛顿法是一种强大的优化算法,即使在面对极其复杂的函数时,也能通过获取函数的关键信息来定位最小值。这个函数的关键信息包括一阶导数(斜率)和二阶导数(斜率的变化率)。牛顿法通过构建一个特殊的二次方程(泰勒近似)来逼近原始函数的最小值。
最近,三位杰出的研究者Amir Ali Ahmadi、Abraar Chaudhry和Jeffrey Zhang将牛顿法扩展到了前所未有的函数类别,使其能够高效运行。他们通过引入高阶导数,扩展了牛顿法的应用范围,使其适用于更广泛的函数类型。他们的研究成果不仅将牛顿法的应用领域扩展到了金融、计算机视觉等领域,还为优化理论的发展提供了新的视角。
牛顿法的每次迭代都需要进行大量的计算,因此在一些应用中,如机器学习模型的训练,梯度下降法更受欢迎。Ahmadi等人通过改进牛顿法,提高了其收敛速度,使得其可以在更少的迭代次数内找到函数的真实最小值。他们的创新之处在于通过对泰勒近似进行足够的调整,使其同时具备凸性和平方和特性,从而提高了算法的收敛速度。
