什么是哈森矩阵


哈森矩阵(Hessian Matrix),又译作海森矩阵、海瑟矩阵、海塞矩阵等,是一个多元函数的二阶偏导数构成的方阵,即

描述了函数的局部曲率。

哈森矩阵最早于19世纪由德国数学家Ludwig Otto Hesse提出,并以其名字命名。常用于牛顿法解决优化问题。

Hessian矩阵是多维变量函数的二阶偏导数矩阵,H(i,j)=d^2(f)/(d(xi)d(xj)) 它是对称的。如果是正定的的可用导数=0的变量组确定它的极小值,负定的确定它的极大值,否则无法确定极值。可看一些国外的数学分析方面的书。

设 A 是n阶方阵,如果存在数m和非零n维列向量 x,使得 Ax=mx 成立,则称 m 是A的一个特征值(characteristic value)或本征值(eigenvalue)。非零n维列向量x称为矩阵A的属于(对应于)特征值m的特征向量或本征向量,简称A的特征向量或A的本征向量。

Hessian矩阵的特征值就是形容其在该点附近特征向量方向的凹凸性,特征值越大,凸性越强。你可以把函数想想成一个小山坡,陡的那面是特征值大的方向,平缓的是特征值小的方向。而凸性和优化方法的收敛速度有关,比如梯度下降。如果正定Hessian矩阵的特征值都差不多,那么梯度下降的收敛速度越快,反之如果其特征值相差很大,那么收敛速度越慢。


转载请注明原文地址:https://juke.outofmemory.cn/read/2960047.html

最新回复(0)