最小二乘法的基本原则

普通最小二乘法（Ordinary Least Square，简称OLS），是应用最多的参数估计方法，也是从最小二乘原理出发的其他估计方法的基础。

在已经获得样本观测值 （i=1,2,…,n）的情况下（见图221中的散点），假如模型（221）的参数估计量已经求得到，为 和 ，并且是最合理的参数估计量，那么直线方程（见图221中的直线）

i=1,2,…,n (222)

应该能够最好地拟合样本数据。其中 为被解释变量的估计值，它是由参数估计量和解释变量的观测值计算得到的。那么，被解释变量的估计值与观测值应该在总体上最为接近，判断的标准是二者之差的平方和最小。

(223)

为什么用平方和？因为二者之差可正可负，简单求和可能将很大的误差抵消掉，只有平方和才能反映二者在总体上的接近程度。这就是最小二乘原则。那么，就可以从最小二乘原则和样本观测值出发，求得参数估计量。

由于

是 、 的二次函数并且非负，所以其极小值总是存在的。根据罗彼塔法则，当Q对 、 的一阶偏导数为0时，Q达到最小。即

(224)

容易推得特征方程：

解得：

（225）

所以有： （226）

于是得到了符合最小二乘原则的参数估计量。

为减少计算工作量，许多教科书介绍了采用样本值的离差形式的参数估计量的计算公式。由于现在计量经济学计算机软件被普遍采用，计算工作量已经不是什么问题。但离差形式的计算公式在其他方面也有应用，故在此写出有关公式，不作详细说明。记

（226）的参数估计量可以写成

(227)

至此，完成了模型估计的第一项任务。下面进行模型估计的第二项任务，即求随机误差项方差的估计量。记 为第i个样本观测点的残差，即被解释变量的估计值与观测值之差。则随机误差项方差的估计量为

(228)

在关于 的无偏性的证明中，将给出（228）的推导过程，有兴趣的读者可以参考有关资料。

在结束普通最小二乘估计的时候，需要交代一个重要的概念，即“估计量”和“估计值”的区别。由（226）给出的参数估计结果是由一个具体样本资料计算出来的，它是一个“估计值”，或者“点估计”，是参数估计量 和 的一个具体数值；但从另一个角度，仅仅把（226）看成 和 的一个表达式，那么，则是 的函数，而 是随机变量，所以 和 也是随机变量，在这个角度上，称之为“估计量”。在本章后续内容中，有时把 和 作为随机变量，有时又把 和 作为确定的数值，道理就在于此。

最小二乘法原理：找出一条直线使得所有图上面的点纵坐标的差值的平方和最小，其实也是方差最小。

使用方法：就是先求出x和y的平均数，然后直接套公式就好了。

最小二乘法是一种数学优化技术，它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合，其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。

计量经济学中的普通最小二乘法（OLS）的4个基本假设条件分别为：

1、解释变量是确定变量，不是随机变量。

2、随机误差项具有零均值、同方差何不序列相关性。

3、随机误差项与解释变量之间不相关。

4、随机误差项服从零均值、同方差、零协方差的正态分布。

一、原理

工具变量法对于恰好识别的结构方程是有效的。但对过度识别方程虽然能够给出过度识别结构方程的参数估计，但这种方法不是有效的。其原因在于选择工具变量的任意性和失去了未被选用的前定变量所提供的信息。那么如何解决在模型中选取前定变量来构造内生说明变量的工具变量呢

二、特性

在实际应用二阶段最小二乘法时，第一阶段对约简型方程应用OLS法只需求出我们所需要的，并不需要求出相应的εit的值。第二阶段只需用代替所估计方程右边的yit即可应用OLS法，只不过这里的εit已不是原来uit罢了。综上所述，二阶段最小二乘法第一阶段的任务是产生一个工具变量。第二阶段的任务是通过一种特殊形式的工具变量法得出结构参数的一致估计量。

三、实现

一个很自然的想法是，如果模型中每个内生说明变量的工具变量都在前定变量中选取，那么工具变量的最普遍的形式便是模型中所有前定变量的线性组合，也就是我们可以利用间接最小二乘法将约简型方程估计式作为工具变量。这就解决了选择工具变量的唯一性和合理性的问题。所谓合理就是指工具变量与它所代表的内生说明变量相关性最强。

四、应用

在EViews软件中，二阶段最小二乘法，选择工具变量可以直接应用TSLS来实现。

最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。

读音：[ zuì xiǎo èr chéng fǎ ]

历史：

1801年，意大利天文学家朱赛普·皮亚齐发现了第一颗小行星谷神星。经过40天的跟踪观测后，由于谷神星运行至太阳背后，使得皮亚齐失去了谷神星的位置。随后全世界的科学家利用皮亚齐的观测数据开始寻找谷神星，但是根据大多数人计算的结果来寻找谷神星都没有结果。时年24岁的高斯也计算了谷神星的轨道。奥地利天文学家海因里希·奥尔伯斯根据高斯计算出来的轨道重新发现了谷神星。

高斯使用的最小二乘法的方法发表于1809年他的著作《天体运动论》中。

法国科学家勒让德于1806年独立发明“最小二乘法”，但因不为世人所知而默默无闻。

勒让德曾与高斯为谁最早创立最小二乘法原理发生争执。

1829年，高斯提供了最小二乘法的优化效果强于其他方法的证明，因此被称为高斯-马尔可夫定理。

适用领域：代数，数学学科。

方法：以最简单的一元线性模型来解释最小二乘法。什么是一元线性模型呢？监督学习中，如果预测的变量是离散的，我们称其为分类（如决策树，支持向量机等），如果预测的变量是连续的，我们称其为回归。回归分析中，如果只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归分析称为一元线性回归分析。如果回归分析中包括两个或两个以上的自变量，且因变量和自变量之间是线性关系，则称为多元线性回归分析。对于二维空间线性是一条直线；对于三维空间线性是一个平面，对于多维空间线性是一个超平面。

最小二乘法是一种数学优化技术，它通过最小化误差的平方和找到一组数据的最佳函数匹配。

最小二乘法是用最简的方法求得一些绝对不可知的真值，而令误差平方之和为最小。

最小二乘法通常用于曲线拟合。很多其他的优化问题也可通过最小化能量或最大化熵用最小二乘形式表达。

比如从最简单的一次函数y=kx+b讲起

已知坐标轴上有些点(11,20),(21,32),(3,40),(4,6),(51,60),求经过这些点的图象的一次函数关系式

当然这条直线不可能经过每一个点,我们只要做到5个点到这条直线的距离的平方和最小即可,这这就需要用到最小二乘法的思想然后就用线性拟合来求讲起来一大堆。

最小平方法

最小平方法（又称最小二乘法）是一种数学优化技术，它通过最小化误差的平方和找到一组数据的最佳函数匹配。

最小平方法是用最简的方法求得一些绝对不可知的真值，而令误差平方之和为最小。

最小平方法通常用於曲缐拟合。很多其他的优化问题也可通过最小化能量或最大化熵用最小二乘形式表达。

1801义大利天文学家朱赛普·皮亚齐发现了第一颗小行星谷神星，在40天的跟踪观测后，谷神星运行至太阳背后。皮亚齐失去了谷神星的位置。随后全世界的科学家通过皮亚齐的观测数据开始了寻找谷神星的行动。但是大多数的计算都没有结果，只有当时年仅24岁的高斯成功计算出了谷神星的轨道，奥地利天文学家海因里希·奥尔伯斯在高斯计算出的轨道上发现了重新发现了谷神星，从此高斯闻名世界。他的这个最小二乘的方法发表在1809年的著作《天体运动论》中。法国科学家勒让德也於1806年独立发明最小平方法。

1829年，高斯提供了这个方法较其它方法为优的证明：最小平方法在很大方面上优化效果犟於其它方法，被称为高斯-莫卡夫定理。

最小二乘法：是一种数学优化技术，它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。

最小二乘法原理：是以不同精度多次观测一个或多个未知量，为了求定各未知量的最可靠值，各观测量必须加改正数，使其各改正数的平方乘以观测值的权数的总和为最小。

以上就是关于最小二乘法的基本原则全部的内容，包括:最小二乘法的基本原则、最小二乘法的原理是什么怎么使用、最小二乘法的基本假设条件是什么等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！