最小二乘估计法的估计准则:

1. 最小二乘估计法的估计准则:

　　有:　　= (y — ( ()T( y — ( ()　　(1(N) ( N(1)　　J = yTy + (T (T ( ( -yT ( ( - (T (T y　　= yTy + (T (T ( ( - 2 (T (T y 式(2 -1- 4)　　假设:((T ()(n+1)(n+1) 满秩,由　　利用线性代数的以下两个矩阵对向量求偏导数的公式:　　和 　　有: 和 　　所以:　　解出参数估计向量: ( Ls =((T ()-1 (T y 式(2 -1- 5)　　令:P = ((T ()-1 则参数估计向量 ( Ls = P (T y　　参数估计向量 ( Ls 被视为以下"正则方程"的解:　　((T ()( = (T y 式(2 -1- 6)　　注:为了便于区别, 我们用红体字符表示估计量或计算值,而用黑体表示为参数真值或实际测量值.　　三,关于参数最小二乘估计 Ls 性质的讨论　　以上求解参数最小二乘估计 ( Ls 时并为对{ (k }的统计特性做任何规定,这是最小二乘估计的优点.当{ (k }为平稳零均值白噪声时,则 ( Ls 有如下良好的估计性质:　　参数最小二乘估计 ( Ls 是 y 的 线性估计　　( Ls = P (T y 是 y 的线性表出;　　b) 参数最小二乘估计 ( Ls 是无偏估计,即 E ( Ls= ( (参数真值)　　[ 证明 ]:E ( Ls= E[ P (T y ]= P (T E( y ) = P (T E ( (( + ( ) =　　P (T ( ( + E( ( ) = ( + 0 = (　　最小二乘估计 ( Ls 的估计误差协方差阵是 (2P (n+1)(n+1)　　即:E [ ( ( Ls- ( ) ( ( Ls- ( )T ] = (2P　　[ 证明 ]:E [ ( ( Ls - ( ) ( ( Ls - ( )T ] = E [ P (T ( y - 　　( () ( y- ( ()T (P ] = E [ P (T ( (T (P ] = P (T E ( ( (T) (P = 　　P (T (2 IN(N (P = (2P　　若{ (k }为正态分布零均值白噪声时,则 ( Ls 是线性无偏最小方差估计(证明从略).如若{ (k }是有色噪声,则 ( Ls 不具有上述性质,即为有偏估计.　　四,最小二乘估计 ( Ls 的的几何意义和计算问题　　1.最小二乘估计的几何意义　　最小二乘估计的模型输出值为 yk = ( kT ( Ls k = 1,2,…N　　输出实际测量值与模型输出值之差叫残差: (k = yk – yk　　模型输出向量为 y = ( ( Ls ,而残差向量为:　　( = y – y = y – ( ( Ls　　(T ( k = (T y – (T (((T ()-1 (T y = (T y – (T y = 0　　即残差向量 ( 与由测量数据矩阵 ( 的各个向量:( 1, ( 2 ,…, ( N 张成的超平面(估计空间)正交,而最小二乘模型输出向量 y 为实际输出向量 y 在估计空间上的正交投影,这就是最小二乘估计的几何意义.　　---------------------------------------------　　最小二乘法是一种数学优化技术，它通过最小化误差的平方和找到一组数据的最佳函数匹配。　　最小二乘法是用最简的方法求得一些绝对不可知的真值，而令误差平方之和为最小。　　最小二乘法通常用于曲线拟合。很多其他的优化问题也可通过最小化能量或最大化熵用最小二乘形式表达。　　比如从最简单的一次函数y=kx+b讲起　　已知坐标轴上有些点(1.1,2.0),(2.1,3.2),(3,4.0),(4,6),(5.1,6.0),求经过这些点的图象的一次函数关系式.　　当然这条直线不可能经过每一个点,我们只要做到5个点到这条直线的距离的平方和最小即可,这就需要用到最小二乘法的思想.然后就用线性拟合来求.

2. 什么是最小二乘估计

最小二乘估计法，又称最小平方法，是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘估计法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。
最小二乘估计法是对过度确定系统，即其中存在比未知数更多的方程组，以回归分析求得近似解的标准方法。在这整个解决方案中，最小二乘法演算为每一方程式的结果中，将残差平方和的总和最小化。
最重要的应用是在曲线拟合上。最小平方所涵义的最佳拟合，即残差（残差为：观测值与模型提供的拟合值之间的差距）平方总和的最小化。当问题在自变量有重大不确定性时，那么使用简易回归和最小二乘法会发生问题；在这种情况下，须另外考虑变量-误差-拟合模型所需的方法，而不是最小二乘法。
最小平方问题分为两种：线性或普通的最小二乘法，和非线性的最小二乘法，取决于在所有未知数中的残差是否为线性。线性的最小平方问题发生在统计回归分析中；它有一个封闭形式的解决方案。非线性的问题通常经由迭代细致化来解决；在每次迭代中，系统由线性近似，因此在这两种情况下核心演算是相同的。
最小二乘法所得出的多项式，即以拟合曲线的函数来描述自变量与预计应变量的变异数关系。
当观测值来自指数族且满足轻度条件时，最小平方估计和最大似然估计是相同的。最小二乘法也能从动差法得出。
回归分析的最初目的是估计模型的参数以便达到对数据的最佳拟合。在决定一个最佳拟合的不同标准之中，最小二乘估计法是非常优越的。

3. 线性最小二乘估计的估计准则

[512-01]使 为最小的参数估计，称为模型的线性最小二乘估计，用符号LS表示。可以得出LS=()式中矩阵=[,,…,]；向量=[,，…,]。LS是数据的线性函数，因此称为线性最小二乘估计。它的突出优点是：对于任何一组数据，只要LS存在，不要求了解误差序列{}的统计特性，便能按照求出LS；算法很简单。LS存在的条件是矩阵()满秩,这要求{}为阶持续激励输入。当误差序列{}是零均值的白噪声,并对输入、输出功率加以适当的限制时，LS是渐近无偏的强一致性估计,即当N →∞时,[512-02]。但是对于有限的数据,上述结论不能成立,而且通常误差{}也不是白噪声,故一般情况下LS是有偏估计，这是它的缺点。为了克服这个缺点，可以采用其他改进的估计算法，例如广义最小二乘估计、辅助变量估计和极大似然估计等。上述单输入单输出系统的线性最小二乘估计算法还可推广到多输入多输出系统，并且有相应的递推估计算法。

4. 简述最小二乘估计原理。

5. 最小二乘法公式的案例分析

使用年数1 2 3 4 5 6 7 8 9 10平均价格2651 1943 1494 1087 765 538 484 290 226 204(1) 利用“ListPlot”函数绘出数据 的散点图, 注意观察有何特征?(2) 令 , 绘出数据 的散点图, 注意观察有何特征?(3) 利用“Line”函数, 将散点连接起来, 说明有何特征?(4) 利用最小二乘法, 求 与 之间的关系;(5) 求 与 之间的关系;(6) 在同一张图中显示散点图 及 关于 的图形.思考与练习1. 假设一组数据 : , , …, 变量之间近似成线性关系, 试利用集合的有关运算, 编写一简单程序: 对于任意给定的数据集合 , 通过求解极值原理所包含的方程组, 不需要给出 、 计算的表达式, 立即得到 、 的值, 并就本课题 I /(3)进行实验.注: 利用Transpose函数可以得到数据A的第一个分量的集合, 命令格式为:先求A的转置, 然后取第一行元素, 即为数据A的第一个分量集合, 例如(A即为矩阵)= (数据A的第一个分量集合)= (数据A的第二个分量集合)B-C表示集合B与C对应元素相减所得的集合, 如 = .2. 最小二乘法在数学上称为曲线拟合, 请使用拟合函数“Fit”重新计算 与 的值, 并与先前的结果作一比较.

6. 最小二乘估计是什么

一,什么是最小二乘估计least-square estimation 
例: y = ax + ( 
其中:y,x 可测;( — 不可测的干扰项;
a —未知参数.通过 N 次实验,得到测量数据 yk 和
xk k = 1,2,3 …,确定未知参数 a 称"参数估计". 使准则 J 为最小 :
令:( J ( ( a = 0 , 导出 a = 
称为"最小二乘估计",即残差平方总和为最小的估计,Gauss于 1792晏岢?
二,多元线性回归
线性模型 y = a0+ a1x1+(+ anx n + ( 式(2 - 1- 1)
引入参数向量: ( = [ a0,a1, (a n ]T (n+1)(1
进行 N 次试验,得出N 个方程:
yk = (kT ( + (k ; k=1,2…,N 式(2 -1- 2)
其中:(k = [ 1,x1,x2,(,x N ] T (n+1) (1
方程组可用矩阵表示为
y = ( ( + ( 式(2 -1- 3)
其中:y = [ y1,y2, ...,y N ] T (N (1)
( = [ (1, (2, ...,( N ] T (N 1)
N (n+1)
估计准则:
有:
= (y — ( ()T( y — ( ()
(1(N) ( N(1)
J = yTy + (T (T ( ( -yT ( ( - (T (T y
= yTy + (T (T ( ( - 2 (T (T y 式(2 -1- 4)
假设:((T ()(n+1)(n+1) 满秩,由
利用线性代数的以下两个矩阵对向量求偏导数的公式:
和 
有: 和 
所以:
解出参数估计向量: ( Ls =((T ()-1 (T y 式(2 -1- 5)
令:P = ((T ()-1 则参数估计向量 ( Ls = P (T y
参数估计向量 ( Ls 被视为以下"正则方程"的解:
((T ()( = (T y 式(2 -1- 6)
注:为了便于区别, 我们用红体字符表示估计量或计算值,而用黑体表示为参数真值或实际测量值.
三,关于参数最小二乘估计 Ls 性质的讨论
以上求解参数最小二乘估计 ( Ls 时并为对{ (k }的统计特性做任何规定,这是最小二乘估计的优点.当{ (k }为平稳零均值白噪声时,则 ( Ls 有如下良好的估计性质:
参数最小二乘估计 ( Ls 是 y 的 线性估计
( Ls = P (T y 是 y 的线性表出;
b) 参数最小二乘估计 ( Ls 是无偏估计,即 E ( Ls= ( (参数真值)
[ 证明 ]:E ( Ls= E[ P (T y ]= P (T E( y ) = P (T E ( (( + ( ) =
P (T ( ( + E( ( ) = ( + 0 = (
最小二乘估计 ( Ls 的估计误差协方差阵是 (2P (n+1)(n+1)
即:E [ ( ( Ls- ( ) ( ( Ls- ( )T ] = (2P
[ 证明 ]:E [ ( ( Ls - ( ) ( ( Ls - ( )T ] = E [ P (T ( y - 
( () ( y- ( ()T (P ] = E [ P (T ( (T (P ] = P (T E ( ( (T) (P = 
P (T (2 IN(N (P = (2P
若{ (k }为正态分布零均值白噪声时,则 ( Ls 是线性无偏最小方差估计(证明从略).如若{ (k }是有色噪声,则 ( Ls 不具有上述性质,即为有偏估计.
四,最小二乘估计 ( Ls 的的几何意义和计算问题
1.最小二乘估计的几何意义
最小二乘估计的模型输出值为 yk = ( kT ( Ls k = 1,2,…N
输出实际测量值与模型输出值之差叫残差: (k = yk – yk
模型输出向量为 y = ( ( Ls ,而残差向量为:
( = y – y = y – ( ( Ls
(T ( k = (T y – (T (((T ()-1 (T y = (T y – (T y = 0
即残差向量 ( 与由测量数据矩阵 ( 的各个向量:( 1, ( 2 ,…, ( N 张成的超平面(估计空间)正交,而最小二乘模型输出向量 y 为实际输出向量 y 在估计空间上的正交投影,这就是最小二乘估计的几何意义.
---------------------------------------------
最小二乘法是一种数学优化技术，它通过最小化误差的平方和找到一组数据的最佳函数匹配。
最小二乘法是用最简的方法求得一些绝对不可知的真值，而令误差平方之和为最小。
最小二乘法通常用于曲线拟合。很多其他的优化问题也可通过最小化能量或最大化熵用最小二乘形式表达。
比如从最简单的一次函数y=kx+b讲起
已知坐标轴上有些点(1.1,2.0),(2.1,3.2),(3,4.0),(4,6),(5.1,6.0),求经过这些点的图象的一次函数关系式.
当然这条直线不可能经过每一个点,我们只要做到5个点到这条直线的距离的平方和最小即可,这就需要用到最小二乘法的思想.然后就用线性拟合来求.

7. 最小二乘估计的算法

以线性回归为例，说明最小二乘法的算法：
令线性回归方程为：        y=ax+b                           (1)           
a,b为回归系数，要用观测数据(x1,x2,...,xn和y1,y2,...,yn)确定之。
为此构造   Q(a,b)=Σ(i=1->n)[yi-(axi+b)]^2              (2)    
使偏差的平方和取极小，就是最小二乘法的核心思想：
为使Q(a，b)取最小，a，b应满足：
                 ∂Q/∂a=   2Σ(i=1->n)[yi-(axi+b)](-xi)= 0   (3)
                 ∂Q/∂b=   2Σ(i=1->n)[yi-(axi+b)]      = 0   (4)
由(3)、(4)解出a ，b就确定了回归a和b。整理(3),(4)得到：
                 a Σ (Xi)² + b Σ Xi = Σ Xi Yi                      (5)
                 a Σ Xi     + b n     = Σ Yi                          (6)
由(5)、(6)是关于a，b的二元线性方程组，解出a，b代入(1)就完成了一元线性回归。
这就是最小二乘法算法的基本思路

8. 最小二乘估计法的计量经济学

研究的直接目的是确定总体回归函数Yi=B1+B2Xi+ui,然而能够得到的只是来自总体的若干样本的观测值，要用样本信息建立的样本回归函数尽可能“接近”地去估计总体回归函数。为此，可以以从不同的角度去确定建立样本回归函数的准则，也就有了估计回归模型参数的多种方法。例如，用生产该样本概率最大的原则去确定样本回归函数，成为极大似然发展；用估计的剩余平方和的最小的原则确定样本回归函数，称为最小二乘法。