一文搞懂最小二乘算法(MATLAB实例讲解)

最小二乘法是一种数学统计方法，从拟合的角度理解，它可以使拟合的误差（即实际值与拟合值之差）的平方和达到最小。这种方法在回归分析、曲线拟合、求解超定方程组等领域有广泛应用。

线性最小二乘问题的数学形式

对于线性回归问题，我们通常有一个形式为的模型，其中：

y 是观测到的因变量（响应）向量。

X是设计矩阵，包含观测到的自变量（解释变量）的值。
是要估计的参数向量。
是误差向量。

最小二乘估计的目标是找到使残差平方和最小的 值，即：

这可以通过求解正规方程来得到，从而得到最小二乘估计。

最简单的MATLAB代码如下:

clc;close all;clear all;warning off;%清除变量rand('seed', 100);randn('seed', 100);format long g;% 生成模拟数据x = (0:0.1:10)'; % 自变量beta = [2; -1]; % 真实参数值y = [ones(size(x,1),1),x] * beta + randn(size(x,1),1) * 0.5; % 因变量，加入一些噪声% 使用最小二乘法进行拟合X = [ones(size(x)), x]; % 设计矩阵，包括截距项和x项beta_hat = (X' * X) \ (X' * y); % 求解正规方程得到参数估计值% 绘制实际值和拟合值图像figure;plot(x, y, 'ro', 'MarkerFaceColor', 'r'); % 绘制实际值点图，红色圆圈表示hold on;y_fit = X * beta_hat; % 计算拟合值plot(x, y_fit, 'b-'); % 绘制拟合线，蓝色实线表示xlabel('x');ylabel('y');legend('实际值', '拟合值');title('最小二乘拟合');grid on;hold off;

程序结果如下: