线性回归
线性回归（Linear Regression）是一种利用自变量（特征）与因变量（目标）之间的线性关系进行建模、预测和因果分析的统计学与机器学习方法。
1. 数学表达与模型结构
对于单一特征的一元线性回归，模型方程可表示为：
\[y = \beta_0 + \beta_1 x + \varepsilon\]对于包含 $p$ 个特征的多元线性回归，模型扩展为特征的加权线性组合：
\[y = \beta_0 + \beta_1 x_1 + \beta_2 x_2 + \dots + \beta_p x_p + \varepsilon = \mathbf{x}^T \boldsymbol{\beta} + \varepsilon\]其中：
- $y$：响应变量（因变量/真实值）。
- $x_i$：解释变量（自变量/特征）。
- $\beta_0$：截距项（Intercept）。
- $\beta_i$：回归系数（Slope/Weights），衡量当特征 $x_i$ 变化一个单位时，目标 $y$ 的边际变化量。
- $\varepsilon$：随机误差项（残差/Noise），捕捉模型未解释的外部波动。
2. 参数估计：最小二乘法 (OLS)
线性回归的目标是寻找到一组最优系数 $\boldsymbol{\hat{\beta}}$，使得拟合出的超平面能够最好地匹配真实数据。
通用求解方法是普通最小二乘法（Ordinary Least Squares, OLS），其核心理念是最小化残差平方和（Residual Sum of Squares, RSS）：
\[\min_{\boldsymbol{\beta}} \text{RSS}(\boldsymbol{\beta}) = \sum_{i=1}^{n} (y_i - \hat{y}_i)^2 = \Vert{}\mathbf{y} - \mathbf{X}\boldsymbol{\beta}\Vert{}^2\]当矩阵 $\mathbf{X}^T \mathbf{X}$ 可逆时，可以通过解析解（正规方程组）直接求出参数的闭式解：
\[\boldsymbol{\hat{\beta}} = (\mathbf{X}^T \mathbf{X})^{-1} \mathbf{X}^T \mathbf{y}\]在大规模数据集或高维特征场景下，通常使用梯度下降法（Gradient Descent）替代正规方程进行数值求解。
3. 高斯-马尔可夫假定（Gauss-Markov Assumptions）
使得 OLS 参数估计成为最佳线性无偏估计量（BLUE）的前提假设包括：
- 线性性（Linearity）：自变量与因变量之间存在真实的线性函数关系。
- 随机抽样（Random Sampling）：样本数据独立同分布。
- 无严格多重共线性（No Perfect Multicollinearity）：特征之间不存在完全线性相关性（确保 $\mathbf{X}^T \mathbf{X}$ 可逆）。
- 零均值条件期望（Zero Conditional Mean）：误差项的期望值为零，$E(\varepsilon \vert{} \mathbf{X}) = 0$。
- 同方差性（Homoscedasticity）：误差项在所有特征取值下的方差均恒定，即 $\text{Var}(\varepsilon \vert{} \mathbf{X}) = \sigma^2$。
- 无自相关（No Autocorrelation）：不同样本点的误差项相互独立（在时间序列数据中尤为关键）。
4. 拟合评价指标
衡量线性回归模型拟合效果常用的三个指标：
| 指标名称 | 公式 | 物理/统计含义 |
|---|---|---|
| 决定系数（$R^2$） | $R^2 = 1 - \frac{\text{RSS}}{\text{TSS}}$ | 评估模型能解释数据总方差的比例（取值范围 $0 \sim 1$） |
| 均方误差（MSE） | $\text{MSE} = \frac{1}{n}\sum_{i=1}^{n} (y_i - \hat{y}_i)^2$ | 衡量模型预测值与真实值之间的平均平方偏离程度 |
| 调整后的 $R^2$ | $R^2_{\text{adj}} = 1 - \frac{(1 - R^2)(n - 1)}{n - p - 1}$ | 惩罚冗余特征，防止高维特征引入虚假提升 |
5. 局限与扩展
- 非线性捕捉能力不足：原始模型无法直接拟合复杂的曲线形态，需引入多项式特征（Polynomial Regression）或特征交叉。
- 对异常值敏感：平方损失函数对偏离较大的离群点十分敏感，容易拉偏拟合直线（可通过 Huber Loss 或 L1 损失的 Robust Regression 缓解）。
- 共线性与过拟合：当特征数过多或高度相关时，需要引入正则化惩罚项：
- L2 正则化（Ridge 岭回归）：缩小参数幅值，解决多重共线性。
- L1 正则化（Lasso 回归）：稀疏化参数，实现特征自动选择。