🍠Python简单线性回归算法实现及应用示例

Python | 简单线性回归 SLR | TensorFlow.js

Python线性回归算法实现

简单线性回归，是一种使用单个特征预测响应的方法。它是机器学习爱好者了解的最基本的机器学习模型之一。在线性回归中，我们假设两个变量，即因变量和自变量是线性相关的。因此，我们尝试找到一个线性函数，作为特征或自变量 (x) 的函数，尽可能准确地预测响应值 (y)。让我们考虑一个数据集，其中每个特征 x 都有一个响应 y 值：

$\begin{array}{|c|c|c|c|c|c|c|c|c|c|c|} \hline \mathbf{x} & 0 & 1 & 2 & 3 & 4 & 5 & 6 & 7 & 8 & 9 \\ \hline \mathbf{y} & 1 & 3 & 2 & 5 & 7 & 8 & 8 & 9 & 10 & 12 \\ \hline \end{array}$

为了一般性，我们定义：

x 作为特征向量，比如 $x=\left[x_{-} 1, x_{-} 2, \ldots, x_{-} n\right]$

y 作为响应向量，比如 $y=\left[y_{-} 1, y_{-} 2, \ldots, y_{-} n\right]$

对于 n 个观测值（在上面的示例中，n=10）。上述数据集的散点图如下所示：

现在，任务是在上面的散点图中找到一条最适合的线，以便我们可以预测任何新特征值的响应。（即数据集中不存在 x 的值）这条线称为回归线。回归线的方程表示为：

$h\left(x_i\right)=\beta_0+\beta_1 x_i$

$h\left(x_i\right)$ 表示第 i 个观测值的预测响应值。
$\beta_0$ 和 $\beta_1$ 是回归系数，分别表示回归线的 y 截距和斜率。

为了创建我们的模型，我们必须“学习”或估计回归系数 $\beta_0$ 和 $\beta_1$ 的值。一旦我们估计了这些系数，我们就可以使用该模型来预测响应！

在本文中，我们将使用最小二乘法原理。

$y_i=\beta_0+\beta_1 x_i+\varepsilon_i=h\left(x_i\right)+\varepsilon_i \Rightarrow \varepsilon_i=y_i-h\left(x_i\right)$

这里， $\varepsilon_i$ 是第 i 个观测值的残差。因此，我们的目标是最小化总残差。我们将平方误差或成本函数 J 定义为：

$J\left(\beta_0, \beta_1\right)=\frac{1}{2 n} \sum_{i=1}^n \varepsilon_i^2$

我们的任务是找到使 $J\left(\beta_0, \beta_1\right)$ 最小的 $\beta_0$ 和 $\beta_1$ 的值！不涉及数学细节，我们在这里展示结果：

$\begin{gathered} \beta_1=\frac{S S_{x y}}{S S_{x: x}} \\ \beta_0=\bar{y}-\beta_1 \bar{x} \end{gathered}$

其中 $S S_{x y}$ 是 y 和 x 的交叉偏差之和：

$S S_{x y}=\sum_{i=1}^n\left(x_i-\bar{x}\right)\left(y_i-\bar{y}\right)=\sum_{i=1}^n y_i x_i-n \bar{x} \bar{y}$

$S S_{x x}$ 是 x 的偏差平方和：

$S S_{x x}=\sum_{i=1}^n\left(x_i-\bar{x}\right)^2=\sum_{i=1}^n x_i^2-n(\bar{x})^2$

我们可以使用Python语言来学习线性回归模型的系数。为了绘制输入数据和最佳拟合线，我们将使用 Matplotlib 库。它是最常用的用于绘制图表的 Python 库之一。

import numpy as np
import matplotlib.pyplot as plt

def estimate_coef(x, y):
    # number of observations/points
    n = np.size(x)

    # mean of x and y vector
    m_x = np.mean(x)
    m_y = np.mean(y)

    # calculating cross-deviation and deviation about x
    SS_xy = np.sum(y*x) - n*m_y*m_x
    SS_xx = np.sum(x*x) - n*m_x*m_x

    # calculating regression coefficients
    b_1 = SS_xy / SS_xx
    b_0 = m_y - b_1*m_x

    return (b_0, b_1)

def plot_regression_line(x, y, b):
    # plotting the actual points as scatter plot
    plt.scatter(x, y, color = "m",
            marker = "o", s = 30)

    # predicted response vector
    y_pred = b[0] + b[1]*x

    # plotting the regression line
    plt.plot(x, y_pred, color = "g")

    # putting labels
    plt.xlabel('x')
    plt.ylabel('y')

    # function to show plot
    plt.show()

def main():
    # observations / data
    x = np.array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9])
    y = np.array([1, 3, 2, 5, 7, 8, 8, 9, 10, 12])

    # estimating coefficients
    b = estimate_coef(x, y)
    print("Estimated coefficients:\nb_0 = {} \
        \nb_1 = {}".format(b[0], b[1]))

    # plotting regression line
    plot_regression_line(x, y, b)

if __name__ == "__main__":
    main()

输出：

Estimated coefficients:
b_0 = -0.0586206896552
b_1 = 1.45747126437

多元线性回归

Python简单线性回归建立电视广播报纸销售额模型

Python简单线性回归分析职场经验和薪水关系

TensorFlow.js创建简单线性回归

🏈指点迷津 | Brief

PreviousPython和Pygame绘制自动驾驶和移动机器本地规划器算法 NextPython柯布-道格拉斯效用函数规划食品预算和拟合前沿生产函数评估农作物生产效率

Last updated 2 years ago

Was this helpful?