【机器学习】有监督学习算法之：支持向量机

支持向量机

• 1、引言
• 2、决策树
• • 2.1 定义
  • 2.2 原理
  • 2.3 实现方式
  • 2.4 算法公式
  • 2.5 代码示例
  • 3、���结

    1、引言

    小屌丝：鱼哥，泡澡啊。

    小鱼：不去

    小屌丝：… 此话当真？

    小鱼：此话不假

    小屌丝：到底去还是不去？

    小鱼：我昨天刚泡完澡，今天还去？

    小屌丝：… 你竟然自己去？

    小鱼：没有啊

    小屌丝：… 我不信，我不听，反正你昨天去泡澡没带我。

    小鱼：…那待会咱俩再去呗

    小屌丝： 这还差不多。嘿嘿~ ~

    小鱼：那等我一会

    小屌丝：干啥啊这又？

    小鱼：当然是在忙喽。

    小屌丝：…

    2、决策树

    2.1 定义

    支持向量机（Support Vector Machine，简称SVM）是一种分类算法，它试图找到一个超平面来分隔两个类别的数据点，使得两侧的间隔（margin）最大。

    当数据点在高维空间中不是线性可分时，SVM通过使用核函数（kernel function）将原始数据映射到更高维的特征空间，使得数据在新的空间中线性可分。

    2.2 原理

    SVM的基本原理涉及到高维空间中的数据点和一个决策边界（也称为超平面）。它的目标是找到一个超平面，使得不同类别的数据点距离它最远，这个距离称为“间隔”。

    工作原理如下：

    • 数据转换：首先，SVM将数据点映射到高维空间，这样它们可以更容易地被一个超平面分开。

    • 超平面选择：然后，SVM尝试找到一个超平面，使得不同类别的支持向量离它最远。这个超平面的方程可以表示为：，其中是超平面的法向量，是偏置。

    • 间隔最大化：SVM的目标是最大化支持向量到超平面的距离，这个距离称为“间隔”。间隔的计算公式是：。

    • 分类：最后，SVM使用这个超平面来进行分类。对于新的数据点，它会根据这个超平面的位置来决定它属于哪个类别。

      2.3 实现方式

      SVM的实现方式主要包括：

      • 线性可分SVM：当数据集线性可分时，可以直接使用线性SVM进行分类。

      • 线性SVM（软间隔）：当数据集近似线性可分时，引入松弛变量和惩罚参数，允许部分样本被错分。

      • 非线性SVM：当数据集非线性可分时，使用核函数将原始数据映射到更高维的特征空间，然后在新的空间中寻找最优超平面。

        2.4 算法公式

        SVM的公式可能看起来有点吓人，但我们可以用简单的例子来解释它们。

        • 数据点的映射：

          • 假设我们在二维空间中有数据点 ((x_1, y_1), (x_2, y_2), \ldots, (x_n, y_n))。
          • 我们可以将它们映射到三维空间，通过增加一个额外的维度 (z)，得到新的数据点 ((x_1, y_1, z_1), (x_2, y_2, z_2), \ldots, (x_n, y_n, z_n))。
          • 这个映射可以通过一个函数 (f) 来实现，例如 (z = f(x, y))。

          • 超平面选择：

            • 在三维空间中，我们的超平面方程可以表示为：[ w_1x + w_2y + w_3z + b = 0 ]。这里的(w_1, w_2, w_3) 是超平面的法向量的分量，(b) 是偏置项。这个超平面将数据点分隔成两个类别。

            • 间隔最大化：

              • 在SVM中，间隔是指数据点到超平面的最短距离。对于任意数据点 ((x, y, z)) 和超平面 (w_1x + w_2y + w_3z + b = 0)，其到超平面的距离 (d) 可以计算为：

                [ d = \frac{|w_1x + w_2y + w_3z + b|}{\sqrt{w_1^2 + w_2^2 + w_3^2}} ]

              • 间隔最大化就是要找到这样的超平面，使得所有数据点到这个超平面的距离中的最小值最大。

              • 分类：

                • 对于新的数据点 ((x_{\text{new}}, y_{\text{new}}, z_{\text{new}}))，我们可以将其映射到三维空间，然后计算它到超平面的距离 (d_{\text{new}})。
                • 根据 (d_{\text{new}}) 的正负以及超平面的位置（由法向量的方向决定），我们可以判断这个数据点属于哪一个类别。

                  2.5 代码示例

                  # -*- coding:utf-8 -*-# @Time   : 2024-02-21# @Author : Carl_DJ'''实现功能：    用于生成线性可分的数据集并可视化SVM的分界线'''import numpy as npimport matplotlib.pyplot as pltfrom sklearn import datasetsfrom sklearn.svm import SVC# 生成线性可分的数据集X, y = datasets.make_classification(n_samples=100, n_features=2, n_informative=2, n_redundant=0, random_state=42)# 创建SVM分类器并拟合数据clf = SVC(kernel='linear', C=1000)clf.fit(X, y)# 绘制数据点plt.scatter(X[:, 0], X[:, 1], c=y, cmap=plt.cm.Paired, marker='o', edgecolors='k')# 绘制决策边界ax = plt.gca()xlim = ax.get_xlim()ylim = ax.get_ylim()# 创建网格来评估模型xx, yy = np.meshgrid(np.linspace(xlim[0], xlim[1], 50), np.linspace(ylim[0], ylim[1], 50))Z = clf.decision_function(np.c_[xx.ravel(), yy.ravel()])Z = Z.reshape(xx.shape)# 绘制决策边界ax.contour(xx, yy, Z, colors='k', levels=[-1, 0, 1], alpha=0.5, linestyles=['--', '-', '--'])plt.xlabel('Feature 1')plt.ylabel('Feature 2')plt.title('SVM Decision Boundary')plt.show()

                  3、总结

                  支持向量机是一种强大的分类算法，它通过寻找最优超平面来实现分类，并且具有优秀的泛化能力。

                  SVM对于高维数据的处理效果尤为出色，并且可以通过核函数来处理非线性问题。

                  然而，SVM的计算复杂度相对较高，尤其是当样本数量很大时，训练过程可能会比较慢。

                  在实际应用中，需要根据具体问题和数据集特点来选择合适的算法和参数。

                  我是小鱼：

                  • CSDN 博客专家；
                  • 阿里云 专家博主；
                  • 51CTO博客专家；
                  • 多个名企认证讲师等；
                  • 认证金牌面试官；
                  • 名企签约职场面试培训、职场规划师；
                  • 多个国内主流技术社区的认证专家博主；
                  • 多款主流产品(阿里云等)测评一、二等奖获得者；

                    关注小鱼，学习机器学习领域的知识。