- 支持向量机学习的基本想法是求解能够正确划分训练数据集并且几何间隔最大的分离超平面。对线性可分的训练数据集而言，线性可分分离超平面有无穷多个（等价于感知机，可参见学习笔记|感知机（二）），但是几何间隔最大的分离超平面是唯一的。这里的间隔最大化又称为硬间隔最大化（与将要讨论的训练数据集近似线性可分时的软间隔最大化相对应）。间隔最大化的直观解释是：对训练数据集找到几何间隔最大的超平面意味着以充分大... 支持向量机学习的基本想法是求解能够正确划分训练数据集并且几何间隔最大的分离超平面。对线性可分的训练数据集而言，线性可分分离超平面有无穷多个（等价于感知机，可参见学习笔记|感知机（二）），但是几何间隔最大的分离超平面是唯一的。这里的间隔最大化又称为硬间隔最大化（与将要讨论的训练数据集近似线性可分时的软间隔最大化相对应）。间隔最大化的直观解释是：对训练数据集找到几何间隔最大的超平面意味着以充分大...
- 1. 函数间隔上图中的A,B,C三个点分别表示3个实例，均在分离超平面的正类一侧，预测它们的类。点A距分离超平面较远，若预测该点为正类，就比较确信预测是正确的；点C距分离超平面较近，若预测该点为正类就不那么确信；点B介于点A与C之间，预测其为正类的确信度也在A与C之间。一般来说，一个点距离分离超平面的远近可以表示分类预测的确信程度。在超平面ω⋅x+b=0确定的情况下，|ω⋅x+b|能够相对地... 1. 函数间隔上图中的A,B,C三个点分别表示3个实例，均在分离超平面的正类一侧，预测它们的类。点A距分离超平面较远，若预测该点为正类，就比较确信预测是正确的；点C距分离超平面较近，若预测该点为正类就不那么确信；点B介于点A与C之间，预测其为正类的确信度也在A与C之间。一般来说，一个点距离分离超平面的远近可以表示分类预测的确信程度。在超平面ω⋅x+b=0确定的情况下，|ω⋅x+b|能够相对地...
- 考虑一个二类分类问题。假设输入空间与特征空间为两个不同的空间。输入空间为欧氏空间或离散集合，特征空间为欧氏空间或希尔伯特空间。线性可分支持向量机、线性支持向量机假设这两个空间的元素一一对应，并将输入空间中的输入映射为特征空间中的特征向量。非线性支持向量机利用一个从输入空间到特征空间的非线性映射将输入映射为特征向量。所以，输入都由输入空间转换到特征空间，支持向量机的学习是在特征空间进行的。假设... 考虑一个二类分类问题。假设输入空间与特征空间为两个不同的空间。输入空间为欧氏空间或离散集合，特征空间为欧氏空间或希尔伯特空间。线性可分支持向量机、线性支持向量机假设这两个空间的元素一一对应，并将输入空间中的输入映射为特征空间中的特征向量。非线性支持向量机利用一个从输入空间到特征空间的非线性映射将输入映射为特征向量。所以，输入都由输入空间转换到特征空间，支持向量机的学习是在特征空间进行的。假设...
- 最大熵模型学习还可以用拟牛顿法。对于最大熵模型而言，目标函数：（可参见学习笔记|最大熵模型学习的IIS法）梯度：其中i=1,2,...,n相应的拟牛顿法BFGS算法如下。最大熵模型学习的拟牛顿法：其中，（7）置k=k+1，转（3）。参考文献【1】统计学习方法（第2版），李航著，清华大学出版社 最大熵模型学习还可以用拟牛顿法。对于最大熵模型而言，目标函数：（可参见学习笔记|最大熵模型学习的IIS法）梯度：其中i=1,2,...,n相应的拟牛顿法BFGS算法如下。最大熵模型学习的拟牛顿法：其中，（7）置k=k+1，转（3）。参考文献【1】统计学习方法（第2版），李航著，清华大学出版社
- Logistic回归模型、最大熵模型学习归结为以似然函数为目标函数的最优化问题，通常通过迭代算法求解。从最优化的观点看，这时的目标函数具有很好的性质。它是光滑的凸函数，因此多种最优化方法适用，保证能找到全局最优解。IIS，全称improved iterative scaling，中文名改进的迭代尺度法，是适用于求解以似然函数为目标的最优化问题（如最大熵模型学习）的方法之一。已知最大熵模型为对... Logistic回归模型、最大熵模型学习归结为以似然函数为目标函数的最优化问题，通常通过迭代算法求解。从最优化的观点看，这时的目标函数具有很好的性质。它是光滑的凸函数，因此多种最优化方法适用，保证能找到全局最优解。IIS，全称improved iterative scaling，中文名改进的迭代尺度法，是适用于求解以似然函数为目标的最优化问题（如最大熵模型学习）的方法之一。已知最大熵模型为对...
- 目录 前言往期文章幂级数一、函数项级数的概念定义：（函数项）无穷级数 幂级数及其收敛性幂级数定理1（阿贝尔定理）推论定理2 结语 前言 Hello！小伙伴！ 非常... 目录 前言往期文章幂级数一、函数项级数的概念定义：（函数项）无穷级数 幂级数及其收敛性幂级数定理1（阿贝尔定理）推论定理2 结语 前言 Hello！小伙伴！ 非常...
- 最大熵模型学习的最优化问题可表示为根据拉格朗日对偶性，可以通过求解对偶最优化问题得到原始最优化问题的解，所以求解令各偏导数等于0，解得于是所以于是得到所要求的概率分布为参考文献【1】统计学习方法（第2版），李航著，清华大学出版社 最大熵模型学习的最优化问题可表示为根据拉格朗日对偶性，可以通过求解对偶最优化问题得到原始最优化问题的解，所以求解令各偏导数等于0，解得于是所以于是得到所要求的概率分布为参考文献【1】统计学习方法（第2版），李航著，清华大学出版社
- 定义（最大熵模型） 假设满足所有约束条件的模型集合为定义在条件概率分布P(Y|X)上的条件熵为最大熵模型的学习过程就是求解最大熵模型的过程。最大熵模型的学习可以形式化为约束最大化问题。按照最优化问题的习惯，将求最大值问题改写为等价的求最小值问题：求解上述约束最优化问题所得的解就是最大熵模型学习的解。具体推导过程如下：这里，将约束最优化的原始问题转换为无约束最优化的对偶问题。通过求解对偶问题求... 定义（最大熵模型） 假设满足所有约束条件的模型集合为定义在条件概率分布P(Y|X)上的条件熵为最大熵模型的学习过程就是求解最大熵模型的过程。最大熵模型的学习可以形式化为约束最大化问题。按照最优化问题的习惯，将求最大值问题改写为等价的求最小值问题：求解上述约束最优化问题所得的解就是最大熵模型学习的解。具体推导过程如下：这里，将约束最优化的原始问题转换为无约束最优化的对偶问题。通过求解对偶问题求...
- 最大熵是概率模型学习的一个准则，将其推广到分类问题得到最大熵模型。它也属于对数线性模型。1. 最大熵原理最大熵原理认为，学习概率模型时，在所有可能的概率模型（分布）中，熵最大的模型是最好的模型。通常用约束条件来确定概率模型的集合，所以，最大熵原理也可以表述为在满足约束条件的模型集合中选取熵最大的模型。假设离散随机变量X的概率分布是P(X)，则其熵是熵满足下列不等式：其中，|X|是X的取值个数... 最大熵是概率模型学习的一个准则，将其推广到分类问题得到最大熵模型。它也属于对数线性模型。1. 最大熵原理最大熵原理认为，学习概率模型时，在所有可能的概率模型（分布）中，熵最大的模型是最好的模型。通常用约束条件来确定概率模型的集合，所以，最大熵原理也可以表述为在满足约束条件的模型集合中选取熵最大的模型。假设离散随机变量X的概率分布是P(X)，则其熵是熵满足下列不等式：其中，|X|是X的取值个数...
- 分类与回归树模型，英文全称classification and regression tree，简称CART，由Breiman等人在1984年提出，是应用广泛的决策树学习方法。CART同样由特征选择、树的生成及剪枝组成，既可以用于分类也可以用于回归。CART是在给定输入随机变量X条件下输出随机变量Y的条件概率分布的学习方法。CART假设决策树是二叉树，内部结点特征的取值为“是”和“否”，左分... 分类与回归树模型，英文全称classification and regression tree，简称CART，由Breiman等人在1984年提出，是应用广泛的决策树学习方法。CART同样由特征选择、树的生成及剪枝组成，既可以用于分类也可以用于回归。CART是在给定输入随机变量X条件下输出随机变量Y的条件概率分布的学习方法。CART假设决策树是二叉树，内部结点特征的取值为“是”和“否”，左分...
- 目录 前言 1.2 基本概念 1.2.1 图 定义1.1 ：图的定义 定义1.2 ... 目录 前言 1.2 基本概念 1.2.1 图 定义1.1 ：图的定义 定义1.2 ...
- 目录 前言 往期文章 5.1 向量和矩阵的极限 5.1.1 向量序列极限 定义5.1 5.1.2 ... 目录 前言 往期文章 5.1 向量和矩阵的极限 5.1.1 向量序列极限 定义5.1 5.1.2 ...
- 决策树生成算法递归地产生决策树，直到不能继续下去为止。这样产生的树往往对训练数据的分类很准确，但对未知的测试数据的分类却没有那么准确，即出现过拟合现象。过拟合的原因在于学习时过多地考虑如何提高对训练数据的正确分类，从而构建出过于复杂的决策树。解决这个问题的办法是考虑决策树的复杂度，对已生成的决策树进行简化。在决策树学习中将已生成的树进行简化的过程称为剪枝。具体地，剪枝从已生成的树上裁掉一些子... 决策树生成算法递归地产生决策树，直到不能继续下去为止。这样产生的树往往对训练数据的分类很准确，但对未知的测试数据的分类却没有那么准确，即出现过拟合现象。过拟合的原因在于学习时过多地考虑如何提高对训练数据的正确分类，从而构建出过于复杂的决策树。解决这个问题的办法是考虑决策树的复杂度，对已生成的决策树进行简化。在决策树学习中将已生成的树进行简化的过程称为剪枝。具体地，剪枝从已生成的树上裁掉一些子...
- 1. 特征选择问题特征选择在于选取对训练数据具有分类能力的特征。这样可以提高决策树学习的效率。如果利用一个特征进行分类的结果与随机分类的结果没有很大差别，则称这个特征是没有分类能力的。经验上，扔掉这样的特征对决策树学习的精度影响不大。通常特征选择的准则是信息增益或信息增益比。2. 信息增益为了便于说明信息增益的概率，先给出熵与条件熵的定义。在信息论与概率统计中，熵是表示随机变量不确定性的度量... 1. 特征选择问题特征选择在于选取对训练数据具有分类能力的特征。这样可以提高决策树学习的效率。如果利用一个特征进行分类的结果与随机分类的结果没有很大差别，则称这个特征是没有分类能力的。经验上，扔掉这样的特征对决策树学习的精度影响不大。通常特征选择的准则是信息增益或信息增益比。2. 信息增益为了便于说明信息增益的概率，先给出熵与条件熵的定义。在信息论与概率统计中，熵是表示随机变量不确定性的度量...
- 决策树是一种基本的分类与回归方法。决策树模型呈树形结构，在分类问题中，表示基于特征对实例进行分类的过程。它可以认为是if-then规则的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。其主要优点是模型具有可读性，分类速度快。决策树学习通常包括3个步骤：特征选择、决策树生成和决策树修剪。决策树学习的思想主要来源于由Quinlan在1986年提出的ID3算法和1993年提出的C4.5算... 决策树是一种基本的分类与回归方法。决策树模型呈树形结构，在分类问题中，表示基于特征对实例进行分类的过程。它可以认为是if-then规则的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。其主要优点是模型具有可读性，分类速度快。决策树学习通常包括3个步骤：特征选择、决策树生成和决策树修剪。决策树学习的思想主要来源于由Quinlan在1986年提出的ID3算法和1993年提出的C4.5算...
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新，构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间，华为云展示了Serverless与MCP融合创新的解决方案，本期访谈直播，由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持，华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
关于RISC-V生态发展的思考2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中，探讨处理器生态的关键要素及其联系，分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中 -
一键搞定华为云万级资源，3步轻松管理企业成本2025/09/09 周二 15:00-16:00
阿言 华为云交易产品经理
本直播重点介绍如何一键续费万级资源，3步轻松管理成本，帮助提升日常管理效率！
回顾中
热门标签