梯度提升树分类器

㈠ 基于规则和基于统计的人工智能算法的区别

很多，主要说下监督学习这块的算法哈。欢迎讨论。

• svm，支撑向量机，通过找到样本空间中的一个超平面，实现样本的分类，也可以作回归，主要用在文本分类，图像识别等领域，详见：；

• lr，逻辑回归，本质也是线性回归，通过拟合拟合样本的某个曲线，然后使用逻辑函数进行区间缩放，但是一般用来分类，主要用在ctr预估、推荐等；

• nn，神经网络，通过找到某种非线性模型拟合数据，主要用在图像等；

• nb，朴素贝叶斯，通过找到样本所属于的联合分步，然后通过贝叶斯公式，计算样本的后验概率，从而进行分类，主要用来文本分类；

• dt，决策树，构建一棵树，在节点按照某种规则（一般使用信息熵）来进行样本划分，实质是在样本空间进行块状的划分，主要用来分类，也有做回归，但更多的是作为弱分类器，用在model embedding中；

• rf，随进森林，是由许多决策树构成的森林，每个森林中训练的样本是从整体样本中抽样得到，每个节点需要进行划分的特征也是抽样得到，这样子就使得每棵树都具有独特领域的知识，从而有更好的泛化能力；

• gbdt，梯度提升决策树，实际上也是由多棵树构成，和rf不同的是，每棵树训练样本是上一棵树的残差，这体现了梯度的思想，同时最后的结构是用这所有的树进行组合或者投票得出，主要用在推荐、相关性等；

• knn，k最近邻，应该是最简单的ml方法了，对于未知标签的样本，看与它最近的k个样本(使用某种距离公式，马氏距离或者欧式距离)中哪种标签最多，它就属于这类；

㈡ 单一决策树 随机森林和梯度提升算法的区别

不了解什么是随机森林。感觉应该是一种算法。如果做计算机视觉建议你用OpenCV,R语言主要用在版统计分析、权机器学习领域。你找几篇这方面的文献看看别人跟你做类似课题时是用C++还是R。根据下列算法而建造每棵树：
1. 用 N 来表示训练例子的个数，M表示变量的数目。
2. 我们会被告知一个数 m ，被用来决定当在一个节点上做决定时，会使用到多少个变量。m应小于M
3. 从N个训练案例中以可重复取样的方式，取样N次，形成一组训练集（即bootstrap取样）。并使用这棵树来对剩余预测其类别，并评估其误差。
4. 对于每一个节点，随机选择m个基于此点上的变量。根据这 m 个变量，计算其最佳的分割方式。
5. 每棵树都会完整成长而不会剪枝（Pruning）（这有可能在建完一棵正常树状分类器后会被采用）

㈢ 基于统计和机器学习的算法有哪些

很多，主要说下监督学习这块的算法哈。欢迎讨论。

1. svm，支撑向量机，通过找到样本空间中的一个超平面，实现样本的分类，也可以作回归，主要用在文本分类，图像识别等领域，详见：；

2. lr，逻辑回归，本质也是线性回归，通过拟合拟合样本的某个曲线，然后使用逻辑函数进行区间缩放，但是一般用来分类，主要用在ctr预估、推荐等；

3. nn，神经网络，通过找到某种非线性模型拟合数据，主要用在图像等；

4. nb，朴素贝叶斯，通过找到样本所属于的联合分步，然后通过贝叶斯公式，计算样本的后验概率，从而进行分类，主要用来文本分类；

5. dt，决策树，构建一棵树，在节点按照某种规则（一般使用信息熵）来进行样本划分，实质是在样本空间进行块状的划分，主要用来分类，也有做回归，但更多的是作为弱分类器，用在model embedding中；

6. rf，随进森林，是由许多决策树构成的森林，每个森林中训练的样本是从整体样本中抽样得到，每个节点需要进行划分的特征也是抽样得到，这样子就使得每棵树都具有独特领域的知识，从而有更好的泛化能力；

7. gbdt，梯度提升决策树，实际上也是由多棵树构成，和rf不同的是，每棵树训练样本是上一棵树的残差，这体现了梯度的思想，同时最后的结构是用这所有的树进行组合或者投票得出，主要用在推荐、相关性等；

8. knn，k最近邻，应该是最简单的ml方法了，对于未知标签的样本，看与它最近的k个样本(使用某种距离公式，马氏距离或者欧式距离)中哪种标签最多，它就属于这类；

   
   

㈣ xgboost是梯度上升还是梯度下降

很多，主要说下监督学习这块的算法哈。欢迎讨论。
svm，支撑向量机，通过找到样本空间中的一个超平面，实现样本的分类，也可以作回归，主要用在文本分类，图像识别等领域，详见：；
lr，逻辑回归，本质也是线性回归，通过拟合拟合样本的某个曲线，然后使用逻辑函数进行区间缩放，但是一般用来分类，主要用在ctr预估、等；
nn，神经网络，通过找到某种非线性模型拟合数据，主要用在图像等；
nb，朴素贝叶斯，通过找到样本所属于的联合分步，然后通过贝叶斯公式，计算样本的后验概率，从而进行分类，主要用来文本分类；
dt，决策树，构建一棵树，在节点按照某种规则（一般使用信息熵）来进行样本划分，实质是在样本空间进行块状的划分，主要用来分类，也有做回归，但更多的是作为弱分类器，用在model embedding中；
rf，随进森林，是由许多决策树构成的森林，每个森林中训练的样本是从整体样本中抽样得到，每个节点需要进行划分的特征也是抽样得到，这样子就使得每棵树都具有独特领域的知识，从而有更好的泛化能力；
gbdt，梯度提升决策树，实际上也是由多棵树构成，和rf不同的是，每棵树训练样本是上一棵树的残差，这体现了梯度的思想，同时最后的结构是用这所有的树进行组合或者投票得出，主要用在、相关性等；
knn，k最近邻，应该是最简单的ml方法了，对于未知标签的样本，看与它最近的k个样本(使用某种距离公式，马氏距离或者欧式距离)中哪种标签最多，它就属于这类；

㈤ FLDA 是人工智能算法么全名中英文是啥啊

应该不是。

人工智能之机器学习体系汇总

• 监督学习 Supervised learning
  

• Fisher的线性判别 Fisher’s linear discriminant

• 线性回归 Linear regression

• Logistic回归 Logistic regression

• 多项Logistic回归 Multinomial logistic regression

• 朴素贝叶斯分类器 Naive Bayes classifier

• 感知 Perceptron

• 支持向量机 Support vector machine

• 分类和回归树（CART） Classification and regression tree (CART)

• 迭代Dichotomiser 3（ID3） Iterative Dichotomiser 3(ID3)

• C4.5算法 C4.5 algorithm

• C5.0算法 C5.0 algorithm

• 卡方自动交互检测（CHAID） Chi-squared Automatic Interaction Detection(CHAID)

• 决策残端 Decision stump

• ID3算法 ID3 algorithm

• 随机森林 Random forest

• SLIQ

• 朴素贝叶斯 Naive Bayes

• 高斯贝叶斯 Gaussian Naive Bayes

• 多项朴素贝叶斯 Multinomial Naive Bayes

• 平均一依赖性评估（AODE） Averaged One-Dependence Estimators(AODE)

• 贝叶斯信念网络（BNN） Bayesian Belief Network(BBN)

• 贝叶斯网络（BN） Bayesian Network(BN)

• 自动编码器 Autoencoder

• 反向传播 Backpropagation

• 玻尔兹曼机 Boltzmann machine

• 卷积神经网络 Convolutional neural network

• Hopfield网络 Hopfield network

• 多层感知器 Multilayer perceptron

• 径向基函数网络（RBFN） Radial basis function network(RBFN)

• 受限玻尔兹曼机 Restricted Boltzmann machine

• 回归神经网络（RNN） Recurrent neural network(RNN)

• 自组织映射（SOM） Self-organizing map(SOM)

• 尖峰神经网络 Spiking neural network

• 人工神经网络 Artificial neural network
  

• 贝叶斯 Bayesian
  

• 决策树 Decision Tree
  

• 线性分类 Linear classifier
  

• 无监督学习 Unsupervised learning
  

• k-最近邻算法（K-NN） k-nearest neighbors classification(K-NN)

• 局部异常因子 Local outlier factor

• BIRCH

• DBSCAN

• 期望最大化（EM） Expectation-maximization(EM)

• 模糊聚类 Fuzzy clustering

• K-means算法 K-means algorithm

• k-均值聚类 K-means clustering

• k-位数 K-medians

• 平均移 Mean-shift

• OPTICS算法 OPTICS algorithm

• 单连锁聚类 Single-linkage clustering

• 概念聚类 Conceptual clustering

• 先验算法 Apriori algorithm

• Eclat算法 Eclat algorithm

• FP-growth算法 FP-growth algorithm

• 对抗生成网络

• 前馈神经网络 Feedforward neurral network
  

• 逻辑学习机 Logic learning machine

• 自组织映射 Self-organizing map

• 极端学习机 Extreme learning machine

• 人工神经网络 Artificial neural network
  

• 关联规则学习 Association rule learning
  

• 分层聚类 Hierarchical clustering
  

• 聚类分析 Cluster analysis
  

• 异常检测 Anomaly detection
  

• 半监督学习 Semi-supervised learning
  

• 生成模型 Generative models

• 低密度分离 Low-density separation

• 基于图形的方法 Graph-based methods

• 联合训练 Co-training

• 强化学习 Reinforcement learning
  

• 时间差分学习 Temporal difference learning

• Q学习 Q-learning

• 学习自动 Learning Automata

• 状态-行动-回馈-状态-行动（SARSA） State-Action-Reward-State-Action(SARSA)

• 深度学习 Deep learning
  

• 深度信念网络 Deep belief machines

• 深度卷积神经网络 Deep Convolutional neural networks

• 深度递归神经网络 Deep Recurrent neural networks

• 分层时间记忆 Hierarchical temporal memory

• 深度玻尔兹曼机（DBM） Deep Boltzmann Machine(DBM)

• 堆叠自动编码器 Stacked Boltzmann Machine

• 生成式对抗网络 Generative adversarial networks

• 迁移学习 Transfer learning
  

• 传递式迁移学习 Transitive Transfer Learning

• 其他
  

• 主成分分析（PCA） Principal component analysis(PCA)

• 主成分回归（PCR） Principal component regression(PCR)

• 因子分析 Factor analysis

• Bootstrap aggregating (Bagging)

• AdaBoost

• 梯度提升机（GBM） Gradient boosting machine(GBM)

• 梯度提升决策树（GBRT） Gradient boosted decision tree(GBRT)

• 集成学习算法
  

• 降维
  

㈥ 机器学习一般常用的算法有哪些

机器学习是人工智能的核心技术，是学习人工智能必不可少的环节。机器学习中有很多算法，能够解决很多以前难以企的问题，机器学习中涉及到的算法有不少，下面小编就给大家普及一下这些算法。

一、线性回归

一般来说，线性回归是统计学和机器学习中最知名和最易理解的算法之一。这一算法中我们可以用来预测建模，而预测建模主要关注最小化模型误差或者尽可能作出最准确的预测，以可解释性为代价。我们将借用、重用包括统计学在内的很多不同领域的算法，并将其用于这些目的。当然我们可以使用不同的技术从数据中学习线性回归模型，例如用于普通最小二乘法和梯度下降优化的线性代数解。就目前而言，线性回归已经存在了200多年，并得到了广泛研究。使用这种技术的一些经验是尽可能去除非常相似（相关）的变量，并去除噪音。这是一种快速、简单的技术。

二、Logistic 回归

它是解决二分类问题的首选方法。Logistic 回归与线性回归相似，目标都是找到每个输入变量的权重，即系数值。与线性回归不同的是，Logistic 回归对输出的预测使用被称为 logistic 函数的非线性函数进行变换。logistic 函数看起来像一个大的S，并且可以将任何值转换到0到1的区间内。这非常实用，因为我们可以规定logistic函数的输出值是0和1并预测类别值。像线性回归一样，Logistic 回归在删除与输出变量无关的属性以及非常相似的属性时效果更好。它是一个快速的学习模型，并且对于二分类问题非常有效。

三、线性判别分析（LDA）

在前面我们介绍的Logistic 回归是一种分类算法，传统上，它仅限于只有两类的分类问题。而LDA的表示非常简单直接。它由数据的统计属性构成，对每个类别进行计算。单个输入变量的 LDA包括两个，第一就是每个类别的平均值，第二就是所有类别的方差。而在线性判别分析，进行预测的方法是计算每个类别的判别值并对具备最大值的类别进行预测。该技术假设数据呈高斯分布，因此最好预先从数据中删除异常值。这是处理分类预测建模问题的一种简单而强大的方法。

四、决策树

决策树是预测建模机器学习的一种重要算法。决策树模型的表示是一个二叉树。这是算法和数据结构中的二叉树，没什么特别的。每个节点代表一个单独的输入变量x和该变量上的一个分割点。而决策树的叶节点包含一个用于预测的输出变量y。通过遍历该树的分割点，直到到达一个叶节点并输出该节点的类别值就可以作出预测。当然决策树的有点就是决策树学习速度和预测速度都很快。它们还可以解决大量问题，并且不需要对数据做特别准备。

五、朴素贝叶斯

其实朴素贝叶斯是一个简单但是很强大的预测建模算法。而这个模型由两种概率组成，这两种概率都可以直接从训练数据中计算出来。第一种就是每个类别的概率，第二种就是给定每个 x 的值，每个类别的条件概率。一旦计算出来，概率模型可用于使用贝叶斯定理对新数据进行预测。当我们的数据是实值时，通常假设一个高斯分布，这样我们可以简单的估计这些概率。而朴素贝叶斯之所以是朴素的，是因为它假设每个输入变量是独立的。这是一个强大的假设，真实的数据并非如此，但是，该技术在大量复杂问题上非常有用。所以说，朴素贝叶斯是一个十分实用的功能。

六、K近邻算法

K近邻算法简称KNN算法，KNN 算法非常简单且有效。KNN的模型表示是整个训练数据集。KNN算法在整个训练集中搜索K个最相似实例（近邻）并汇总这K个实例的输出变量，以预测新数据点。对于回归问题，这可能是平均输出变量，对于分类问题，这可能是众数类别值。而其中的诀窍在于如何确定数据实例间的相似性。如果属性的度量单位相同，那么最简单的技术是使用欧几里得距离，我们可以根据每个输入变量之间的差值直接计算出来其数值。当然，KNN需要大量内存或空间来存储所有数据，但是只有在需要预测时才执行计算。我们还可以随时更新和管理训练实例，以保持预测的准确性。

七、Boosting 和 AdaBoost

首先，Boosting 是一种集成技术，它试图集成一些弱分类器来创建一个强分类器。这通过从训练数据中构建一个模型，然后创建第二个模型来尝试纠正第一个模型的错误来完成。一直添加模型直到能够完美预测训练集，或添加的模型数量已经达到最大数量。而AdaBoost 是第一个为二分类开发的真正成功的 boosting 算法。这是理解 boosting 的最佳起点。现代 boosting 方法建立在 AdaBoost 之上，最显著的是随机梯度提升。当然，AdaBoost 与短决策树一起使用。在第一个决策树创建之后，利用每个训练实例上树的性能来衡量下一个决策树应该对每个训练实例付出多少注意力。难以预测的训练数据被分配更多权重，而容易预测的数据分配的权重较少。依次创建模型，每一个模型在训练实例上更新权重，影响序列中下一个决策树的学习。在所有决策树建立之后，对新数据进行预测，并且通过每个决策树在训练数据上的精确度评估其性能。所以说，由于在纠正算法错误上投入了太多注意力，所以具备已删除异常值的干净数据十分重要。

八、学习向量量化算法（简称 LVQ）

学习向量量化也是机器学习其中的一个算法。可能大家不知道的是，K近邻算法的一个缺点是我们需要遍历整个训练数据集。学习向量量化算法（简称 LVQ）是一种人工神经网络算法，它允许你选择训练实例的数量，并精确地学习这些实例应该是什么样的。而学习向量量化的表示是码本向量的集合。这些是在开始时随机选择的，并逐渐调整以在学习算法的多次迭代中最好地总结训练数据集。在学习之后，码本向量可用于预测。最相似的近邻通过计算每个码本向量和新数据实例之间的距离找到。然后返回最佳匹配单元的类别值或作为预测。如果大家重新调整数据，使其具有相同的范围，就可以获得最佳结果。当然，如果大家发现KNN在大家数据集上达到很好的结果，请尝试用LVQ减少存储整个训练数据集的内存要求

㈦ 如何选择机器学习分类器

如果训练集很小，那么高偏差/低方差分类器（如朴素贝叶斯分类器）要优于低偏差/高方差分类器（如k近邻分类器），因为后者容易过拟合。然而，随着训练集的增大，低偏差/高方差分类器将开始胜出（它们具有较低的渐近误差），因为高偏差分类器不足以提供准确的模型。

你也可以认为这是生成模型与判别模型的区别。

一些特定算法的优点

朴素贝叶斯的优点：超级简单，你只是在做一串计算。如果朴素贝叶斯（NB）条件独立性假设成立，相比于逻辑回归这类的判别模型，朴素贝叶斯分类器将收敛得更快，所以你只需要较小的训练集。而且，即使NB假设不成立，朴素贝叶斯分类器在实践方面仍然表现很好。如果想得到简单快捷的执行效果，这将是个好的选择。它的主要缺点是，不能学习特征之间的相互作用（比如，它不能学习出：虽然你喜欢布拉德·皮特和汤姆·克鲁斯的电影，但却不喜欢他们一起合作的电影）。

逻辑回归的优点：有许多正则化模型的方法，你不需要像在朴素贝叶斯分类器中那样担心特征间的相互关联性。与决策树和支撑向量机不同，你还可以有一个很好的概率解释，并能容易地更新模型来吸收新数据（使用一个在线梯度下降方法）。如果你想要一个概率框架（比如，简单地调整分类阈值，说出什么时候是不太确定的，或者获得置信区间），或你期望未来接收更多想要快速并入模型中的训练数据，就选择逻辑回归。

决策树的优点：易于说明和解释（对某些人来说—我不确定自己是否属于这个阵营）。它们可以很容易地处理特征间的相互作用，并且是非参数化的，所以你不用担心异常值或者数据是否线性可分（比如，决策树可以很容易地某特征x的低端是类A，中间是类B，然后高端又是类A的情况）。一个缺点是，不支持在线学习，所以当有新样本时，你将不得不重建决策树。另一个缺点是，容易过拟合，但这也正是诸如随机森林（或提高树）之类的集成方法的切入点。另外，随机森林往往是很多分类问题的赢家（我相信通常略优于支持向量机），它们快速并且可扩展，同时你不须担心要像支持向量机那样调一堆参数，所以它们最近似乎相当受欢迎。

SVMs的优点：高准确率，为过拟合提供了好的理论保证，并且即使你的数据在基础特征空间线性不可分，只要选定一个恰当的核函数，它们仍然能够取得很好的分类效果。它们在超高维空间是常态的文本分类问题中尤其受欢迎。然而，它们内存消耗大，难于解释，运行和调参也有些烦人，因此，我认为随机森林正渐渐开始偷走它的“王冠”。

然而…

尽管如此，回忆一下，更好的数据往往打败更好的算法，设计好的特征大有裨益。并且，如果你有一个庞大数据集，这时你使用哪种分类算法在分类性能方面可能并不要紧（所以，要基于速度和易用性选择算法）。

重申我上面说的,如果你真的关心准确率,一定要尝试各种各样的分类器,并通过交叉验证选择最好的一个。或者，从Netflix Prize(和Middle Earth)中吸取教训,只使用了一个集成方法进行选择。

㈧ 下面哪些算法不可以用来做回归 boosting

尝试回抄答一下 首先xgboost是Gradient Boosting的一种高效系统袭实现，并不是一种单一算法。xgboost里面的基学习器除了用tree(gbtree)，也可用线性分类器(gblinear)。而GBDT则特指梯度提升决策树算法。 xgboost相对于普通gbm的实