blocks|key|3216275|text|Spark+MLlib正在对CART使用ID3算法。|type|unstyled|depth|inlineStyleRanges|entityRanges|data|3216276|ID3只处理分类变量，而CART可以处理连续变量。Spark决策树可以处理分类变量，所以它使用CART+(在下面指定的Jira票证中，我们可以看到它们还没有实现C4.5+)。|3216277|在这个blog+post中，你可以找到一些关于不同算法的信息，这就是我得到答案的地方。|offset|length|3216278|您可以在此Jira+ticket中找到关于将其扩展到C4.5的讨论。|3216279|更多关于here算法之间的差异的信息。|3216280|entityMap|0|LINK|mutability|MUTABLE|url|https://chongyaorobin.wordpress.com/2015/07/09/study-apache-spark-mllib-on-ipython-regression-classification-decision-tree/|1|https://issues.apache.org/jira/browse/SPARK-8078|2|https://www.quora.com/What-are-the-differences-between-ID3-C4-5-and-CART^0|0|0|3|9|0|0|5|B|1|0|4|4|2|0^^$0|@$1|2|3|4|5|6|7|X|8|@]|9|@]|A|$]]|$1|B|3|C|5|6|7|Y|8|@]|9|@]|A|$]]|$1|D|3|E|5|6|7|Z|8|@]|9|@$F|10|G|11|1|12]]|A|$]]|$1|H|3|I|5|6|7|13|8|@]|9|@$F|14|G|15|1|16]]|A|$]]|$1|J|3|K|5|6|7|17|8|@]|9|@$F|18|G|19|1|1A]]|A|$]]|$1|L|3|-4|5|6|7|1B|8|@]|9|@]|A|$]]]|M|$N|$5|O|P|Q|A|$R|S]]|T|$5|O|P|Q|A|$R|U]]|V|$5|O|P|Q|A|$R|W]]]]

Spark MLlib is using the ID3 algorithm with CART.

ID3 only handles categorical variables and CART can handle continuous variables. Spark decision trees can handle categorical variables, so it is using CART (in the Jira ticket specified below we can see that they haven't implemented C4.5 yet).

In this <a href="https://chongyaorobin.wordpress.com/2015/07/09/study-apache-spark-mllib-on-ipython-regression-classification-decision-tree/" rel="nofollow noreferrer">blog post</a> you can find some information about the different algorithms and it is where I got the answer from.

You can find a discussion on extending it to C4.5 in this <a href="https://issues.apache.org/jira/browse/SPARK-8078" rel="nofollow noreferrer">Jira ticket</a>.

More information about the difference between the algorithms <a href="https://www.quora.com/What-are-the-differences-between-ID3-C4-5-and-CART" rel="nofollow noreferrer">here</a>.

blocks|key|1615595|text|如果您查看链接Apache+Spark并查看部分，|type|unstyled|depth|inlineStyleRanges|entityRanges|offset|length|data|1615596|1615597|节点杂质和信息增益(基本算法)|blockquote|1615598|1615599|1615600|你可以找到|1615601|1615602|目前的实现提供了两个用于分类的杂质度量(基尼杂质和熵)和一个用于回归的杂质度量(方差)|1615603|1615604|1615605|此外，如果您查看链接Decision+Tree，您可以发现CART+(分类和回归树)算法使用基尼杂质和熵进行分类，并使用方差减少进行回归。|1615606|entityMap|0|LINK|mutability|MUTABLE|url|http://spark.apache.org/docs/latest/mllib-decision-tree.html|1|https://en.wikipedia.org/wiki/Decision_tree_learning^0|7|C|0|0|0|0|0|0|0|0|0|0|0|A|D|1|0^^$0|@$1|2|3|4|5|6|7|12|8|@]|9|@$A|13|B|14|1|15]]|C|$]]|$1|D|3|-4|5|6|7|16|8|@]|9|@]|C|$]]|$1|E|3|F|5|G|7|17|8|@]|9|@]|C|$]]|$1|H|3|-4|5|6|7|18|8|@]|9|@]|C|$]]|$1|I|3|-4|5|6|7|19|8|@]|9|@]|C|$]]|$1|J|3|K|5|6|7|1A|8|@]|9|@]|C|$]]|$1|L|3|-4|5|6|7|1B|8|@]|9|@]|C|$]]|$1|M|3|N|5|G|7|1C|8|@]|9|@]|C|$]]|$1|O|3|-4|5|6|7|1D|8|@]|9|@]|C|$]]|$1|P|3|-4|5|6|7|1E|8|@]|9|@]|C|$]]|$1|Q|3|R|5|6|7|1F|8|@]|9|@$A|1G|B|1H|1|1I]]|C|$]]|$1|S|3|-4|5|6|7|1J|8|@]|9|@]|C|$]]]|T|$U|$5|V|W|X|C|$Y|Z]]|10|$5|V|W|X|C|$Y|11]]]]

If you take a look at the link <a href="http://spark.apache.org/docs/latest/mllib-decision-tree.html" rel="nofollow noreferrer">Apache Spark</a> and take a look at the section, 

<blockquote>
 Node impurity and information gain (Basic Algorithm) 
</blockquote>

You can find 

<blockquote>
 The current implementation provides two impurity measures for classification (Gini impurity and entropy) and one impurity measure for regression (variance)
</blockquote>

Also, if you take a look at the link <a href="https://en.wikipedia.org/wiki/Decision_tree_learning" rel="nofollow noreferrer">Decision Tree</a>, you can find CART (classification and regression tree) algorithm uses Gini impurity and entropy for classification and variance reduction for regression.

I have a question about decision tree in <code>MLlib</code>. What algorithm is used in Spark? Is it ID3, C4.5 or CART?

What algorithm is used in spark decision tree (is ID3, C4.5 or CART)

翻译质量差，导致语言生硬或混乱。

没有提供实际的解决方法或示例。

解答不清晰，无法理解或解决问题。

页面排版不美观，阅读体验差。

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云AI代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

功能1上新10个字符

功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符。

功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符。

功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符

功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符

功能4上新

文章&问答评论现已支持表情

全新交互，全新视觉，新增快捷键、悬浮工具栏、高亮块等功能并同时优化现有功能，全面提升创作效率和体验

社区富文本编辑器全新改版！诚邀体验～ 

精选全网热门MCP server，让你的AI更好用 🚀

💥开发者 MCP广场重磅上线！

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

我有一个关于MLlib中决策树的问题。Spark中使用的是什么算法？是ID3，C4.5还是CART？

问在spark决策树中使用什么算法(是ID3、C4.5还是CART)
EN

回答 2

Stack Overflow用户

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问在spark决策树中使用什么算法(是ID3、C4.5还是CART)EN

回答 2

Stack Overflow用户

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问在spark决策树中使用什么算法(是ID3、C4.5还是CART)
EN