如何在pyspark上创建分层的拆分训练、验证和测试集？
如何在pyspark上创建分层的拆分训练、验证和测试集？
提问于 2019-09-19 23:45:29
我有一个小的数据集(140K)，我想将其拆分成验证集、使用目标变量的验证集测试集和另一个字段来筛选这些拆分。
回答 1
Stack Overflow用户
发布于 2019-09-20 16:31:42
在Pyspark中，您可以使用randomSplit()函数将数据集分为训练数据集和测试数据集。它可以接受最多两个参数，即权重和seed.We使用种子，因为我们想要相同的output.In权重，您可以指定浮动number.If，它不求和为1，它将归一化weights.It用于指定将进入训练，验证和测试部分的数据的百分比。
示例代码
data.randomSplit([0.8,0.1,0.1],785)页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/58014693
复制相关文章
相似问题
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号