云与python的并行处理
云与python的并行处理
提问于 2016-11-20 14:20:29
拥有巨蟒-熊猫的知识和可伸缩的云，在云中实现并行计算的最佳方法是什么？(我只有一台cpu多的机器，没有多少台机器)
我目前拥有的云是Amazon，带有windows服务器(可扩展到40 cpu和160 OS内存)，但我可以评估使用不同的云提供商和不同的操作系统。
我想到了两种可能性：
- 使用python标准的多处理模块(没有任何其他sw)
- 具有python接口的独立火花
星星之火应该比python多处理更有效吗？还有其他方法我可以评估吗？
回答 1
Stack Overflow用户
发布于 2016-11-20 14:44:53
要用启动脚本启动一个Spark独立集群，您应该在您的Spark目录中创建一个名为conf/ scripts的文件，该文件必须包含您打算启动火花工作者的所有机器的主机名，每行一个。
见此处：http://spark.apache.org/docs/latest/spark-standalone.html#cluster-launch-scripts
祝好运
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/40705110
复制相关文章
相似问题
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号