回答情况：
提问时间：
问题标签：
获取错误：TypeError：'StructType‘对象不是可调用的，同时将StructType传递给模式方法。以下是代码：dataframe = sc.read.text('/path').schema(final_schema)idAO_02
浏览 2修改于2020-03-13得票数 3
回答已采纳
我在PySpark上有一个星火PySpark，我想将它的模式存储到另一个火花DataFrame中。
浏览 3提问于2019-10-23得票数 1
回答已采纳
1回答
使用akka流与火花流进行流处理有什么优缺点？比如，内置背压，性能，容错，内置转换，灵活性等。我不是在问akka vs火花正反严格流组件。另外，我并不是在问引擎盖框架架构的差异。
浏览 1提问于2016-07-06得票数 9
回答已采纳
我有一个有“学生”栏的火花放电数据。" : { "score": {"s" : "165"} }我希望更改该列的架构因此，我希望保留空值，但更改null值的架构。我在上面的过程中使用了一个udf，这是可行的。change schema
data = row.asDic
浏览 1修改于2020-06-07得票数 0
回答已采纳
下面的吡火花代码将将数据复制到Azure SQL数据库中的默认dbo架构。我们有一个名为OCC的架构。有人能修改代码以允许我们将数据复制到架构OCC吗？
浏览 7提问于2022-11-29得票数 1
回答已采纳
我正在使用Apache、HDFS和Elastichsearch构建lambda架构。在下面的图片中，我想要做的是：
到目前为止，我已经用java为我的星火流和火花应用程序编写了源代码。我在火花文档中读到，火花可以在中间层或纱线杂碎器中运行。如图所示，我已经有了hadoop集群。是否有可能在同一个hadoop集群中运行我的星火流和火花应用程序？还是我必须为火花流添加一个hadoop集群？亚瑟尔
浏览 2提问于2017-01-13得票数 2
回答已采纳
与火花在纱线-我没有办法防止并行的工作被安排。我有我的架构设置来做纯粹的批处理。
UserCache的火花增长非常快。
浏览 2修改于2016-04-13得票数 1
回答已采纳
我是加载CSV数据在火花数据与设置inferSchema选项为true。尽管我的CSV文件的模式总是相同的，而且我知道确切的模式。
手动提供模式而不是推断模式是个好主意吗？显式提供架构是否提高了性能？
浏览 1修改于2019-08-14得票数 1
回答已采纳
我有一个用于实时流的用例，我们将使用Kafka(0.9)作为消息缓冲区，使用火花流(1.6)进行流处理(HDP 2.4)。我们将在Http上收到~80~90K/Sec活动。请您提出一个推荐的架构，用于将数据摄取到Kafka主题中，这将被火花流所消耗。
我们正在考虑弗拉夫卡建筑。
浏览 7提问于2016-09-29得票数 0
回答已采纳
我才刚开始学习火花。我知道，如果我们将inferSchema选项设置为true，则模式将自动推断。我正在读一个简单的csv文件。如何在代码中不指定任何自定义架构的情况下动态推断架构。代码应该能够为任何传入数据集构建架构。我尝试使用readStream并将我的格式指定为csv，完全跳过了地狱模式选项，但在任何情况下我似乎都需要提供这个选项。
浏览 2修改于2019-08-12得票数 0
我找到了一篇文章，其中作者建议使用next Spark架构模式(为每个Cassandra节点提供Spark)：
我有N个卡桑德拉节点。所有节点都是彼此的完整副本。在我的例子中，为每个Cassandra节点运行火花奴隶是否有意义？
浏览 4提问于2016-04-11得票数 0
回答已采纳
我是新来的火花，我目前正在努力了解火花的架构。据我所知，星火集群管理器将任务分配给工作节点，并将数据的分区发送给它们。在那里，每个工作节点执行转换(如映射等)。在它自己特定的数据分区上。如果有人能启发我的话，那就太好了，无论是火花文档还是其他有关体系结构的参考资料都无法做到这一点。
浏览 3修改于2021-09-10得票数 0
回答已采纳
我正试图使用火花连接器(pyspark)将火花数据存储到点燃缓存中，如下所示： .option("url", "jdbc:ignite:thin:TEXT') \java.sql.SQLException: No PRIMARY KEY defined for CREATE TABLE
程序库org.apache.ignite:点燃-火花createTableOptions在架构括号和出现sq
浏览 12提问于2020-10-27得票数 1
论坛，
我目前正在研究Azure Synapse作为迁移我们的on数据架构的一种选择。我对它提供的功能感到兴奋- SQL池、火花池和附带的笔记本。现在我的问题是，Synapse是否适合这样的架构？我是否可以调用SQL池或火花池从蔚蓝的环境之外(例如从kubernetes吊舱)进行繁重的数据提升？
浏览 3提问于2022-03-31得票数 1
回答已采纳
然后将动态框架转换为激发数据格式以应用架构转换。为了将数据写回s3，我看到开发人员将数据转换回动态框架。写火花数据帧比写胶水动态框架有什么优势吗？
浏览 1修改于2020-06-13得票数 3
回答已采纳
1回答
我有拼花文件，我需要从火花读。有些文件中缺少几个列，这些列在新文件中存在。如果我定义架构并执行
sqlContext.read.parquet('s3://....').schema(parquet_schema
浏览 0修改于2018-09-15得票数 2
回答已采纳
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号