首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >如何使用chill-avro在Spark中加载Avro GenericRecords?

如何使用chill-avro在Spark中加载Avro GenericRecords?
EN

Stack Overflow用户
提问于 2014-06-04 11:22:10
回答 1查看 850关注 0票数 3

我试着在Spark中使用Avro GenericRecords,但得到了一个java.io.NotSerializableException: org.apache.avro.mapred.AvroWrapper

https://gist.github.com/rjurney/8b90e9b709d061cc0b94

chill项目为Scala添加了Kryo/Avro支持。我如何结合Kryo,Avro,chill和Spark来加载Avros?

EN

回答 1

Stack Overflow用户

发布于 2014-06-25 23:47:20

chill-avro不是用于从文件系统加载数据,而是用于序列化飞行中的数据。有关详细信息,请参阅以下链接

https://github.com/twitter/chill/issues/171#issuecomment-45049396

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/24028444

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档