回答情况：
提问时间：
问题标签：
，我需要将它们转换为Hadoop SequenceFile格式供Mahout进一步处理(例如集群)
http://flickr.com/photos/tags/100commentgroup http:我试图跳过arff生成部分，转而生成一个sequenceFile。如果我没有弄错，要将我的数据表示为sequenceFile，我需要用$tag_uri作为键存储数据的每一行，然后以$image_vector作为值。
浏览 2提问于2011-08-15得票数 3
回答已采纳
我正在创建一个存储在HashMap中的Hadoop值对的SequenceFile。为了提高效率，我想知道键值对向量的长度，这样我就可以用适当的大小初始化HashMap。
浏览 1修改于2012-10-10得票数 1
我正在尝试运行bin/hadoop示例-1.0.4.jar排序输入输出如果我运行bin/hadoop示例-1.0.4.jar字计数输入输出，它就工作了。
浏览 0提问于2013-04-19得票数 0
回答已采纳
问题是，如果存在SequenceFile，下面的调用将只是覆盖SequenceFile，而不是附加到它。// fs and conf are set up for HDFS, not as a LocalFileSystem keyClass, valueClass, SequenceFile.CompressionType.NONE);我
浏览 2提问于2011-04-08得票数 4
我想从它创建一个SequenceFile.Reader或类似的类，而不需要将输出流写入磁盘上的临时文件。是否有什么东西会让我从输入流到允许我从输入流读取键/值对的东西。
浏览 2提问于2014-04-07得票数 0
我的问题是hive如何在sequencefile中存储数据？我获取bytesWritable键的原因是不是因为第一列类型是string？
浏览 2提问于2013-05-23得票数 2
我有一个SequenceFile，我想使用Pyspark将其转换为DataFrame。为此，我使用以下代码： seq_file = sc.sequenceFile("products_sequencefile")
df = prod_seq.map(lambda a: str(a).split
浏览 18修改于2020-12-12得票数 0
回答已采纳
at java.io.DataInputStream.readFully(DataInputStream.java:152) at org.apache.hadoop.io.SequenceFile$Reader.<init>(SequenceFile.java:1486)
at org.apache.hadoop.io
浏览 0提问于2012-05-25得票数 3
回答已采纳
我使用以下代码将一些数据写入SequenceFile格式的文件。当程序运行一段时间时，我通过eclipse控制台上的红色按钮中断程序。但是，当我检查hdfs上的数据文件时，序列文件的大小为零。当我使用SequenceFile.Reader读取之前创建的文件时，我遇到了“exception in thread "main”java.io.EOFException“异常。private String filePath = "/user/hadoop/input/";
private Strin
浏览 6提问于2013-03-21得票数 0
基本上，我是写一个SequenceFile到磁盘，然后读取它回来。然而，每次我在阅读时都会得到一个EOFException。IntWritable key = new IntWritable(); try { stream(fs.create(path)),
浏览 0修改于2015-01-13得票数 2
回答已采纳
orc').load(hdfspath)这个很好用
sqlContext.read.format('sequencefile
浏览 0修改于2018-02-02得票数 1
DataFrame中：val sqlContext = new org.apache.spark.sql.SQLContext(sc)我的目标是能够使用序列文件或文本文件作为输入来测试程序。
浏览 1提问于2017-11-30得票数 0
我有一个小程序，它每秒向HDFS上的块压缩同步写入10条记录，然后每5分钟运行一次SequenceFile ()，以确保超过5分钟的所有内容都可用于处理。writer = SequenceFile.createWriter( SequenceFile.Writer.file(path), SequenceFile.Writer.valueClass(T
浏览 2修改于2015-03-18得票数 2
有没有办法把序列文件转换成.txt文件？这个序列文件是在一个hadoop作业之后生成的，当我尝试使用SequenceFileReader读取它时，它会给我一个EOFException，尽管作业已经成功完成。因此，我认为我可以将序列文件复制到我的本地系统，然后在可能的情况下转换为txt格式。
浏览 0提问于2012-05-29得票数 1
回答已采纳
我有一个CSV文件，我希望将其转换为SequenceFile，最终用于创建在集群作业中使用的NamedVectors。我一直在使用seqdirectory命令尝试创建一个SequenceFile，然后使用-nv选项将输出提供给seq2sparse以创建NamedVectors。
浏览 2提问于2012-08-17得票数 5
回答已采纳
我们选择文件格式来存储原始日志，主要需求是压缩和可拆分的。块压缩(无论是哪个编解码器) 和看起来都是迄今为止最合适的。
浏览 0提问于2015-10-10得票数 2
我阅读了hadoop-1.0.4源代码中的SequenceFile.java。我还发现了sync(long)方法，该方法用于在SequenceFile中将SequenceFile拆分为文件拆分时，在MapReduce中查找“同步标记”(在文件创建时生成的16字节MapReduce我的疑问是：
考虑这样一种情况，SequenceFile中的数据恰好包含与“同步标记”相同的16字节数据序列，上面的代码将错误地将该16字节数据视为“同步标记”，然后SequenceFile将无法正确解析SequenceF
浏览 5修改于2013-04-27得票数 1
回答已采纳
我想将一些Pig变量存储到Hadoop SequenceFile中，以便运行外部MapReduce作业。
浏览 3提问于2014-10-28得票数 0
回答已采纳
我正在考虑使用SequenceFile作为“小型数据库”来存储小文件。我需要这个并发客户端可以在这个SequenceFile中存储小文件并检索唯一的id (记录的键)。
有可能吗？
浏览 1提问于2015-10-27得票数 0
回答已采纳
我在HDFS中有一个SequenceFile，我想转换成一个数据帧并插入到一个表中。我在转换部分遇到了一些麻烦。我有这样的代码： myseqFile = sc.sequenceFile("/user/sequencefile") 我得到了以下结构： (u' 10', u' 10,34,Center,Tatic')
浏览 24提问于2020-11-05得票数 0
回答已采纳
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号