回答情况：
提问时间：
问题标签：
我试图使用上面提到的orc tools jar来转换JSON文件
<dependency> <artifactId>orc-tools</artifactId></dependency>
但是，导入之后，我无法看到/
浏览 13提问于2017-04-28得票数 1
回答已采纳
1回答
通过一个示例ORC文件本身，我了解到ORC文件格式没有存储任何列信息，实际上所有的列名都将被_c0替换为_cn，在这种情况下，如何才能为ORC表实现适当的模式演变？
浏览 12修改于2019-01-31得票数 2
可以将Pandas数据帧从ORC文件转换为ORC文件吗？我可以在拼图文件中转换df，但是这个库似乎不支持ORC。在Python中有可用的解决方案吗？如果不是，最好的策略是什么？一种选择是使用外部工具将拼图文件转换为ORC，但我不知道在哪里可以找到它。
浏览 144修改于2021-07-17得票数 3
2回答
使用: Amazon Aws Hive (0.13)col1 string}stored as orctblproperties("orc.compress"="SNAPPY");
set hive.exec.dynamic.partition=
浏览 4提问于2014-12-09得票数 1
回答已采纳
我正在使用apache orc 1.8。下面是文档中的简短示例：，我无法将字符串写入orc文件。import org.apache.orc.TypeDescription
OrcFile.writerOptions(conf) )
va
浏览 12修改于2022-09-24得票数 2
1回答
我们有一个需要处理ORC文件的要求。我试着用谷歌搜索，但没有结果。另外，org.apache.hadoop.hive.ql.io.orc.WriterImpl of ORC没有附加的API。
浏览 9提问于2015-09-03得票数 5
回答已采纳
3回答
我是大数据和相关技术的新手，所以我不确定我们是否可以将数据附加到现有的ORC文件中。我正在使用编写ORC文件，当我关闭Writer时，我无法再次打开该文件来向其写入新的内容，基本上可以追加新的数据。是否可以使用Java或Hive或任何其他方法将数据附加到现有的ORC文件？另一个说明是，当将Java util.Date对象保存到ORC文件中时，ORC类型存储为：
struct<timestamp:struct<fasttime:bigint,cdate:struct<cachedyear
浏览 5修改于2016-08-05得票数 3
回答已采纳
我从Map R集群复制了所有orc文件，并遵循相同的文件夹结构
at org.apache.hadoop.hive.ql.io.orc.InStream$CompressedStream.r
浏览 7修改于2017-04-01得票数 0
我们使用Spark来扁平化点击流数据，然后将其以ORC+zlib格式写入S3，我尝试过在Spark中更改许多设置，但最终创建的ORC文件的条带大小仍然非常小(<2MB)之前，每个文件的大小为20MB，我现在使用coalesce创建大小为250-300MB的文件，但每个文件仍有200个条带，即每个条带小于2MB
通过将hive.exec.orc.default.stripe.size那么，有没有关于如何增加创建的ORC文件的条带大小的想法？因为小条带的问题是，当我们使用Prest
浏览 22提问于2018-01-14得票数 1
我通过nuget下载了包Orc.SystemInfo ()。我设法将一些SystemInfoElements显示为列表。但是，没有提供名称(列表中的名称为空)。这是我到目前为止的代码(Linq-Pad) { var dotnet = new Orc.SystemInfo.DotNetFrameworkService();
浏览 10修改于2018-01-23得票数 0
回答已采纳
我使用spark shell将spark数据帧存储为orc-file，如下所示：我发现数据现在位于windows\system32\applicationsPartitioned中
如何正确删除orc-file？
浏览 18提问于2017-07-12得票数 0
回答已采纳
2回答
在这个中，提到了orc::ColumnVectorBatch可以是特定列数据类型的dynamic_cast，比如：orc::Decimal64VectorBatch。下面是我的代码：#include <orc/ColumnPrinter.hh>#include <orc/OrcFi
浏览 8修改于2020-06-12得票数 0
回答已采纳
我知道当您创建ORC表时，它将显著提高速度。但是，我们可以通过对ORC表进行分区和分页来进一步改进它吗？如果是这样的话，如何在现有的ORC表中进行分区和分组？
浏览 5提问于2016-08-08得票数 1
我已经通过pip安装了pyarrow pip install pyarrow
AttributeError: module 'pyarrow' has no attribute 'orc'
浏览 182提问于2020-04-23得票数 0
为什么Vora的ORC阅读器不支持char()类型？下面是我在尝试读取包含char(n)字段的基于Hive ORC的表的文件时得到的结果：
com.sap.spark.vora.client.VoraClientException: Could notload table FLIGHTS_2006_ORC: [Vora[eba165.extendtec.com.au:2202]] sap.hanavora.jdbc.VoraException: HL(ORC Reader: Unsupported type char(2)
浏览 12提问于2016-07-19得票数 0
回答已采纳
在用HDFS上所有可能的分区加载表之后--多个ORC文件，即HDFS上的每个分区目录都有一个ORC文件。我需要将每个分区下的所有这些ORC文件组合成一个大的ORC文件，用于一些用例。有人能建议我将这些多个ORC文件(属于每个分区)合并成一个大的ORC文件吗？
我尝试过从分区表中创建一个新的非分区ORC表。它确实减少了文件的数量，但没有减少到一个文件。
浏览 0提问于2017-12-29得票数 1
1回答
我有两个不同的目录与ORC文件在他们下面。这两个文件有不同的模式。当将两个目录读取到同一个DataFrame中时，最终模式取决于路径的顺序。website", "bool"])
df1.coalesce(1).write.orc('temporary/bla=1', mode='overwrite'
浏览 0修改于2019-09-17得票数 1
回答已采纳
我们愿意用org.apache.orc.Writer创建orc文件。我们的测试是正常的，直到包含blob的更大的数据库表创建orc文件为止。我们试图更改以下设置，但这两种设置都没有帮助：bufferSize()blockSize()Orc作者正在获取所有的数据集，只有当它完成后，写出它们，这种行为就会导致较大数据集上的内存问题。是否有一种方法可以连续填充<em
浏览 5修改于2017-08-22得票数 3
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号