回答情况：
提问时间：
问题标签：
我正在调优具有Hive的集群，根据下面的链接，需要计算堆大小的值，但不确定*的含义是什么？我还有一个问题，关于如何计算hive.llap.daemon.yarn.container.mb的值，然后是ambari给出的默认值？我试图通过考虑这个值(*作为乘法)来计算这个值，并将容器值设置为yarn.scheduler.maximum.allocation.mb，但是HiveServer 2交互在调优后不会启动。
浏览 0修改于2019-02-14得票数 1
我在单元中编写了插入覆盖分区，以便将分区中的所有文件合并为更大的文件，SET hive.exec.compress.output=true;set hive.merge.mapredfiles=true;SET mapreduce.max.split.sizemapreduce.min.split.size=256000000;
SET mapreduce
浏览 2提问于2016-04-04得票数 2
回答已采纳
2回答
我使用AWS上的sqoop将20亿条记录从hive导出到Oracle数据库。我已经尝试过--batch和--num-mappers参数，它们已经帮助提高了性能。调优-Dsqoop.export.statements.per.transaction和-Dsqoop.export.records.per.statement有帮助吗？期待有关其他调优参数的建议，以提高出口吞吐量。
浏览 9提问于2017-10-29得票数 0
2回答
我是hadoop & hive的新手。对于运行在cloudera 5.2.1上的Apache Hive，您能建议一些性能调整步骤吗？为了提高配置单元查询性能，有哪些调优参数配置单元查询:-配置单元表格创建为外部，选项为“存储为文本格式”，表格属性如下:-
更改配置单元下面的设置后，我们发现性能提
浏览 0提问于2015-04-02得票数 1
SharedInMemoryCache: Evicting cached table partition metadata from memory due to size constraints谢谢
浏览 21修改于2019-02-05得票数 3
我以"ignore.malformed.json" = "true"为例使用了这个选项，但我非常确定还有很多其他选项可以调优查询。我看过Apache Hive文档，但找不到这个，在AWS文档/论坛上也找不到。
谢谢!
浏览 0修改于2018-03-04得票数 6
我面临一个ORA:7445问题与自动sql调优顾问。自动sql调优顾问不断失败
是否有任何方法从自动sql调优顾问作业中跳过此sql语句？
浏览 1修改于2017-01-22得票数 1
回答已采纳
我真的不确定如何调优查询并使其运行得更快。目前，我正在做试错，看看这是否能产生一些结果，但这似乎不是working.Mappers运行得更快，而是reducers需要永远完成。SET hive.execution.engine=tez; SET hive.qubole.cleanup.partial.data.on.failure=2;
SET hive.mapred.
浏览 154修改于2019-02-02得票数 3
回答已采纳
我在Hbase中有一个表，比方说"tbl“，我想使用Hive查询它。我将表映射为单元，如下所示：STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler当我查看作业跟踪器上的hive生成的映射作业时，我发现"map.input.records“对Hbase表中的所有项进行了计数，这意味着作业在启动任何映射器之前就会
浏览 1提问于2015-05-06得票数 9
所以，我在这里的困境是，我在一个独立决策树分类器上执行了超参数调优，我得到了最好的结果，现在轮到独立的Adaboost，但是这里是我的问题所在，如果我在Adaboost中使用调优的决策树作为base_estimator，那么我只对Adaboost执行超参数调优，它会产生与尝试对未调优的Adaboost和未调优的决策树同时作为base_estimator执行超参数调优的结果吗?
浏览 0提问于2021-09-15得票数 0
回答已采纳
我用Spark代码将数据从一个Hive表复制到另一个Hive表(外部)，数据量为7400万行(~50 GB)。插入操作需要超过40分钟。hdfs_exports_ dev_work.WORK_CUSTOMER /CUSTOMER’导入外部表dev_work.WORK_CUSTOMER；
CDH 5.8，19节点群
请您帮助调优性能以找到执行快速数据复制的其他方法
浏览 3提问于2017-08-22得票数 1
回答已采纳
1回答
我如何调优python代码来使用本机单元引擎，而不是pyspark来执行下面的查询？select count(com_dq), col1 from ( select col1, case when col2 not in (select distinct col3 from hive_Schema_name_1.table_name_1 where col4=1 AND col5='ABC' ) then 1 else 0 end as com_dq from hive_Schema_name_2.ta
浏览 1修改于2022-10-05得票数 0
没有字典文件，也没有调优文件。训练结束后，我检查了测试结果，我想在模型中做一些调整。以下是几个问题：
无法看到自动生成的调优文件，因此我必须提供自己的调优文件，以便进行更易于管理的调优过程。是这样吗？请描述如何生成调优文件，当我有3个不同
浏览 3提问于2020-04-10得票数 2
1回答
当我使用hyperopt库来调优随机森林分类器时，我得到了以下结果：然而，当我使用默认的超参数来训练模型时，所有的评估指标(精度、召回、F1、iba、AUC)都会返回比调优模型更高的值。我还应该继续跟踪调优参数吗？或者忽略调优过程的结果，因为它无助于改进结果？
浏览 0提问于2019-05-27得票数 4
1回答
作为其中的一部分，我有一个类表示我的调优参数。最后，我要检查所有的整定参数，并计算精度。例如，调优参数可以是k近邻的k值，从1到9。其次，我想为这个对象创建某种迭代器。方法getNextPair()应该返回下一组调优参数，直到hasNext()返回false为止。通过这种方式，我
浏览 5提问于2016-03-09得票数 0
回答已采纳
我读过很多关于用Java调优GC的文章，经常想知道有多少人真正使用了一些更高级的特性。我总是避免在可能的情况下进行调优，并专注于编写我所能编写的最简单的代码(Brian的建议)--到目前为止，这似乎对我很有帮助。
这些调优策略是否具有跨VM版本变化的弹性，还是需要不断的重新评估？我使用过的一个调优是-server标志。
浏览 1修改于2009-03-08得票数 21
回答已采纳
1回答
除了使用验证数据来调优超参数之外，将验证数据包含到模型中还有其他好处吗？那么，如果我们不调优超参数，那么验证集就没有意义了？
浏览 0修改于2020-02-28得票数 2
回答已采纳
因此，使用Catboost，您有参数要调优，还有迭代要调优。因此，对于迭代，您可以在打开overfit检测器的情况下使用交叉验证进行优化。我的问题是在哪个顺序调优Catboost。我应该先调优迭代次数，还是先调优其他参数。很多参数都依赖于迭代次数，但迭代次数也可能取决于参数集。那么，你知道哪种顺序才是正确的方式吗？
浏览 1提问于2017-10-30得票数 0
1回答
我试图从Hive读取日志数据，将其按id、日期和其他参数分成若干块，然后写入另一个单元表。我应该对hadoop/tez/hive进行一些调优，以允许对最后一个还原器进行类似的并行处理，还是将输入数据拆分到其他参数以避免巨大的条目会更明智？
谢谢你的建议。
浏览 3提问于2016-02-15得票数 1
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号