回答情况：
提问时间：
问题标签：
我有一份工作，我想通过多个Mappers访问同一个文件。最初，我尝试在每个映射器中打开并查找文件，但事实证明，这是非常慢的。是否有可能在run()方法中打开文件(我在这里做job.SetOutputPath等事情)，然后与Mappers共享这个打开的文件，这样我就不会有惊人的100多个Mappers分别打开同一个文件的开销了吗
浏览 0提问于2013-11-07得票数 0
回答已采纳
2回答
需要对Hadoop集群中特定作业的映射器的估计做一些澄清。根据我的理解，映射器的no取决于用于处理的输入分割。但是，如果我们要对已经驻留在HDFS中的输入数据进行处理，情况就是如此。在这里，我需要澄清由SQOOP作业触发的映射器和减速器。PFB.
浏览 3修改于2016-12-29得票数 0
回答已采纳
我正在Zend中创建一个简单的ORM，使用DbTable/Mapper/Model方法粗略封装一个公共库应用程序。但是，我不确定我处理与用户相关的类的方式是否正确，因为我在Mapper_User中有一些逻辑，在Model_User中也有一些逻辑。<?phpcreateModelObject would be called by a Controller handling a Form_Regsiter's
data, to create a new Model_User object. This obj
浏览 6修改于2012-09-09得票数 5
试图将EMR EC2实例从5.3C4.4XLarge(hivever2.1.1)升级到EMR5.16.0C5.4XLarge(Hive2.3.3)，我的简单查询从2.1.1EMR5.3.0中的表中选择max(date)，只启动一个映射器和一个减法器，当我升级和运行相同的查询时，它将启动1300+映射器。有人能帮我一下吗。
浏览 1提问于2018-08-23得票数 1
回答已采纳
假设我有3个文件要存储在HDFS中，并希望通过MapReduce读取它们。这3个文件的大小是file1.txt(64MB),file2.txt(32MB),file3.txt(1MB)我想知道这3个文件有多少个块，如果我编写一个读取输入dir /omega/usecase/input的/omega/usecase/input程序，将执行多少个映射程序？
浏览 2修改于2015-07-15得票数 1
回答已采纳
我正在运行下面的代码，但没有生成任何输出(好吧，输出文件夹和reducer输出文件已经创建，但part-r-00000文件中没有任何内容)。从日志中，我怀疑映射器没有发射任何东西。package com.telefonica.iot.tidoop.mrlib;
import java.io.IOException;import org.apache.hadoop.conf.Conf
浏览 0提问于2015-11-06得票数 0
我在单元格中有一个分区表，每个分区将有630个gzip压缩文件，每个文件的平均大小为100 of。如果我使用hive查询这些文件，它将准确地生成630个映射器，即一个文件的映射器。为什么猪和蜂箱的执行方式有区别？在蜂巢中，我们可以同样地组合小文件来生成更少的映射器吗？
浏览 4提问于2014-04-01得票数 0
回答已采纳
我知道这个简单的问题，我需要这个社区在这个查询上提供一些帮助，当我用ORC格式创建PartitionTable时，当我尝试从非分区表中转储数据时--它指向2GB文件中的210个列--我看到Mapper的数量是2，减法器是2。有没有办法增加Mapper和减速器。我的假设是，不能像MR1.0那样设置Mapper和减速器的数量，它是基于纱线容器大小、Mapper最小内存和最大内存等设置的。谁能建议我TEz计算地图和减速器。什么是保持内存大小设置的最佳值，这样我就不会遇到这样的问题: Java堆空间，Java内存问题。我的文件大小可能会增长到100 My。请帮帮我。
浏览 5提问于2015-03-02得票数 1
回答已采纳
我能用不同的HashMap与不同的Mapper共享相同的值，比如静态变量吗？我在hadoop集群中运行作业，并试图在运行在不同数据节点上的所有映射器之间共享变量值。InputFormat => KeyValueTextInputFormat
st
浏览 2修改于2017-06-13得票数 0
java.lang.ClassLoader.loadClass(ClassLoader.java:522)的java.lang.ClassNotFoundException: org.mapstruct.factory.Mappers
浏览 4提问于2021-09-04得票数 0
回答已采纳
我需要知道Mappers在Reducer中输出的记录数。只有一个Reducer，所以我猜这简化了事情。
浏览 0修改于2015-04-10得票数 2
最近，我阅读了一个使用特殊映射器配置的mybatis项目，如下所示：我不知道这是怎么用的。有人能帮帮我吗？编辑
浏览 0修改于2014-09-04得票数 0
我正在使用Hortonworks的沙盒VM来运行Hadoop服务。我在Tez模式下执行了一个Pig过滤器脚本。我看错地方了吗？
浏览 3提问于2016-11-11得票数 0
我刚刚开始学习Hadoop，我想确认我对“如何将XML文件存储在HDFS中并由Mappers处理”的理解。
我有一个XML文件，其XML格式如下所示。它的简单customerlist XML示例。
浏览 6修改于2015-11-19得票数 2
回答已采纳
Use non_primary=True to create a non primary Mapper.clear_mappers() will remove
*all* current mappers
浏览 0提问于2009-08-20得票数 1
回答已采纳
我试图在Hadoop中做一些简单的事情，并发现在编写映射器和缩减程序时，到处都定义为静态的。我的任务将被分解成几个map部分和一个最终的reduce。如果我想在其他工作中重用我的一个映射器怎么办？如果我将我的映射器类定义为内部static，我可以在其他工作中使用它吗？此外，非平凡的问题可能需要更多更复杂的映射器，所以在维护时将它们放在一个巨大的文件中会变得很糟糕。
浏览 0提问于2013-02-12得票数 5
我正试图在MapReduce表中的数据上编写一个链式的HBase作业，并且需要在这个概念上提供一些帮助。我不希望人们通过伪代码来提供代码，基于HBase的Java将是很好的选择。MapReduce作业1:从两个没有公共行键的表中读取数据，并在还原器中从它们中创建一个摘要。还原器的输出是一个Java对象，它包含已序列化为字节码的摘要。我将此对象存储在HBase中的临时表中。
MapReduce工作2:这就是我遇到问题的地方。现在我需要读取这个摘要对象，以便在每个映射器中都可用，这样当我从第三个(不同)表读取数据时，我可以使用这个摘要对象对从第三个表读取的数据执行更多的计算。
浏览 7提问于2014-07-02得票数 0
回答已采纳
I有三个类: A，B，C，，每个类都有单个ObjectX字段，类A和C也有ObjectY字段。类B是自动生成的，我不能修改它。我有A到B的映射器，从B到C的映射器，它们不包括ObjectY (被忽略)。<code>H 210</code><code>F 211</code>mapper代码如下：public interface MyMapper { B AtoB(
浏览 4修改于2020-03-15得票数 0
我正在尝试使用基于双倍的垂直系列来理解Mappers.XY类。为了测试它，我希望Y轴的所有偶数索引都是红色的，但是.Fill似乎只使用X值。下面是我的代码和结果：
var mapp
浏览 6修改于2017-11-19得票数 4
回答已采纳
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号