blocks|key|2252976|text|put(List<Put>+puts)或put(Put+aPut)在引擎盖下是相同的。他们都给doPut(List<Put>+puts)打电话。|type|unstyled|depth|inlineStyleRanges|offset|length|style|CODE|entityRanges|data|2252977|重要的是@ozhang提到的缓冲区大小。例如，默认值为2MB。|2252978|<property>+++
+++++<name>hbase.client.write.buffer</name>
+++++<value>2097152</value>+
</property>|code-block|syntax|javascript|2252979|每次写入缓冲区被填满并触发flushCommits()时，都会有1rpc。因此，如果您的应用程序因为对象相对较大而经常刷新，那么尝试增加写缓冲区大小可以解决这个问题。|2252980|entityMap^0|0|J|K|D|1B|L|0|0|0|D|E|0^^$0|@$1|2|3|4|5|6|7|Q|8|@$9|R|A|S|B|C]|$9|T|A|U|B|C]|$9|V|A|W|B|C]]|D|@]|E|$]]|$1|F|3|G|5|6|7|X|8|@]|D|@]|E|$]]|$1|H|3|I|5|J|7|Y|8|@]|D|@]|E|$K|L]]|$1|M|3|N|5|6|7|Z|8|@$9|10|A|11|B|C]]|D|@]|E|$]]|$1|O|3|-4|5|6|7|12|8|@]|D|@]|E|$]]]|P|$]]

<code>put(List&lt;Put&gt; puts)</code> or <code>put(Put aPut)</code> are the same under the hood. They both call <code>doPut(List&lt;Put&gt; puts)</code>.

What matters is the buffer size as mentioned by @ozhang. e.g. The default value is 2MB.

<pre><code>&lt;property&gt; 
 &lt;name&gt;hbase.client.write.buffer&lt;/name&gt;
 &lt;value&gt;2097152&lt;/value&gt; 
&lt;/property&gt;
</code></pre>

There will be 1 RPC every time the write buffer is filled up and a <code>flushCommits()</code> is triggered. So if your application is flushing to often because your objects are relatively big, experimenting with increasing the write buffer size will solve the problem.

blocks|key|5377212|text|如果你的键值很大，那么使用puts列表可能会有客户端缓冲区大小的问题。|type|unstyled|depth|inlineStyleRanges|entityRanges|data|5377213|<property>+++
++++<name>hbase.client.write.buffer</name>
++++<value>20971520</value>+
</property>|code-block|syntax|javascript|5377214|默认情况下，客户端最多收集2mb数据，然后将其刷新。因此，您还必须增加此值|5377215|entityMap^0|0|0|0^^$0|@$1|2|3|4|5|6|7|K|8|@]|9|@]|A|$]]|$1|B|3|C|5|D|7|L|8|@]|9|@]|A|$E|F]]|$1|G|3|H|5|6|7|M|8|@]|9|@]|A|$]]|$1|I|3|-4|5|6|7|N|8|@]|9|@]|A|$]]]|J|$]]

If your key value size is large, then using list of puts may have a client side buffer size problem. 

<pre><code>&lt;property&gt; 
 &lt;name&gt;hbase.client.write.buffer&lt;/name&gt;
 &lt;value&gt;20971520&lt;/value&gt; 
&lt;/property&gt;
</code></pre>

Client collects upto 2mb data by default and then flushes it. So you also have to increase this value

blocks|key|2252901|text|对于批处理but，最好先构造一个but列表，然后调用HTableInterface.put(List<Put>+puts)，因为它使用单个RPC调用来提交批处理，但根据列表的大小，写缓冲区可能会将其全部刷新，也可能不会|type|unstyled|depth|inlineStyleRanges|offset|length|style|CODE|entityRanges|data|2252902|entityMap^0|Q|Z|0^^$0|@$1|2|3|4|5|6|7|H|8|@$9|I|A|J|B|C]]|D|@]|E|$]]|$1|F|3|-4|5|6|7|K|8|@]|D|@]|E|$]]]|G|$]]

For batch puts it's better if you construct a list of puts and then call <code>HTableInterface.put(List&lt;Put&gt; puts)</code> because it uses a single RPC call to commit the batch, but depending on the size of the list write buffer may flush it all or not

blocks|key|2252926|text|与使用put(List+Put)方法相比，您肯定可以节省多个RPC请求的开销。|type|unstyled|depth|inlineStyleRanges|entityRanges|data|2252927|关于非常大的Put对象:默认情况下，最大KeyValue大小为10MB。我认为你必须增加它来存储更大的KeyValue对象。|2252928|hbase.client.keyvalue.maxsize|2252929|指定KeyValue实例的组合最大允许大小。这是为保存在存储文件中的单个条目设置上限。由于它们不能拆分，这有助于避免由于数据太大而无法进一步拆分区域。将其设置为最大区域大小的一小部分似乎是明智的。将其设置为零或更小将禁用检查。|2252930|默认值:+10485760|2252931|entityMap^0|0|0|0|0|0^^$0|@$1|2|3|4|5|6|7|L|8|@]|9|@]|A|$]]|$1|B|3|C|5|6|7|M|8|@]|9|@]|A|$]]|$1|D|3|E|5|6|7|N|8|@]|9|@]|A|$]]|$1|F|3|G|5|6|7|O|8|@]|9|@]|A|$]]|$1|H|3|I|5|6|7|P|8|@]|9|@]|A|$]]|$1|J|3|-4|5|6|7|Q|8|@]|9|@]|A|$]]]|K|$]]

You will definitely save on the overhead of multiple RPC requests versus one by using put(List puts) method. 

About the very large Put object: there is a limitation by default on maximum KeyValue size of 10MB. I think you have to increase that to store bigger KeyValue objects.

hbase.client.keyvalue.maxsize

Specifies the combined maximum allowed size of a KeyValue instance. This is to set an upper boundary for a single entry saved in a storage file. Since they cannot be split it helps avoiding that a region cannot be split any further because the data is too large. It seems wise to set this to a fraction of the maximum region size. Setting it to zero or less disables the check.

Default: 10485760

blocks|key|5377341|text|请注意，这已被弃用|type|unstyled|depth|inlineStyleRanges|entityRanges|data|5377342|5377343|+p̶u̶t̶(̶L̶i̶s̶t̶<̶P̶u̶t̶>̶̶p̶u̶t̶s̶)̶̶o̶r̶̶p̶u̶t̶(̶P̶u̶t̶̶a̶P̶u̶t̶)̶̶a̶r̶e̶̶t̶h̶e̶̶s̶a̶m̶e̶̶u̶n̶d̶e̶r̶̶t̶h̶e̶̶h̶o̶o̶d̶T̶h̶e̶y̶b+u̶h+c̶a̶l̶d+o̶P̶u+u+c%7C(c+p，u+w+i)|blockquote|5377344|5377345|5377346|现在有了新的工具。org.apache.hadoop.hbase.client.AsyncRequestFutureImpl.SingleServerRequestRunnable#run+MultiServerCallable|offset|length|style|CODE|5377347|可调用的|5377348|，用于处理针对单个regionserver的多方法调用|5377349|5377350|5377351|所以我认为你第一个问题的答案是肯定的。|5377352|我会通过基准测试来验证它。|5377353|entityMap^0|0|0|0|0|0|9|2D|2N|J|0|0|0|0|0|0|0^^$0|@$1|2|3|4|5|6|7|Z|8|@]|9|@]|A|$]]|$1|B|3|-4|5|6|7|10|8|@]|9|@]|A|$]]|$1|C|3|D|5|E|7|11|8|@]|9|@]|A|$]]|$1|F|3|-4|5|6|7|12|8|@]|9|@]|A|$]]|$1|G|3|-4|5|6|7|13|8|@]|9|@]|A|$]]|$1|H|3|I|5|6|7|14|8|@$J|15|K|16|L|M]|$J|17|K|18|L|M]]|9|@]|A|$]]|$1|N|3|O|5|6|7|19|8|@]|9|@]|A|$]]|$1|P|3|Q|5|E|7|1A|8|@]|9|@]|A|$]]|$1|R|3|-4|5|6|7|1B|8|@]|9|@]|A|$]]|$1|S|3|-4|5|6|7|1C|8|@]|9|@]|A|$]]|$1|T|3|U|5|6|7|1D|8|@]|9|@]|A|$]]|$1|V|3|W|5|6|7|1E|8|@]|9|@]|A|$]]|$1|X|3|-4|5|6|7|1F|8|@]|9|@]|A|$]]]|Y|$]]

Please note that this is deprecated

<blockquote>
 p̶u̶t̶(̶L̶i̶s̶t̶&lt;̶P̶u̶t̶>̶ ̶p̶u̶t̶s̶)̶ ̶o̶r̶ ̶p̶u̶t̶(̶P̶u̶t̶ ̶a̶P̶u̶t̶)̶ ̶a̶r̶e̶ ̶t̶h̶e̶ ̶s̶a̶m̶e̶ ̶u̶n̶d̶e̶r̶ ̶t̶h̶e̶ ̶h̶o̶o̶d̶.̶ ̶T̶h̶e̶y̶ ̶b̶o̶t̶h̶ ̶c̶a̶l̶l̶ ̶d̶o̶P̶u̶t̶(̶L̶i̶s̶t̶&lt;̶P̶u̶t̶>̶ ̶p̶u̶t̶s̶)̶.̶
</blockquote>

There is new implements now.
<code>org.apache.hadoop.hbase.client.AsyncRequestFutureImpl.SingleServerRequestRunnable#run</code>
<code>MultiServerCallable</code>

<blockquote>
 Callable that handles the multi method call going against a single regionserver
</blockquote>

So I think the answer for your first question is yes.

I will verify it by benchmark test sometime.

I am working on a batch job to process a batch of Put objects into HBase through HTableInterface. There are two API methods, HTableInterface.put(List) and HTableInterface.put(Put).

I am wondering, for the same number of Put objects, is the batch put faster than putting them one by one?

Another question is, I am putting a very large Put object, which caused the job to fail. There seems a limit on the size of a Put object. How large can it be?

Is HBase batch put put(List<Put>) faster than put(Put)? What is the capacity of a Put object?

翻译质量差，导致语言生硬或混乱。

没有提供实际的解决方法或示例。

解答不清晰，无法理解或解决问题。

页面排版不美观，阅读体验差。

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云AI代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

功能1上新10个字符

功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符。

功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符。

功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符

功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符

功能4上新

文章&问答评论现已支持表情

全新交互，全新视觉，新增快捷键、悬浮工具栏、高亮块等功能并同时优化现有功能，全面提升创作效率和体验

社区富文本编辑器全新改版！诚邀体验～ 

精选全网热门MCP server，让你的AI更好用 🚀

💥开发者 MCP广场重磅上线！

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

我正在处理一个批处理作业，通过HTableInterface将一批Put对象处理到HBase中。接口方法有两种:HTableInterface.put(列表)和HTableInterface.put(Put)。我想知道，对于相同数量的Put对象，批量put是否比逐个put更快？另一个问题是，我放置了一个非常大的Put对象，这导致作业失败。Put对象的大小似乎有一个限制。它能有多大？

问HBase批量put(List<Put>)比put( put )快吗？Put对象的容量是多少？
EN

回答 5

Stack Overflow用户

Stack Overflow用户

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问HBase批量put(List<Put>)比put( put )快吗？Put对象的容量是多少？EN

回答 5

Stack Overflow用户

Stack Overflow用户

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问HBase批量put(List<Put>)比put( put )快吗？Put对象的容量是多少？
EN