- 综合排序
- 最热优先
- 最新优先
- 来自专栏不温卜火
HBase快速入门系列(6) | Hbase简单的API操作
添加依赖 <dependencies> <dependency> <groupId>org.apache.hbase</groupId> <artifactId >hbase-server</artifactId> <version>1.3.1</version> </dependency> <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-client</artifactId> <version>1.3.1 ", "hadoop002,hadoop003,hadoop004"); conf.set("hbase.zookeeper.property.clientPort", "2181"); value)); table.put(put); }finally { table.close(); } } 6.
86330发布于 2020-10-28 TDStore 替换 HBase：财付通历史库压缩率降至 25% 与查询耗时降至 6ms 的技术实践
统一 JDBC 访问层下的历史库查询瓶颈与数据质量挑战 财付通金融科技目前的数据库架构采用统一 JDBC API 访问，其中在线库（热数据）查询占比达 95%，由 6 个 TDSQL MySQL 分片承载 引入 TDSQL 新一代敏态引擎 TDStore 重构历史库 针对 HBase 的痛点，财付通采用 TDSQL 新一代敏态引擎 TDStore 进行替换。 还款记录业务实测：压缩率优化至 25% 与查询耗时降至 6ms 在实际的还款记录业务场景中，将 HBase 数据迁移至 TDStore 后，在容量与性能上取得了可量化的业务收益： 存储成本显著降低： 迁移后 查询性能大幅提升： 原 HBase 访问链路（先查索引表，再查主表）时耗近 30ms。 迁移至 TDStore 后，时耗平均降至 6ms。 高性能与高压缩并存： 原生支持二级索引和跨行事务，解决了 HBase 查询链路长的问题（从 30ms 降至 6ms），同时利用 LSM-Tree 架构实现了 25% 的极致压缩率。
6800编辑于 2026-05-30- 来自专栏烟草的香味
6大设计原则之里氏替换原则
降低代码的灵活性.子类必须拥有父类的属性和方法,让子类自由的世界中多了些约束 增强了耦合性.当父类的常量、变量和方法被修改时,需要考虑子类的修改,有时更会带来非常糟糕的结果--大段代码需要重构 里氏替换原则的定义 通俗点讲,只要父类能出现的地方子类就可以出现,而且替换成子类也不会产生任何错误或异常,使用者可能根本不需要知道是父类还是子类.但是反过来就不行了,有子类出现的地方,父类未必能适应. 里氏替换原则的规范(继承的规范) 1.子类必须完全实现父类的方法 例如有一个打枪的游戏,类图如下 ? 其 Soldier 代码如下 ? ,而是重载,因为输入参数不同 父类的参数范围小,当调用子类 doSomething方法时,若参数为HashMap调用父类方法,若为Map调用子类方法 要是反过来,子类的 参数比父类范围下,就违背了里氏替换原则 4.覆写或实现父类的方法是输出结果可以被缩小 这个也不难理解,也就是说父类方法返回的是Map时,子类可以返回HashMap 但是反过来,父类返回的是HashMap,而子类返回Map类型就违背了里氏替换原则
86620发布于 2019-07-25 - 来自专栏后台及大数据开发
Linux巩固记录（6） Hbase环境准备-zookeeper安装
Hbase是运行在hadoop之上，所以请参考第3篇文章搭建好一个master，两个slave的hadoop环境，我采用的版本为hadoop2.7.4 不了解Hbase的同学可以参考下这篇文章，分析得相当深刻 ，感谢作者 http://blog.csdn.net/u010270403/article/details/51648462 为啥在安装Hbase前需要安装zookeeper？ 1，hbase regionserver 向zookeeper注册，提供hbase regionserver状态信息（是否在线） 2，hmaster启动时候会将hbase 系统表-ROOT- 加载到 zookeeper
52840发布于 2018-08-02 - 来自专栏低级Java知识传播者
openresty替换线上nginx之ipv6功能测试
背景 我们最近的一个需求是用openresty替换线上的nginx，而线上nginx是开启了支持ipv6的。 那么我们openresty也需要在开发环境测试，看看能不能支持ipv6. nginx怎么支持Ipv6呢，一般在配置文件进行如下配置： server { listen 8008; listen 在测试之前，先了解一些ipv6基础知识。 id=1736787745342947999 只要你开启了IPv6功能，主机就会自己配置IPv6的链路本地地址，根本不需要路由器进行分配。 但是假设你有2个网卡，都启用了IPv6，现在你要给局域网一个地址为fe80::1122:3344:5566的主机发送报文（不是你本地IPv6地址。
1.6K20编辑于 2023-08-30 - 来自专栏Python爬虫与数据挖掘
盘点6个Pandas中批量替换字符的方法
想问一下我有一列编码为1，2，3，4的数据，如何将1批量换为“开心”，2批量换为“悲伤”这种字符替换呢？ 这篇文章基于粉丝提问，针对有一列编码为1，2，3，4的数据，如何将1批量换为“开心”，2批量换为“悲伤”这种字符替换的问题，盘点了6个Pandas中批量替换字符的方法，给出了具体说明和演示，顺利地帮助粉丝解决了问题
3.3K10编辑于 2022-04-12 - 来自专栏存储公众号：王知鱼
Optane替换，Kioxia FL6 技术成熟度
FL6提供高达2倍的单盘最大容量，为容量敏感的SCM层实现更高密度。 延迟 (4K随机) 读: ~6µs 写: ~6µs 读: 29µs 写: 8µs 结论不一。 Kioxia FL6是否是合适的替代品，完全取决于具体的应用场景。 场景一：写密集型缓存与日志记录 结论：高度可替代。 这是FL6最擅长的领域。 管理现有Optane资产：对于已部署Optane的用户，应密切关注英特尔公布的EOL和EOIS时间表 3，并制定相应的硬件替换和数据迁移计划。 13, 2025, https://www.techpowerup.com/ssd-specs/kioxia-fl6-1-6-tb.d1881 FL6 Series (2.5-inch) | KIOXIA Notice：Human's prompt, Datasets by Gemini-2.5 #高性能存储 #Optane替换
68710编辑于 2025-07-27 - 来自专栏LhWorld哥陪你聊算法
HBase篇--初始Hbase
一.前述 1.HBase，是一个高可靠性、高性能、面向列、可伸缩、实时读写的分布式数据库。 二.Hbase数据模型 ? 2.1 ROW KEY(相当于关系型数据库中的ID) 决定一行数据 按照字典顺序排序的。 HBase把同一列族里面的数据存储在同一目录下，由几个文件保存。 2.3 Timestamp时间戳（相当于版本！！！） 三.Hbase架构 ? 3.1 Client 包含访问HBase的接口并维护cache来加快对HBase的访问 3.2 Zookeeper 保证任何时候，集群中只有一个master（HA） 存贮所有Region的寻址入口。
5.6K20发布于 2018-09-13 - 来自专栏大数据那些事
Hbase（4）——hive on hbase
可以用如下语句在hive上实行创表，然后hbase上会出现对应的表 ? ? 此时可以看见basketball2已经在hbase上建立了 ps：CREATE TABLE basketball2(num int,team string,state string) STORED BY ‘org.apache.hadoop.hive.hbase.HBaseStorageHandler’ WITH SERDEPROPERTIES (“hbase.columns.mapping” = “ :key,player:team,player:state”) TBLPROPERTIES (“hbase.table.name” = “basketball2”); create table后面跟hive 上要创建的表名，mapping相当于映射，：前面没有东西就相当于是hbase里的rowkey，后面的player相当于列族里的Column family，而team和state相当于Column qualifier
4.9K10发布于 2020-11-11 - 来自专栏生如夏花的个人博客
Hbase(四)：Hbase原理
Hbase(四)：Hbase原理 Hbase的工作方式 region的分裂和结构 hbase表中的数据按照行键的字典顺序排序 hbase表中的数据按照行的的方向切分为多个region 最开始只有一个 写入数据到hdfs的过程其实是不断追加hfile的过程 Hbase写入数据 数据写入hbase时 先在hlog中记录日志 再修改memstore 直接返回成功 这样 不需要真正等待写入hdfs的过程 所以很快 由于hbase中的数据天然排序 再加上索引 整个查询也可以非常的快 Hbase中的region的寻址 在hbase中有一个hbase:meta表，其中存放了 表和region和regionSever 之间的对应关系信息 支持增、删、读、改、顺序扫描操作 牺牲了一部分读的性能换取了高效写入能力 Hbase系统架构 hbase中的老大叫hmaster 小弟叫hregionServer 客户端叫Client 的数据是可靠的 基于hdfs，由hdfs的可靠性保证了hbase的可靠性–即数据可以有多个备份 利用zookeeper实现了HA，即使某一台机器挂掉另外的机器也可以很快的替换它 Hbase与Hive
5K10发布于 2020-11-24 - 来自专栏章鱼carl的专栏
【HBase】HBase之what
cell中的数据是没有类型的，全部以字节码形式存贮 (6)对行的写操作是始终是“原子”的 物理模型 (1)Client：Client包含了访问Hbase的接口，另外Client还维护了对应的cache (6)HLog：当数据保存到MemStore，最后却没有保存到HFile中时，死机了。用户操作的指令保存在HLog中，它会将指令执行，再将重新保存到MemStore中，这样就可以完成后面的操作了。 (6)Region使用HLOG恢复完数据后触发 当RegionServer出现故障的时候，其上面的Region会迁移到其他正常的RegionServer上，在恢复完Region的数据后，会触发刷盘，当刷盘完成后才会提供给业务访问 NotServingRegionException这个错误 (5) 第5步RegionServer在.splits创建daughterA和daughterB，并在文件夹中创建对应的reference文件，指向父Region的Region文件 (6) 第6步RegionServer在HDFS中创建daughterA和daughterB的Region目录，并将reference文件移动到对应的Region目录中 (7) 第7步在.META.表中设置父
4.4K40编辑于 2022-03-31 - 来自专栏章鱼carl的专栏
【HBase】HBase之how
HBase Shell 常用命令： 注意：HBase在linux命令行下操作时，区分大小写 HBase API HBase 提供Java方式的原生接口，其中需要注意的有： (1)创建Connection HBase Rest Gateway HBase附带的REST服务器，该服务器将HBase表，行，单元和元数据作为URL指定的资源公开。 HBase到Hive 将HBase的数据作为数据源，建立Hive外部表关联到HBase，利用Hive的HQL查询HBase数据，更进一步，将Hive的元数据同步到Impala，利用Impala的SQL (6)HFile：HBase数据在底层分布式文件系统中的文件组织格式。 关于进程角色，主要有ZooKeeper、Master、RegionServer等角色。 5.避免数据热点的方法 - Hashing 基于RowKey的完整或部分数据进行Hash，而后将Hashing后的值完整替换原RowKey或部分替换RowKey的前缀部分。
4.2K20编辑于 2022-03-31 - 来自专栏岑玉海
Hbase 学习（十） HBase Snapshots
/bin/hbase shell hbase> snapshot 'myTable', 'myTableSnapshot-122112' 3.列出已经存在的快照 $ . /bin/hbase shell hbase> list_snapshots 4.删除快照 $ . /bin/hbase shell hbase> clone_snapshot 'myTableSnapshot-122112', 'myNewTestTable' 6.用快照恢复数据，它需要先禁用表， /bin/hbase shell hbase> disable 'myTable' hbase> restore_snapshot 'myTableSnapshot-122112' 提示：因为备份（ 7.复制到别的集群当中 该操作要用hbase的账户执行，并且在hdfs当中要有hbase的账户建立的临时目录（hbase.tmp.dir参数控制） 采用16个mappers来把一个名为MySnapshot
5.3K80发布于 2018-03-01 金融科技历史库架构演进：基于 TDSQL TDStore 替换 HBase 的降本与性能双重跃升
然而，随着业务深度的增加，基于原生 HBase 的架构在运维成本与开发效率上面临显著的结构性瓶颈，亟需通过架构升级实现以下目标： 精简组件依赖，降低运维成本 (Ops Cost)： HBase 依赖 Zookeeper 、Hmaster、HRegionServer 以及 HDFS（包含 NameNode 与 DataNode）等众多组件，高可用配置极其复杂；且主备两套集群需配置 5-6 个副本，导致存储成本高昂。 引入 TDSQL TDStore 敏态引擎重构底层存储 为彻底解决上述架构痛点，业务团队引入基于容器化云原生架构的 TDSQL 新一代敏态引擎 TDStore，全面替换原有 HBase 历史库集群。 量化核心业务系统的数据查询与存储效能 经过架构替换与业务割接，基于 TDSQL TDStore 引擎的还款记录历史库在系统性能、存储成本与开发规范上实现了精确的量化收益： 执行时耗大幅缩减： 摒弃了原先 “先查索引表、再查主表”的冗长链路，系统数据查询平均时耗由原先的 近 30ms 极速下降至平均 6ms，执行效率实现数倍跃升。
10700编辑于 2026-05-30- 来自专栏嵌入式项目开发
OneNet平台替换腾讯云IOT平台(2024年6月)
；如果不想花钱购买腾讯云的物联网平台，可以采用中国移动的OneNet物联网开发平台替换。 如果没有基础第一次复刻开发项目能不能自己替换修改？ 答案： 修改的地方不多，可以自己替换完成修改。 为什么说，修改的地方不多？ 如果想替换成其他的云，代码改动的地方多吗？ 并不多的，因为其他平台也是支持MQTT协议接入。 这就是标准协议的好处。 替换物联网平台，代码改动的地方很少（下面会单独说明）。 三、修改说明：STM32代码 3.1 替换MQTT三元组（常规操作） 需要修改的地方： MQTT三元组。 （这个是替换你自己物联网服务器的MQTT信息） 在你的项目代码里，main.c最前面可以看到关于物联网服务器的信息定义，具体看下图。 将此处的信息替换成你自己MQTT服务器的信息就可以了。
84310编辑于 2025-05-27 - 来自专栏数据技术
使用 HBase - HBase Shell 命令
数人之道原创文章，转载请关注本公众号联系我们 HBase Shell 命令文章大纲 HBase 数据库默认的客户端程序是 HBase Shell，它是一个封装了 Java 客户端 API 的 JRuby 用户可以在 HBase 的 HMaster 主机上通过命令行输入 hbase shell，即可进入 HBase 命令行环境，以命令行的方式与 HBase 进行交互。 使用 quit 或 exit 命令可退出 HBase 命令行环境。 [hadoop@hadoop100 ~]$ hbase shell 下面介绍部分常用的 HBase Shell 操作命令。 1 HBase Shell 数据操作命令 这部分命令主要涉及对 HBase 的命名空间、表及数据的增删改查操作。 下面的操作以《初识 HBase - HBase 基础知识》3.2 节中的数据为基础进行。 图1：HBase Shell 操作基础数据 注意：数据会根据需要进行调整。
12.8K31编辑于 2022-01-18 - 来自专栏LhWorld哥陪你聊算法
HBase篇--HBase常用优化
二.具体优化 1.表的设计 1.1 预分区 默认情况下，在创建HBase表的时候会自动创建一个region分区，当导入数据的时候，所有的HBase客户端都向这一个region写数据，直到这个region 因此Hbase的更新其实是不断追加的操作。 至于缓存的替换策略，可以考虑LRU等常用的策略。 3.6 Blockcache ！！！ HTable和HTablePool使用注意事项 HTable和HTablePool都是HBase客户端API的一部分，可以使用它们对HBase表进行CRUD操作。 使用solr和hbase整合完成全文搜索。 a) 使用MR批量读取hbase中的数据，在solr里面建立索引（no store）之保存rowkey的值。
6.7K50发布于 2018-09-13 - 来自专栏生如夏花的个人博客
Hbase(五) JavaApi操作Hbase
Hbase(五): JavaApi操作Hbase 依赖 <dependencies> <dependency> <groupId>org.apache.hbase</groupId > <artifactId>hbase-client</artifactId> <version>0.98.17-hadoop2</version> </dependency > <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-server</artifactId 版本一致 Hbase版本可以通过连接Hbase client使用version命令查看 定义静态配置变量 public static Configuration conf; static{ conf = HBaseConfiguration.create(); conf.set("hbase.zookeeper.quorum","hadoop1:2181"); } 由于配置变量都是一样的，
3.9K10发布于 2020-11-24 - 来自专栏实时计算
Hbase入门(一)——初识Hbase
本文将介绍大数据的知识和Hbase的基本概念，作为大数据体系中重要的一员，Hbase弥补了Hadoop只能离线批处理的不足，支持存储小文件，随机检索。 而这种特性使得Hbase对于实时计算体系的事件存储有天然的较好的支持。这使得Hbase在实时流式计算中也扮演者重要的角色。 ? Hbase使用Java编写，还是一种NoSQL数据库，这些特性决定了Hbase独特的应用场景。 的表模型与关系型数据库的表模型不同： Hbase的表没有固定的字段定义； Hbase的表中每行存储的都是一些key-value对； Hbase的表中有列族的划分，用户可以指定将哪些kv 通过将数据增量的存入Hbase，并在流式处理中实时查询Hbase，结合历史得到最终的分析结果。
3.9K30发布于 2019-09-29 - 来自专栏生如夏花的个人博客
Hbase(二)Hbase常用操作
Hbase(二)：Hbase常用操作 常用shell命令 hbase shell命令 描述 alter 修改列族（column family）模式 count 统计表中行的数量 create 创建表 describe 行，列对应的值，另外也可以指定时间戳的值） deleteall 删除指定行的所有元素值 disable 使表无效 drop 删除表 enable 使表有效 exists 测试表是否存在 exit 退出hbase shell get 获取行或单元（cell）的值 incr 增加指定表，行或列的值 list 列出hbase中存在的所有表 put 向指向的表单元添加值 tools 列出hbase所支持的工具 scan 通过对表的扫描来获取对用的值 status 返回hbase集群的状态信息 shutdown 关闭hbase集群（与exit不同） truncate 重新创建指定表 version 返回hbase版本信息
3.9K10发布于 2020-11-24
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号