- 综合排序
- 最热优先
- 最新优先
- 来自专栏知了一笑
SpringBoot2 整合 ClickHouse数据库，实现数据高性能查询分析
一、ClickHouse简介 1、基础简介 Yandex开源的数据分析的数据库，名字叫做ClickHouse，适合流式或批次入库的时序数据。 ClickHouse不应该被用作通用数据库，而是作为超高性能的海量数据快速查询的分布式实时处理平台，在数据汇总查询方面(如GROUP BY)，ClickHouse的查询速度非常快。 2、数据分析能力 OLAP场景特征 大多数是读请求 数据总是以相当大的批(> 1000 rows)进行写入 不修改已添加的数据 每次查询都从数据库中读取大量的行，但是同时又仅需要少量的列 宽表，即每个表包含着大量的列 (2)、列式数据 ? (3)、对比分析 分析类查询，通常只需要读取表的一小部分列。在列式数据库中可以只读取需要的数据。数据总是打包成批量读取的，所以压缩是非常容易的。 /groupId> <artifactId>clickhouse-jdbc</artifactId> <version>0.1.53</version> </dependency> 2、
3.9K10发布于 2019-10-09 - 来自专栏友弟技术工作室
高性能NoSql数据库 SSDB
今天在看一个开源项目的时候，发现作者使用一个ssdb的数据库，第一反应是ssd硬盘，当时很诧异。后面了解后才知道，原来是 nosql数据库。 ssdb介绍 一个高性能的支持丰富数据结构的 NoSQL 数据库, 用于替代 Redis. SSDB 是一个 C/C++ 语言开发的高性能 NoSQL 数据库, 支持 KV, list, map(hash), zset(sorted set) 等数据结构, 用来替代或者与 Redis 配合存储十亿级别列表的数据 架构 使SSDB命令客户端(ssdb-cli) SSDB 的命令 客户端 ssdb-cli 可 于 常管理, 包括查看 SSDB 的运 状态(info), 还能做 些 API 没有的操作, 如清空整个数据库 2 result(s) (0.000 sec) (0.000 sec) ssdb 127.0.0.1:8888> hclear hash 2 (0.000 sec) ssdb 127.0.0.1:8888
2.5K60发布于 2018-04-25 - 来自专栏Greenplum
高性能MySQL到PostgreSQL异构数据库转换工具MySQL2PG
无法进行 MySQL 数据库用户信息的自动同步、需要手动的确认哪些用户需要同步、用户的密码分别是多少、如果密码忘记对于手动进行确认，期间会消耗大量的时间和精力。 4. MySQL 的数据库中有不同字段类型、不同储存引擎、不同字符编码、涉及到关键字、主外键、自增列等共 1339 张表进行的自动转换。 2. MySQL 数据库中的 1339 张上共有 1768 个索引，其中包含主键索引、单字段索引、符合索引等。 3. MySQL 数据库中存在5个不同的用户，在五个用户中有的用户仅有 SELECT 权限、有的用户仅有DELETE 权限、有的用户仅有 UPDATE 权限，有的用户具有几十张全部的操作权限。 4. test_only 当该参数开启时，表示仅测试数据库的链接，其他的步骤不执行，在测试连接完成后输出日志信息便会退出。
45410编辑于 2025-12-31 - 来自专栏InvQ的专栏
Netty 高性能内存管理设计（2）
Netty 的内存规格分类以及内存管理的核心组件，今天我们继续介绍 Netty 内存分配与回收的实现原理。有了上节课的基础，相信接下来的学习过程会事半功倍。
59920发布于 2020-12-08 - 来自专栏wayn的程序开发
高性能数据库集群：读写分离
虽然近十年来各种存储技术飞速发展，但关系数据库由于其ACID的特性和功能强大的SQL查询，目前还是各种业务系统中关键和核心的存储系统，很多场景下高性能的设计最核心的部分就是关系数据库的设计。 不管是为了满足业务发展的需要，还是为了提升自己的竞争力，关系数据库厂商（Oracle、DB2、MySQL等）在优化和提升单个数据库服务器的性能方面也做了非常多的技术优化和改进。 从今天开始，我会分几期来介绍高性能数据库集群。 高性能数据库集群的第一种方式是“读写分离”，其本质是将访问压力分散到集群中的多个节点，但是没有分散存储压力；第二种方式是“分库分表”，既可以分散访问压力，又可以分散存储压力。 其基本原理是一个基于集中式配置的 jdbc datasource实现，具有主备、读写分离、动态数据库配置等功能，基本架构是： 2.中间件封装 中间件封装指的是独立一套系统出来，实现读写操作分离和数据库服务器连接的管理
43910编辑于 2024-03-11 - 来自专栏java跬步
高性能的JavaScript--数据访问（2）
Press"); var book2 = new Book("JavaScript: The Good Parts", "Yahoo! 这就创建了一个原形链，book1和book2继承了他们的成员。 主要的是，两个Book实例共享同一个原形链。每个实例拥有自己的title和publisher属性，但是其他成员均继承自原形。 == className1 || element.className == className2; } element.className被访问了两次，我们可以存入一个局部变量，消除一次搜索过程： function == className1 || currentClassName == className2; } 一般来说，如果在同一函数中你要多次读取同一个对象属性，最好将它存入到一个局部变量。 2.直接变量和局部变量访问速度非常快，数组项和对象成员需要更长时间。 3.局部变量比域变量快，因为它位于作用域链的第一个对象中。变量在作用域链中的位置越深访问所需的时间就越长。
81320发布于 2020-02-17 - 来自专栏技术博文
SSDB：高性能数据库服务器
SSDB是一个开源的高性能数据库服务器, 使用Google LevelDB作为存储引擎, 支持T级别的数据, 同时支持类似Redis中的zset和hash等数据结构, 在同时需求高性能和大数据的条件下, SSDB开源数据库项目地址: https://github.com/ideawu/ssdb 作者博客地址： http://www.ideawu.net/blog/ssdb 安装 SSDB 的建议安装⽅方式是源码编译安装 #id: svc_2 # sync|mirror, default is sync #type: sync compression: no work_dir: ssdb-server 的工作目录, 启动后, 会在这个目录下生成 data 和 meta 两个目录, 用来保存 LevelDB 的数据库文件 从 https://github.com/ideawu/ssdb-bin 下载可执行文件 ssdb-server.exe 和相关 dll. 2.
2.4K40发布于 2018-04-16 - 来自专栏张善友的专栏
SSDB：高性能数据库服务器
SSDB是一个开源的高性能数据库服务器, 使用Google LevelDB作为存储引擎, 支持T级别的数据, 同时支持类似Redis中的zset和hash等数据结构, 在同时需求高性能和大数据的条件下, SSDB开源数据库项目地址: https://github.com/ideawu/ssdb 作者博客地址： http://www.ideawu.net/blog/ssdb 安装 SSDB 的建议安装⽅方式是源码编译安装 #id: svc_2 # sync|mirror, default is sync #type: sync compression: no work_dir: ssdb-server 的工作目录, 启动后, 会在这个目录下生成 data 和 meta 两个目录, 用来保存 LevelDB 的数据库文件 从 https://github.com/ideawu/ssdb-bin 下载可执行文件 ssdb-server.exe 和相关 dll. 2.
3.6K90发布于 2018-01-29 - 来自专栏Linyb极客之路
浅谈高性能数据库集群——读写分离
本文主要介绍高性能数据库集群读写分离相关理论，基本架构，涉及的复杂度问题以及常见解决方案。 1 读写分离概述 ? 基本架构图： ? 2 适用场景 ? 问题二 分配机制 如何将读写操作区分开来，然后访问不同的数据库服务器？ 解决方案1 客户端程序代码封装实现 基本架构图 ? ? 它使用客户端直连数据库，以jar包形式提供服务，无需额外部署和依赖，可理解为增强版的JDBC驱动，完全兼容JDBC和各种ORM框架。 ? 解决方案2 服务端中间件封装 基本架构图 ? ? 业界开源实现 MySQL官方推荐的MySQL Router ? 它可以用于各种各样的用例，例如通过有效地将数据库流量路由到适当的后端MySQL服务器来提供高可用性和可伸缩性。可插拔架构还使开发人员能够扩展MySQL Router以用于自定义用例。
1.1K10发布于 2018-08-16 - 来自专栏芋道源码1024
浅谈高性能数据库集群 —— 读写分离
读写分离概述 2. 适用场景 3. 引入的系统复杂度问题 ---- 最近学习了阿里资深技术专家李运华的架构设计关于读写分离的教程，颇有收获，总结一下。 本文主要介绍高性能数据库集群读写分离相关理论，基本架构，涉及的复杂度问题以及常见解决方案。 1. 读写分离概述 ? 读写分离概述 基本架构图： ? 基本架构图.jpg 2. 适用场景 ? 主从复制延迟.png 问题二 分配机制 如何将读写操作区分开来，然后访问不同的数据库服务器？ 解决方案1 客户端程序代码封装实现 基本架构图 ? 程序代码封装实现分配基本架构图 ? 它使用客户端直连数据库，以jar包形式提供服务，无需额外部署和依赖，可理解为增强版的JDBC驱动，完全兼容JDBC和各种ORM框架。 ? 淘宝TDDL基本架构图 解决方案2 服务端中间件封装 基本架构图 ? 服务端中间件封装实现分配基本架构图 ? 服务端中间件封装 业界开源实现 MySQL官方推荐的MySQL Router ?
88150发布于 2018-12-07 - 来自专栏架构师修炼
数据库读写分离方案，实现高性能数据库集群
一般我们业务在读多写少的场景下，遇到的第一个瓶颈就是数据库这块，大量的读请求会来到数据库，这样如果你初期部署的一个数据库就会造成IO大量增加，使得请求变慢，甚至会卡死整个数据库，到了这个阶段，我们一般会将读请求和写请求进行分开数据处理 01 读写分离架构原理 正如上面所说，读写分离是为了将请求流量分散到不同的数据库节点上，将写入数据的请求分发到主数据库，读取数据的请求分发到从数据库，从数据可以有多台，即一主多从。如下图： ? 同时，从数据库还可以作为备份数据库来使用，万一主库突然故障了，它可以顶上去防止数据丢失。 主从延迟优化 1，我们可以在这些立马需要查的业务，让它直接查主数据库，但是这种方案不推荐，因为量大怕会拖垮主数据。 2，当从数据库读取不到，我们回去再读主数据，这样就能读到数据了。 特点是： 实现简单，可以根据自己业务进行定制化开发 语言不同，就得开发不同语言版本的数据库访问层 2，部署独立代理层 部署代理层是指，在我们的业务服务器和数据库直接引入数据访问代理层，并不用自己写代码。
2.5K31发布于 2020-07-20 YashanDB数据库高性能存储引擎设计
YashanDB作为一款新兴的数据库解决方案，致力于在高性能存储引擎的设计上解决这些行业挑战。 本篇文章将对YashanDB的高性能存储引擎设计进行深入探讨，帮助读者理解其架构及优势，并提供可操作的技术建议。 2. 结论YashanDB的高性能存储引擎设计通过多层存储结构和高效的事务管理机制，能够有效应对现代数据库面临的性能瓶颈和数据一致性问题。 通过合理部署和持续优化，开发人员和数据库管理员能够显著提升数据库的整体性能和可用性。建议读者在实际项目中关注YashanDB的存储引擎特性和最佳实践，充分发挥其技术优势。
14610编辑于 2025-08-27- 来自专栏陶辉笔记
高性能网络编程2—-TCP消息的发送
1、MSS与TCP的分片 由上一篇文中可知，TCP层是第4层传输层，第3层IP网络层、第2层数据链路层具备的约束条件同样对TCP层生效。下面来看看数据链路层中的一个概念：最大传输单元MTU。 看看IP头部的格式： 图2 IP头部格式 可以看到，其指定IP包总长度的是一个16位（2字节）的字段，这意味一个IP包最大可以是65535字节。 2、发送方法返回成功后，数据一定发送到了TCP的另一端吗？ 答案当然是否定的。解释这个问题前，先来看看TCP是如何保证可靠传输的。 （2）内核主要通过tcp_sendmsg方法来完成。 （3）（4）内核真正执行报文的发送，与send方法的调用并不是同步的。即，send方法返回成功了，也不一定把IP报文都发送到网络中了。 after(end_seq, tp->snd_una + tp->snd_wnd); } （2）慢启动和拥塞窗口 由于两台主机间的网络可能很复杂，通过广域网时，中间的路由器转发能力可能是瓶颈。
1.1K31发布于 2019-06-21 - 来自专栏芋道源码1024
浅谈高性能数据库集群 —— 分库分表
本文主要介绍高性能数据库集群分库分表相关理论，基本架构，涉及的复杂度问题以及常见解决方案。 分库分表概述 ? 读写分离分散数据库读写操作压力，分库分表分散存储压力 适用场景 ? 数据库操作问题 ? 实现方法 ? 参考 从0开始学架构 —— 李运华 《浅谈高性能数据库集群——读写分离》—— 陈彩华 《架构设计方法初探》 —— 陈彩华 《分库分表、主从、读写分离》
69410发布于 2018-10-26 YashanDB高性能数据库设计与实现技术
如何优化数据库查询速度是提升业务系统性能的关键技术难题。现代数据库面临的数据规模复杂、查询请求高并发且多样化，若无法实现高效的数据存取与处理，将严重制约业务响应能力和系统扩展性。 因此，设计一款既保证高性能又兼顾高可用性和易管理的数据库系统显得尤为重要。 YashanDB以创新的架构设计、先进的存储机制及完善的事务控制，实现了面向多场景的高性能数据库解决方案，助力用户有效提升数据处理效率和系统稳定性。 先进的事务控制与并发机制YashanDB支持ACID事务特性及多版本并发控制(MVCC)，确保读写操作高性能并发执行且数据一致。 结论本文详细介绍了YashanDB数据库的高性能设计与实现技术，涵盖多形态部署架构、多样化存储结构、内存管理、事务控制、SQL优化执行、主备复制及高可用机制等核心内容。
27310编辑于 2025-08-19- 来自专栏Spark学习技巧
ClickHouse高性能分布式分析数据库
向大家介绍ClickHouse的基本特性和概念，特别是性能对比数据，包括和Hive/Spark/Druid的性能对比。
1K30发布于 2019-05-09 解密YashanDB数据库的高性能查询能力
在现代数据库技术领域，随着数据规模的爆炸式增长和复杂度的提升，数据库系统面临着性能瓶颈、数据一致性难以保证、以及高并发处理的挑战。高性能查询能力成为数据库系统核心竞争力之一。 本文旨在深入分析YashanDB数据库的结构和关键技术，帮助技术人员深入理解其高性能查询能力的技术原理和优势。 多样化的部署方案为不同业务场景提供灵活的高性能基础架构。创新存储引擎与数据组织优化YashanDB数据库的存储引擎支持四种存储结构：HEAP、BTREE、MCOL和SCOL，适应不同的业务需求。 SCOL稳态列式存储基于对象式管理，支持压缩和编码，适合海量稳态数据的高性能分析查询。 结论YashanDB数据库凭借其多形态部署架构、创新的存储引擎、先进的优化器和执行引擎、多版本并发控制及完善的缓存及后台优化体系，实现了在海量数据和复杂业务场景下卓越的高性能查询能力。
22900编辑于 2025-08-12- 来自专栏Linyb极客之路
浅谈高性能数据库集群——分库分表
本文主要介绍高性能数据库集群分库分表相关理论，基本架构，涉及的复杂度问题以及常见解决方案。 分库分表概述 ? 读写分离分散数据库读写操作压力，分库分表分散存储压力 适用场景 ? 数据库操作问题 ? 实现方法 ?
58060发布于 2018-08-16 - 来自专栏Java技术进阶
高性能两级缓存J2Cache
#开启spring cache支持 j2cache.open-spring-cache=true 最后从J2Cache项目中Copy caffeine.properties，j2cache.properties 这两个文件 这样就配置完毕了，是不是很简单,测试示例还是以前的例子 插入用户，新增缓存 =>操作数据库保存用户数据 第一次获取用户，存在缓存就从缓存返回,不存在就从数据库取 Person{id=1, name ='陈大侠', age='18', sex='男'} 第二次获取用户 Person{id=1, name='陈大侠', age='18', sex='男'} 更新用户,更新缓存 =>操作数据库保存用户数据 第二次获取用户，看缓存是否有变化 Person{id=1, name='陈大侠', age='88', sex='男'} 删除用户,删除缓存 =>操作数据库删除用户数据 第三次再次获取用户，看缓存是否有变化 =>操作数据库，根据id获取用户信息 null 总结 J2Cache支持的配置丰富，具有开箱即用的感觉，是一个不错的选择，希望对您有帮助。
76730编辑于 2022-12-02 5个步骤构建高性能YashanDB数据库环境
构建高性能的 YashanDB 数据库环境可以分为以下五个步骤：步骤 1：需求分析与规划- 确定业务需求：分析应用程序的访问模式、数据量、并发用户数等，确保数据库设计能够满足业务的需求。 - 架构设计：决定数据库的架构，比如是否采用主从复制、分片、负载均衡等策略，以提高可用性和性能。步骤 2：环境准备- 安装操作系统：选择适合的操作系统（如 Linux）进行安装，并进行必要的安全配置。 - 环境配置：调整操作系统和数据库的配置，优化性能。例如，调整内核参数、IO调度策略等。 步骤 3：性能调优- 参数优化：根据数据库的负载和访问模式，调整数据库的配置参数，如缓存大小、连接数、查询优化等。- 索引设计：创建合适的索引以提高查询性能，同时避免过多的索引导致的写性能下降。 - 用户反馈：与使用数据库的开发团队或用户保持沟通，收集使用反馈，持续改进数据库的性能与用户体验。通过以上步骤，可以有效构建一个高性能的 YashanDB 数据库环境，满足应用程序的需求。
12710编辑于 2025-11-14
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号