Android buffer

Buffer Hit %

理论上说上述比例应接近100% ---- Buffer Hit % 该指标指的是数据库请求的数据在buffer cache中直接命中的比例 该指标越高代表oracle在buffer cache直接找到需要的数据越多 "Read Hit Ratio" from v$sysstat; Oracle 10g及以上 select * from v$sysmetric where metric_name = 'Buffer Cache Hit Ratio'; ---- 应用场景 该参数在OLAP和DSS系统中不太重要，因为他们有大量的全表扫描或者并行操作 并行操作会跳过buffer cache 而使用PGA 该参数对于OLTP 系统非常重要，需要保持在90%以上，因为其有大量连续的操作，从磁盘读取将大大影响系统性能 ---- 如何处理 如该指标过低可使用 data buffer cache advisory查看合适建议并修改db_cache_size

Buffer Nowait

理论上说上述比例应接近100% ---- Buffer Nowait % 该指标指的是可立即访问SGA 中所有数据而不用等待的次数的比例，该指标应接近100% 如发现该指标过低，应检查awr报告中Buffer

Circular buffer

大家好，又见面了，我是全栈君 前言: A circular buffer, cyclic buffer or ring buffer is a data structure that uses a single buffer is well suited as a LIFO [后进后出]buffer. the circular buffer. circular buffer is managed. actual buffer in memory one to the buffer end in memory (or alternately[取代]: the size of the buffer)

Protocol Buffer

Protocol Buffer 概述 什么是 Google Protocol Buffer？ Google Protocol Buffer( 简称 Protobuf) 是 Google 公司内部的混合语言数据标准，目前已经正在使用的有超过 48,162 种报文格式定义和超过 12,183 个 . 您可以看到 Protocol Buffer 信息的表示非常紧凑，这意味着消息的体积减少，自然需要更少的资源。比如网络上传输的字节数更少，需要的 IO 更少等，从而提高性能。 大于 128 的数字，比如 300，会用两个字节来表示：1010 1100 0000 0010 参考 Protocol Buffer原理 ProtoBuf实战

ClickHouse Buffer

offset) { internal_buffer = Buffer(ptr, ptr + size); working_buffer = Buffer(ptr , ptr + size); pos = ptr + offset; } /// get buffer inline Buffer & internalBuffer () { return internal_buffer; } /// get the part of the buffer from which you can read / write data inline Buffer & buffer() { return working_buffer; } /// get (for reading and modifying) the ); working_buffer.swap(other.working_buffer); std::swap(pos, other.pos); } /*

理解Buffer

理解Buffer.png 理解Buffer Buffer 结构 Buffer所占用的内存不是通过V8分配的,属于堆外内存 Buffer受Array类型的影响很大,可以访问length属性得到长度,也可以通过下标访问元素 Buffer对象,存储的只能是一种编码类型 一个Buffer对象可以存储不同编码类型的字符串转码的值 Buffer转字符串 Buffer对象的toString()可以将Buffer对象转换为字 符串 Buffer Buffer 的拼接 乱码是如何产生的 文件可读流在读取时会逐个读取Buffer 对于任意长度的Buffer而言,宽字节字符串都有 可能存在被截断的情况 setEncoding()与string_decoder () 让data事件中传递的不再是一个Buffer对象,而是编码后的字符串 可读流对象在内部设置了一个decoder对象,进行Buffer到字符串的解码,然后传递给调用者 正确拼接Buffer 正确的拼接方式是用一个数组来存储接收到的所有 Buffer片段并记录下所有片段的总长度 然后调用 Buffer.concat() 方法生成一个合并的Buffer对象 Buffer 与性能 通过预先转换静态内容为Buffer对象,可以有效地减少CPU

多个buffer Pool实例 (3)—Buffer Pool（五十六)

多个buffer pool实例 上面说过，mysql服务器启动的时候，就会根系统申请buffer pool的内存空间，在多线程的情况下，各个链表都需要加锁进行处理，但在buffer pool特别大，并且多线程访问量也别高的情况下 所以会吧buffer pool会分成各种小的buffer pool，这些称为实例，他们都是独立去申请内存空间，独立管理的链表，并且在多线程访问的情况下互不影响，可以通过innodb_buffer_pool_instance 配置buffer pool时的注意事项 innoDB_buffer_pool_size 必须是 innoDB buffer_pool_insatances * innoDB buffer_pool_chunk_size * innodb_buffer_pool_instances 大于innoDB_buffer_pool_size，这时候，chunk_size的值会默认改为 innodb_buffer_pool_chunk_size mysqld --innodb-buffer-pool-size=2G --innodb-buffer-pool-instances=16 --innodb-buffer-pool-chunk-size

JAVA NIO Buffer

Buffer类方法签名： ? 返回Buffer自身的一些方法可以直接级联调用。 创建只读缓存。 Buffer.get(byte[])：BufferUnderflowException； 当将一个buffer内容读入数组，buffer内容不足以填充数组时，会抛出此异常。 因为需要指明可以读入的buffer内容长度。 如下： Buffer.get(byte[], 0, Buffer.remaining()); Buffer.put(byte[])：BufferUnderflowException； 当将数组元素写入buffer ，buffer没有足够的空间时，会抛出此异常。

初试 Protocol Buffer

接触到谷歌的序列化方法 protocol buffer， 感觉挺好玩的，所以了解下。 pb 是用于结构化数据序列化的灵活，高效，自动的方法，类似 xml，但是比之更加高效，简单。 Protocol buffer github 主页 定义一个 pb 消息 使用 pb 作为协议解析，首先需要根据自己的需要定义自己的协议文件 xxx.proto，然后借助 pb 提供的转换工具转换成使用语言的定义文件

MySQL Buffer pool里的change buffer是啥？

4 change buffer 4.1 基本概念 change buffer是一种特殊的数据结构，当这些页面不在缓冲池中时，这些高速缓存会将更改缓存到辅助索引页面。 如上图可见，change buffer用的是buffer pool里的内存，所以不能无限增长。 change buffer大小可通过参数innodb_change_buffer_max_size动态设置。 比如设置为50：change buffer的大小最多只能占用buffer pool的50%。 写后马上查询，将先新记录在change buffer，但之后由于立即访问该数据页，又很快触发merge，这样的话随机访问IO次数不会减少，反而增加change buffer维护代价，change buffer

Nodejs·理解Buffer

Node里面的Buffer其实就是用于网络请求、文件读取等等操作，而且是分配在堆外，不会占用堆内的内存，这也是因为本来V8的内存就很小，如果读取大文件，那就...... 之前有看过Logstash的Buffer源码，感觉比这个高级多了....而Ruby中的Buffer则有点缓存的性质，支持大小的限制，以及定时刷新等等... 看来Buffer就是解决了V8之前应用于浏览器端偏小内存的限制，而直接在底层堆外申请大内存，但是又怕现用现申请增加CPU负载，所以采用了分块申请的形式。 另外Buffer中统一了编码格式，因此存储的数据都是十六进制的两位数，所以存与娶的时候不同的编码存储的内容是不一样的，一定要注意编码。 ?

Buffer pool 详解

buffer pool绝大多数page都是 data page（包括index page）。innodb 还有日志缓存 log buffer，保存redo log。 所有数据页的读写操作都需要通过buffer pool进行，innodb 写操作，先把数据和日志写入 buffer pool 和 log buffer，再由后台线程将 buffer 中的内容刷到磁盘。 读page时，如果buffer pool中没有，则将page从磁盘读取到buffer pool中，这一过程可能伴随着淘汰buffer pool中旧的page。 buf_pool_t instance 数量由参数 innodb_buffer_pool_instances 控制，每个 instance 分到 innodb_buffer_pool_size/innodb_buffer_pool_instances ，即buffer pool中的page数据和磁盘中不同，刷脏就是将buffer pool 脏页中的数据flush 到磁盘。

MySQL——Buffer Pool

Buffer Pool的缓冲命中率（我们当然是期望命中率越高越好） 假设我们一共访问了n次页，那么被访问的页已经在Buffer Pool中的次数除以n，那么就是Buffer Pool的缓冲命中率。 ---- 四、其他补充知识点 4.1> 多个Buffer Pool实例 在Buffer Pool特别大并且多线程并发访问量特别高的情况下，单一的Buffer Pool可能会影响请求的处理速度。 所以，在Buffer Pool特别大时，可以把它们拆分成若干个小的Buffer Pool，每个Buffer Pool都称为一个实例。它们都是独立的——独立地申请内存空间，独立地管理各种链表。 可以通过设置innodb_buffer_pool_instances的值来修改Buffer Pool实例的个数 每个Buffer Pool实例实际占用多少内存空间呢？ 4.3> 配置Buffer Pool时的注意事项 innodb_buffer_pool_size必须是： innodb_buffer_pool_chunk_size * innodb_buffer_pool_instances

关于dirty buffer

我们来看一下这个视图主要字段说明: STATUS VARCHAR2(1) Status of the buffer: FREE - not currently in use XCUR - exclusive

写入Ring Buffer

尽管如此，Ring Buffer 还是与消费端一样提供了一个 ProducerBarrier 对象，让生产者通过它来写入 Ring Buffer。 写入 Ring Buffer 的过程涉及到两阶段提交 (two-phase commit)。首先，你的生产者需要申请 buffer 里的下一个节点。 它听起来容易 -“给我 Ring Buffer 里的下一个节点”。 现在生产者想要写入 Ring Buffer 中序号 3 占据的节点，因为它是 Ring Buffer 当前游标的下一个节点。 因此 Ring Buffer 移动游标到 13，让 ProducerBarrier 戳一下 WaitStrategy 告诉所有人都知道 Ring Buffer 有更新了。

一文搞懂 MySQL InnoDB架构 Buffer Pool、Change Buffer、自适应哈希索引、Log Buffer

文章关键词：MySQL InnoDB 架构、Buffer Pool、Change Buffer、Buffer Pool LRU 算法、Adaptive Hash Index（自适应哈希索引）、Log Buffer Buffer Pool Buffer Pool 是主内存中的一个区域，它在访问时缓存表和索引数据。Buffer Pool 允许频繁使用的数据直接从内存中访问，从而加快处理速度。 若目标页不在 Buffer Pool，将变更记录写入 Change Buffer 生成 Redo Log 保证持久化； 当后续读取该索引页时，将 Change Buffer 中的变更合并（Merge）到 Change Buffer 合并操作可能在事务提交后持续进行，甚至在服务器关闭并重启后仍会继续。 在内存中，Change Buffer 占用 Buffer Pool 的一部分空间。 Log Buffer 大小由 innodb_log_buffer_size 变量定义，默认大小为 64MB。

简单入门Buffer

如果你第一次认识buffer，你可能会很陌生，因为在前端的JavaScript中并没有buffer，因为前端只要做一些字符串操作或DOM基本操作就能满足业务需求。 buffer是什么？ 虽然buffer是申请的内存，不受V8内存的限制，但是物理内存依然是有限的。 了解Buffer Buffer是一个像Array的对象，但它主要用于操作字节。 由于Buffer太过常见，Node在进程启动时就已经加载了它，并将其放在全局对象（global）上。所以在使用Buffer时，无须通过 require() 即可直接使用。 let buf = Buffer.from('hello', 'utf8') console.log(buf) // <Buffer 68 65 6c 6c 6f 20 77 6f 72 6c 64> let buf = Buffer.from('hello', 'utf8') console.log(buf) // <Buffer 68 65 6c 6c 6f 20 77 6f 72 6c 64>

insert buffer 简介

insert buffer 简介 解决非聚簇索引的插入性能问题 （注1） insert buffer 由共享表(磁盘)+缓冲池(缓存)两部分组成 共享表是B+树，且全局只有一颗B+树 非叶节点是search 中记录进入insert buffer的顺序 剩余字段用来记录具体字段 insert buffer 实现原理 将同一索引页上的操作进行合并，进而减少磁盘i/o 更新/插入非聚簇索引 判断插入的非聚簇索引页是否在缓冲池中 ，若在则直接插入 若不在则构造insert buffer的非叶节点和叶节点插入到B+树中 再按一定的条件进行合并（merge buffer） 延伸 通过show engine innodb status bitmap 记录每个辅助索引页的可用空间，用来保证merge的成功率 merge insert buffer 合并条件 辅助索引页被读到缓冲池，比如执行select操作 insert buffer bitmap页检查到某辅助索引页空间不足 master thread change buffer 是insert buffer的升级版， 包含插入、更新和删除三种操作 只适用非聚簇索引(和insert

vpp Buffer Metadata

Vlib (Vector library) primary buffer metadata 每个vlib_buffer_t的前64个字节携带主要的buffer metadata。 : available bit VLIB_BUFFER_IS_TRACED: buffer is traced VLIB_BUFFER_NEXT_PRESENT: buffer has multiple u8 buffer_pool_index: buffer pool index which owns this buffer 当前buffer所在的buffer pool 的索引。 u32 next_buffer: buffer index of next buffer in chain. 通常使用vnet_buffer(b)宏访问。详情请参阅../src/vnet/buffer.h。