首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏机器学习算法与理论

    TKDE|Foresee Urban Sparse Traffic Accidents: A Spatiotemporal Multi-Granularity Perspective

    本文以交通事故预测为应用背景,提出了一个基于多源时空数据的多步、多粒度稀疏事件预测模型。其中集中归纳总结并缓解了时空稀疏问题、短期状态变化感知与多步预测问题。

    1.3K20发布于 2020-11-26
  • 来自专栏Lansonli技术博客

    大数据ClickHouse进阶(四):ClickHouse的索引深入了解

    GRANULARITY granularity对以上参数的解释如下:index_name:定义的二级索引名称index_type:跳数索引类型,最常用就是minmax索引类型。 granularity:定义聚合信息汇总的粒度。 在接触跳数索引时,很容易将index_granularitygranularity概念混淆,对于跳数索引而言,index_granularity定义了数据的粒度,而granularity定义了聚合信息汇总的粒度 ,也就是说,granularity定义了一行跳数索引能够跳过多少个index_granularity区间的数据。 以下图为例:假设index_granularity=8192且granularity=3,则数据会按照index_granularity划分成n等份,MergeTree从第0段分区开始,依次获取聚合信息

    5.1K132编辑于 2022-09-16
  • 来自专栏北京宏哥

    Jmeter(四十一) - 从入门到精通进阶篇 - Jmeter配置文件的刨根问底 - 下篇(详解教程)

    be incorrect # see Bug 60149 jmeter.reportgenerator.overall_granularity=60000 (2)译文 # 为随时间变化的图表定义总体粒度 =${jmeter.reportgenerator.overall_granularity} 3.16时间VS线程图定义 第19段——时间VS线程图定义 (1)原文 # Time VS Threads =${jmeter.reportgenerator.overall_granularity} 3.19百分比响应时间 第22段——百分比响应时间 (1)原文 # Percentiles Response =${jmeter.reportgenerator.overall_granularity} 3.20综合响应时间分布 第23段——综合响应时间分布 (1)原文 # Synthetic Response =${jmeter.reportgenerator.overall_granularity} 3.23响应时间与请求图定义 第26段——响应时间与请求图定义 (1)原文 # Response Time

    1.9K41发布于 2021-04-12
  • 来自专栏PostgreSQL研究与原理解析

    pmdk如何在线动态扩展pool大小

    接着看其他人方法: This is controlled by heap.size.granularity ctl: https://pmem.io/pmdk/manpages/linux/master ,然后再通过pmemobj_open打开pool后,设置pmemobj_alloc(pop, NULL, OBJ_SIZE, 0, NULL, NULL) 将这个池子消耗完,然后将heap.size.granularity 设置成非0值: ssize_t new_granularity = CUSTOM_GRANULARITY; ret = pmemobj_ctl_set(pop, "heap.size.granularity ",&new_granularity); 或者将heap.size.extend设置成非0值: ssize_t extend_size = CUSTOM_GRANULARITY; ret = pmemobj_ctl_exec 三、总结 1)创建一个目录 2)创建一个pool set,该pool set指定的文件为该目录 3)设置heap_size.granularity为非0值或者设置heap.size.extend设置非0

    1K40发布于 2020-11-13
  • 来自专栏YashanDB知识库

    YashanDB ANALYZE DATABASE函数

    estimate_value|BLOCK_SAMPLE block_value|PARALLEL_DEGREE parallel_value|METHOD_OPTION method_clause|GRANULARITY estimate_value|BLOCK_SAMPLE block value|PARALLEL_DEGREE parallel_value|METHOD_OPTION method_clause|GRANULARITY #granularity指定分区统计粒度,可省略,等同于指定DBMS_STATS中高级包GATHER_DATABASE_STATS的参数granularity。 OPTIONS 'GATHER AUTO' ESTIMATE_PERCENT 1 PARALLEL_DEGREE 2 METHOD_OPTION 'FOR ALL COLUMNS SIZE AUTO' GRANULARITY

    17710编辑于 2025-08-19
  • 来自专栏大数据成神之路

    「ClickHouse系列」ClickHouse之MergeTree原理

    GRANULARITY value1, INDEX index_name2 expr2 TYPE type2(...) 若要仅按行数限制颗粒大小, 请设置为0(不推荐). min_index_granularity_bytes 数据颗粒的最小大小, 单位bytes, 默认值: 1024b. 在v19.11版本前, 只有index_granularity用于控制颗粒大小.当查询数据涉及到大量的行(几十或几百兆)时, index_granularity_bytes参数提高了Clickhouse 颗粒的大小收到表引擎index_granularity和index_granularity_bytes参数的限制. 根据行的大小, 一个颗粒中的行数在[1, index_granularity]范围内. 如果单行的大小大于设置值, 那么颗粒的大小可以超过index_granularity_bytes.

    3.2K30编辑于 2022-04-13
  • 来自专栏笔记2022

    常用工具类之:DateUtils

    beginDateTemp = getWeekBegin(date); } if (granularity.equals("3")) {// 旬 = getMonthBegin(date); } else if (granularity.equals("5")) {// 季 beginDateTemp = getSeasonBegin(date); } else if (granularity.equals("6")) {// 半年 beginDateTemp = getHalfYearBegin(date); } else if (granularity.equals("7")) {// 年 beginDateTemp = getPeriodEnd(date); } else if (granularity.equals("4")) {// 月 beginDateTemp =

    1.6K20编辑于 2022-06-17
  • 来自专栏code秘密花园

    你可能不知道的字符串分割技巧

    英语 const segmenter = new Intl.Segmenter( 'en', { granularity: 'sentence' } ); console.log( Array.from 阿拉伯语 const segmenter = new Intl.Segmenter( 'ar', { granularity: 'sentence' } ); console.log( Array.from ,它有三个值,分别表示我们要将字符串分割为句、词、还是字: const segmenter = new Intl.Segmenter( 'zh', { granularity: 'sentence' const segmenter = new Intl.Segmenter( 'zh', { granularity: 'word' } // 词 ); // ['你好', ',', '我是', ' const segmenter = new Intl.Segmenter( 'zh', { granularity: 'grapheme' } // 字 ); // ['你', '好', ',',

    93810编辑于 2023-01-09
  • 来自专栏利志分享

    第三篇-如何通过程序实现连续的时间,比如连续的天,月,年等。

    func GetContinueTime(granularity int, startTime, endTime *time.Time) []string { timeList := []string {} if granularity == 1 { //年 for i := *startTime; i.Before(*endTime); i = i.AddDate tmp := i.Format("2006") timeList = append(timeList, tmp) } } else if granularity (i, 0).Format("2006-01-02 15") timeList = append(timeList, tmp) } } else if granularity 0).Format("2006-01-02 15:04") timeList = append(timeList, tmp) } } else if granularity

    53720编辑于 2022-04-25
  • 来自专栏LINUX阅码场

    超线程SMT究竟可以快多少?(斐波那契版)

    4000000000 threads_num=12, fibonacci_max=4000000000, should_set_affinity=0, should_inline=1, alloc_granularity 4000000000 threads_num=12, fibonacci_max=4000000000, should_set_affinity=0, should_inline=1, alloc_granularity 4000000000 threads_num=12, fibonacci_max=4000000000, should_set_affinity=0, should_inline=1, alloc_granularity 对程序进行修改后,可以使用`-g alloc_granularity`参数设定tinfo结构体的分配粒度。 turn on smt threads_num=6, fibonacci_max=20000000000, should_set_affinity=0, should_inline=1, alloc_granularity

    1.2K40发布于 2021-10-26
  • 来自专栏Keegan小钢

    价格预言机的使用总结(二):UniswapV2篇

    ) * 2, windowSize] // e.g. if the window size is 24 hours, and the granularity is 24, the oracle ; // this is redundant with granularity and windowSize, but stored for gas savings & informational _) public { require(granularity_ > 1, 'SlidingWindowOracle: GRANULARITY'); require( (periodSize = windowSize_ / granularity_) * granularity_ == windowSize_, 'SlidingWindowOracle / granularity 计算所得。

    2K10编辑于 2022-06-07
  • 来自专栏YashanDB知识库

    YashanDB ANALYZE SCHEMA语句

    estimate_value|BLOCK_SAMPLE block_value|METHOD_OPTION method_clause|PARALLEL_DEGREE parallel_value|GRANULARITY estimate_value|BLOCK_SAMPLE block_value|METHOD_OPTION method_clause|PARALLEL_DEGREE parallel_value|GRANULARITY #granularity指定分区统计粒度,可省略,等同于指定DBMS_STATS中高级包GATHER_SCHEMA_STATS的参数granularity。 SALES ESTIMATE_PERCENT 1 BLOCK_SAMPLE TRUE METHOD_OPTION 'FOR ALL COLUMNS SIZE AUTO' PARALLEL_DEGREE 1 GRANULARITY

    15310编辑于 2025-08-19
  • 来自专栏ClickHouse

    ClickHouse 二级索引

    expression索引源字段Typeminmax, set, bloom filter,mapGRANULARITY索引粒度 ,如ClickHouse 默认稀疏索引默认是8192 ,我理解 8192*GRANULARITY 强制使用哪个index4 管理索引ALTER TABLE [db].table_name [ON CLUSTER cluster] ADD INDEX name expression TYPE type GRANULARITY INDEX a (u64 * i32, s) TYPE minmax GRANULARITY 3, INDEX b (u64 * length(s)) TYPE set(1000) GRANULARITY 1, INDEX d1_null_idx assumeNotNull(d1_null) TYPE minmax GRANULARITY 1)Engine=MergeTree()ORDER BY 2;​​/*ALTER TABLE xx ADD INDEX game_id_index game_id TYPE bloom_filter(0.01) GRANULARITY 1;*/3 生效历史数据

    3.8K53编辑于 2022-08-04
  • 来自专栏Flink实战剖析

    Clickhouse-MergeTree原理解析

    granularity与index_granularity的关系 不同的跳数索引之间,除了它们自身独有的参数之外,还都共同拥有granularity参数。 初次接触时,很容易将granularity与index_granularity的概念弄混淆。 对于跳数索引而言,index_granularity定义了数据的粒度,而granularity定义了聚合信息汇总的粒度。 换言之,granularity定义了一行跳数索引能够跳过多少个index_granularity区间的数据。 以下图为例,假设index_granularity=8192且granularity=3,则数据会按照index_granularity划分为n等份,MergeTree从第0段分区开始,依次获取聚合信息

    1.7K50编辑于 2022-04-18
  • 来自专栏实时流式计算

    Druid 0.17入门(4)—— 数据查询方式大全

    type":"intervals","intervals":["2015-09-12T00:00:00.000Z/2015-09-13T00:00:00.001Z"]},"filter":null,"granularity "queryType" : "topN", "dataSource" : "wikipedia", "intervals" : ["2015-09-12/2015-09-13"], "granularity "dataSource": "sample_data", "dimension": "sample_dim", "threshold": 5, "metric": "count", "granularity "sample_datasource" } Search查询 { "queryType": "search", "dataSource": "sample_datasource", "granularity PyDruid(druid_url_goes_here, 'druid/v2') ts = query.timeseries( datasource='twitterstream', granularity

    92820发布于 2020-05-18
  • 来自专栏黑客下午茶

    Sentry 监控 - Snuba 数据中台本地开发环境配置实战

    _10 # [ ] 0008_metrics_counters_granularity_10 # [ ] 0009_metrics_distributions_granularity_10 # [ ] 0010_metrics_sets_granularity_1h # [ ] 0011_metrics_counters_granularity_1h # [ ] 0012_metrics_distributions_granularity _1h # [ ] 0013_metrics_sets_granularity_1d # [ ] 0014_metrics_counters_granularity_1d # [ ] 0015 Running migration: 0015_metrics_distributions_granularity_1d # 2021-12-01 19:45:57,610 Finished: 0015 _metrics_distributions_granularity_1d # 2021-12-01 19:45:57,623 Running migration: 0001_sessions #

    99210编辑于 2021-12-02
  • 来自专栏YashanDB技术解读

    YashanDB ANALYZE TABLE语句

    estimate_value|BLOCK_SAMPLE block_value|METHOD_OPTION method_clause|PARALLEL_DEGREE parallel_value|GRANULARITY estimate_value|BLOCK_SAMPLE block_value|METHOD_OPTION method_clause|PARALLEL_DEGREE parallel_value|GRANULARITY #granularity指定分区统计粒度,可省略,等同于指定DBMS_STATS中高级包GATHER_TABLE_STATS的参数granularity。 0.5 BLOCK_SAMPLE true INDEX_CASCADE true METHOD_OPTION 'FOR COLUMNS (branch_no, area_no) SIZE AUTO' GRANULARITY

    22510编辑于 2025-08-19
  • 来自专栏瓜农老梁

    CK04# ClickHouse日志存储调优总结

    2, INDEX idx_tracing_id tracing_id TYPE tokenbf_v1(512, 2, 0) GRANULARITY 2 时间类型的字段record_time添加索引: `record_time` DateTime64(3), INDEX record_time record_time Type minmax GRANULARITY 2 备注1:ClickHouse 2, INDEX app app TYPE SET(100) GRANULARITY 2, INDEX msgBody msgBody TYPE tokenbf_v1(32768, 2 , 0) GRANULARITY 2, INDEX idx_msgBody msgBody TYPE tokenbf_v1(512, 2, 0) GRANULARITY 2, INDEX tokenbf_v1(512, 2, 0) GRANULARITY 2, INDEX record_time record_time Type minmax GRANULARITY 2 ) ENGINE

    1.3K30编辑于 2022-12-03
  • 来自专栏瓜农老梁

    CK03# ClickHouse日志存储设计点梳理

    MergeTree会根据index_granularity间隔为数据表生成一级索引保存在primary.idx文件中。 index_granularity默认8192行,也就是使用的是稀疏索引。 也就是数据被分割为 n=数据总行数/index_granularity 个区间,每一个区间一个索引。 二级索引共同参数granularity,指跳过几个区间再生成一条索引。 具体跳数索引的含义以及原理,再起一篇梳理。 下面是一个测试样例。 `log_type` String, `log_time` DateTime64(3), INDEX environment environment TYPE SET(100) GRANULARITY 2, INDEX message message TYPE tokenbf_v1(32768, 2, 0) GRANULARITY 2 ) ENGINE = MergeTree PARTITION

    1.6K40编辑于 2022-12-03
  • 来自专栏clickhouse入门

    ClickHouse(09)ClickHouse合并树MergeTree家族表引擎之MergeTree详细解析

    参考数据存储 enable_mixed_granularity_parts:是否启用通过index_granularity_bytes控制索引粒度的大小。 颗粒的大小通过表引擎参数index_granularity和index_granularity_bytes控制。颗粒的行数的在1,index_granularity范围中,这取决于行的大小。 如果单行的大小超过了index_granularity_bytes设置的值,那么一个颗粒的大小会超过index_granularity_bytes。在这种情况下,颗粒的大小等于该行的大小。 GRANULARITY granularity_value 复制 MergeTree系列的表可以指定跳数索引。 跳数索引是指数据片段按照粒度(建表时指定的index_granularity)分割成小块后,将上述SQL的granularity_value数量的小块组合成一个大的块,对这些大块写入索引信息,这样有助于使用

    2.4K10编辑于 2024-05-30
领券