b、以实时速度执行SQL查询,甚至JOIN和聚合 c、简单缩放 3.2 CrateDB与接口存储 CrateDB很好地解决了100ms-500ms性能段的短板,并且使用磁盘+内存的方式存储数据,减少了内存的使用 图4 zeus流程配置页面 3)容器化 如何更加有效地管理、维护CrateDB集群?为此我们上了k8s,将CrateDB容器化。 自动水平扩展,以及pod的监控等特性,都极大地提高了维护CrateDB的能力,我们管理的CrateDB集群如下: ? 图6 CrateDB作为主要存储的架构图 四、安装部署 CrateDB有官方版以及社区版,为了更好地进行自维护,我们选择了社区版(通过源码编译)。CrateDB的部署与ES的部署基本一致。 而且CrateDB支持各种字段的聚合、统计,是各种指标存储、展示的不二之选。当然后续数仓组也会在数据展示这一块全面推广CrateDB的使用。 六、小结 没有完美的存储方案,只有最适合的存储方案。
业务数据一般要求严谨性,采用关系型数据库mysql,时序数据因为性能的需要,采用时序数据库cratedb。 3.7.管理后台 管理后台可以使用典型的B/S系统。 管理系统可以同时在缓存数据库redis,业务数据库mysql,时序数据库cratedb获取信息进行展示和管理。
cid: '9' 0x03 已有的远端存储的方案 现在社区已经实现了以下的远程存储方案 AppOptics: write Chronix: write Cortex: read and write CrateDB CrateDB 基于es。具体了解不多 TimescaleDB 个人比较中意该方案。传统运维对pgsql熟悉度高,运维靠谱。目前支持 streaming replication方案支持高可用。
CockroachDB, HSQLDB, H2, MonetDB, Apache Derby, Amazon Redshift, Vertica, Mckoi, Presto, Altibase, MimerSQL, CrateDB
在2018年,为了支持数仓数据的可视化运营平台,我们先后引入了ClickHouse和CrateDB作为后台的存储和查询引擎,特别是引入CrateDB以后,亿级体量的表四个维度的聚合耗时P90下降到了4秒 在携程机票,实时同步的目标载体是ElasticSearch、CrateDB或者HBase,近实时(一般T+1小时)或者T+1天的目标载体是Hive。 的性能问题及消费记录和消费过期较难监控的问题,我们基于spark-sql-kafka开发了hamal,用于新建的Kafka到Hive的同步;Kafka实时同步的载体主要是ElasticSearch或者CrateDB
在携程机票,实时同步的目标载体是ElasticSearch、CrateDB或者HBase,近实时(一般T+1小时)或者T+1天的目标载体是Hive。 的性能问题及消费记录和消费过期较难监控的问题,我们基于spark-sql-kafka开发了hamal,用于新建的Kafka到Hive的同步;Kafka实时同步的载体主要是ElasticSearch或者CrateDB
CrateDB是一个开放源码的分布式数据库,提供了NoSQL的可伸缩性和性能,具有标准SQL的强大功能和易用性。 Azure物联网的CrateDB云是一个Turnkey数据层,作为Azure上的托管云服务提供,支持更快地开发物联网平台和数据驱动的智能工厂。 CrateDB大多数客户用它来运营分析工作负载,执行快速时间序列,地理空间,文本搜索,机器学习查询其他工业物联网上的数据和数据流,所有行业的企业网络安全和系统监控,智能城市和基础设施建设,车辆跟踪管理和营销分析
携程数据血缘构建及应用 百万QPS,秒级延迟,携程基于实时流的大数据基础层建设 实时数据聚合怎么破 携程平台化常态化数据治理之路 携程酒店推荐模型优化 10分钟给上万客服排好班,携程大规模客服排班算法实践 CrateDb
5、从SQL、ES、Kylin、Ingite、CrateDB、MongoDB、HBase 不断的研究,实践。从上面的一些场景,我们研究了很多数据库。 CrateDB底层是基于ES,但CrateDB解决了ES不能join的问题,但是一样的,在高并发的时候一样会把内存打爆,ES大家应用的时候发现它的语法比较复杂,CrateDB解决了这个问题,我们可以通过写
prometheus 意识到自己本地存储不具备高可用性,所以通过支持第三方存储来补足这点的手段 配置文档地址[4] 读写都支持的存储 AWS Timestream Azure Data Explorer Cortex CrateDB
支持如下数据库: PostgreSQL Redshift Ql Cassandra SQLite (todo #165) SQLCipher MySQL/ MariaDB Neo4j MongoDB CrateDB
bittorrent-lsd ceph ceph-exporter ceph-mon cfengine checkmk-agent cockpit collectd condor-collector cratedb
bittorrent-lsd ceph ceph-exporter ceph-mon cfengine checkmk-agent cockpit collectd condor-collector cratedb
因此这个只针对我们团队内部应用场景,不对业务端需求采用该技术方案; 5)CrateDB底层沿用了ElasticSearch的源码,支持SQL语法,比ElasticSearch的使用更友好,也解决了es不能
为此我们尝试了一些市面上其他引擎,如Ingite 、CrateDB、Kylin等,每种引擎从硬件成本或性能上都有自己特有的优势,不过综合到使用场景,最终我们选择了StarRocks。
id=1" --dbms="MySQL" #指定其数据库为mysql 其他数据库:Altibase,Apache Derby, CrateDB, Cubrid, Firebird, FrontBase
id=1" --dbms="MySQL" # 指定其数据库为mysql 其他数据库:Altibase,Apache Derby, CrateDB, Cubrid, Firebird, FrontBase
Prometheus 数据持久化方案 3.1 方案选型 社区中支持prometheus远程读写的方案 AppOptics: write Chronix: write Cortex: read and write CrateDB
AppOptics: write Chronix: write Cortex: read and write CrateDB: read and write Elasticsearch: write Gnocchi