- 综合排序
- 最热优先
- 最新优先
- 来自专栏chimchim要努力变强啊
StarRocks学习-进阶
StarRocks内部导入，可以在StarRocks内部使用insert into tablename select的方式导入，可以跟外部调度器配合实现简单的ETL处理。 FE：Frontend，StarRocks系统的元数据和调度节点。在导入流程中主要负责导入执行计划的生成和导入任务的调度工作。 BE：Backend，StarRocks系统的计算和存储节点。 2.Spark Load Spark Load 通过外部的 Spark 资源实现对导入数据的预处理，提高 StarRocks 大数据量的导入性能并且节省 StarRocks 集群的计算资源。 名词解释 FE：Frontend，StarRocks的前端节点。负责元数据管理和请求接入。 BE：Backend，StarRocks的后端节点。负责查询执行和数据存储。 官方链接：StarRocks @ StarRocks_intro @ StarRocks Docs
3.8K30编辑于 2022-11-13 - 来自专栏大数据技术研究和应用
StarRocks 外表最佳实践
自 2.3.0 版本起，StarRocks 支持通过外部表的方式查询支持 JDBC 的数据库，无需将数据导入至 StarRocks，即可实现对这类数据库的极速分析。 适用场景：多表连接同一数据库：当需要从StarRocks连接到多个外部表，且这些外部表都指向同一个外部数据库时，使用RESOURCE可以提高效率和可维护性。 StarRocks支持对目标表进行谓词下推，把过滤条件推给目标表执行，但是不支持下推函数。 这意味着对于JDBC外部表，StarRocks可以将一些基础的比较运算符（如>、>=、=、<、<=）、IN、IS NULL和BETWEEN ... 如果您仍需要通过 StarRocks 查询目标数据库的数据，可以重新创建 JDBC 资源和 JDBC 外部表。
1.2K21编辑于 2025-01-03 - 来自专栏chimchim要努力变强啊
StarRocks学习-初识
目录 一、什么是StarRocks？ 使用StarRocks 来统一数据湖和数据仓库，将高并发和实时要求性很高的业务放在StarRocks中分析，把数据湖上的分析使用StarRocks外表查询，统一使用 StarRocks 管理湖仓数据。 StarRocks整体对外暴露的是一个MySQL协议接口，支持标准SQL语法。用户通过已有的MySQL客户端能够方便地对StarRocks里的数据进行查询和分析。 四、StarRocks表设计 列式存储 StarRocks的表和关系型数据相同, 由行和列构成，每行数据对应用户一条记录, 每列数据有相同数据类型。 则内存占用: (12 + 9(每行固定开销) ) * 1000W * 3 * 1.5(hash表平均额外开销) = 945M 官方文档：StarRocks @ StarRocks_intro @ StarRocks
2.9K30编辑于 2022-11-13 - 来自专栏大数据技术研究和应用
StarRocks业务开发tips
StarRocks 1、StarRocks的非主键表的表字段不支持修改，一般需要重新建表，但是表名可以修改，可以新增或删除列。 3、StarRocks中主键表的insert into在主键冲突时会自动覆盖数据。 但是StarRocks集群之间可以通过MySQL协议进行数据同步，查询速度会稍微受到影响，百万级的读取速度在10秒内。 8、StarRocks可以通过MySQL协议读取ClickHouse的数据，需要指定ClickHouse的MySQL协议的地址和端口（一般为9004）。 ，但 date_format(t1.end_date, 'yyyyMMddHH') 不行，这是因为 StarRocks 对日期格式字符串的解析有特定规则。
72421编辑于 2025-04-24 StarRocks：Connect Data Analytics with the World
作者：StarRocks TSC Member、镜舟科技 CTO——张友东本文基于镜舟科技 CTO、StarRocks TSC 成员张友东在 StarRocks Connect 2025 活动上的主题分享整理而成 现在：StarRocks 正在推动数据与现代化数据分析应用的融合。未来：StarRocks 将进一步探索数据分析与 AI Agent 的结合。 在日韩，韩国知名搜索引擎 NAVER、金融支付公司 Toss 也在生产环境中使用 StarRocks；此外，在印度、菲律宾等国家，StarRocks 也在快速拓展。 StarRocks 之所以能够在查询性能上保持优势，主要体现在以下三个方面：StarRocks 从设计之初便面向高速查询进行优化。 引入 StarRocks 后，Fanatics 构建了统一的湖仓架构：Iceberg 数据在离线场景中可由 StarRocks 直接查询，实时数据则通过 Kafka 导入 StarRocks 即刻分析，
64000编辑于 2025-09-27- 来自专栏大数据&分布式
StarRocks 查询优化&执行调度
综上，StarRocks计划对象可以分为两类：查询计划：与查询优化相关的计划树，实现了Optimizer优化执行计划：与执行调度相关的计划树，实现细粒度的MPP执行调度实现流程StarRocks FE 主要有两部分组成：优化器：负责计划树RBO和CBO优化，生成逻辑执行计划调度器：基于逻辑执行计划，设置DOP并发度，选择BE执行节点，构建执行DAG，下发执行实例，获取返回结果等优化器StarRocks 特别的，FragmentInstance在该阶段未生成，将在调度阶段生成调度器StarRocks中Coordinator协调调度器有两类：DefaultCoordinator：核心调度组件，用于FE与BE FragmentInstanceExecState 执行状态流转图：源码分析StarRocks优化器入口Optimizer类，优化器optimizer整体代码结构如下：# 路径 src/main/java 查询优化器深度解析StarRocks 技术内幕：查询原理浅析StarRocks 优化器代码导读StarRocks 查询调度源码解析技术内幕 | StarRocks Pipeline 执行框架（上）
60454编辑于 2025-06-22 - 来自专栏大数据技术研究和应用
StarRocks 物化视图最佳实践
文档：https://docs.starrocks.io/zh/docs/using_starrocks/async_mv/Materialized_view/物化视图管理不同版本对物化视图支持的特性不一样 ，查看当前StarRocks版本。 /注意事项当前 StarRocks 不对嵌套层数进行限制。 StarRocks 目前无法感知外部数据目录基表数据是否发生变动，所以每次刷新会默认刷新所有分区。您可以通过手动刷新方式指定刷新部分分区。 在 v3.1.0 之前，StarRocks 仅支持哈希分桶。您在建表和新增分区时必须设置哈希分桶键（即 DISTRIBUTED BY HASH 子句），否则建表失败。
2.1K32编辑于 2025-01-03 - 来自专栏Catorory
使用FileBeat收集StarRocks日志
背景生产环境中使用StarRocks一般都是多节点，3个fe3个be已经是很小的规模了，出现问题需要查日志的话，6个节点上找日志是比较费劲的，我们希望能够将日志都收集到es，查找方便而且支持搜索，提升排查问题的效率 日志类型我们知道StarRocks集群有两种节点类型，fe和be，对应有fe.log和be.log，细分其实还有warn、info、error日志，但是warn和error比较少，这里合并到一起收集。 另外，StarRocks是个数据库，所以sql日志也非常重要。 日志处理Filebeat配置我们使用的阿里的E-mapreduce，sr日志目录如下filebeat.inputs:- type: log id: ali-starrocks02-be02 enabled : true symlinks: true paths: - /opt/apps/STARROCKS/starrocks-current/be/log/be.INFO multiline.pattern
1.4K40编辑于 2023-04-29 - 来自专栏ByConity
StarRocks 物化视图2 - 查询优化
如果物化视图 join_mv1 仅包含 lineorder 和 customer 的 Join，StarRocks 可以使用 join_mv1 来改写查询。 v3.1+2 物化成功率-- 物化视图成功优化 StarRocks支持将物化视图刷新任务的部分中间结果落盘ALTER MATERIALIZED VIEW mv2 SET ('session.enable_spill
42510编辑于 2025-09-15 - 来自专栏C/C++
StarRocks 查询加速1 - Bitmap
若过滤效果差，即使创建索引，数据库也会自动跳过（如 StarRocks 的自适应机制）。 StarRocks 的自适应机制StarRocks 会自动判断 Bitmap 索引是否适用：若索引能有效过滤数据且加载开销小，则启用；若索引过滤效果差或加载开销大，则自动跳过，避免影响查询性能。
33121编辑于 2025-09-16 StarRocks Community Monthly Newsletter (Apr)
本月精选内容文章精选迈向云原生：理想汽车 OLAP 引擎变革之路StarRocks 查询优化器深度解析从被动救火到主动预防，StarRocks 监控与告警全攻略RAG 实战｜用 StarRocks + StarRocks问题复盘 Clone RUNTIME_ERROR 及修复StarRocks Zonemap IndexFlink高性能读写StarRocks内表剖析Apache Paimon数据湖查询引擎 StarRocks视频精选【中字教程】数据入湖到可视化：Hudi+MinIO+StarRocks + HiveMetaStore + Apache SuperSet本月精选活动StarRocks 社区 StarRocks 社区 2025 布道师计划正式开启StarRocks 小课堂 | 监控告警全覆盖，别等服务挂了才处理！ 告别被动救火，掌握监控主动权⏬演讲文档：从被动救火到主动预防，StarRocks 监控与告警全攻略视频回放：StarRocks 小课堂| 监控告警全覆盖，别等服务挂了才处理！
33310编辑于 2025-05-18【活动回顾】StarRocks Singapore Meetup #2 @Shopee
Gable Heng 分享了 Grab 如何利用 StarRocks 优化交互式查询和 BI 报表场景。 Huong Vuong 则介绍了 Grab 如何通过 StarRocks 改进 Spark 任务的可观测性工具 Iris。 StarRocks 提供了完整的 SQL 支持、列式存储和向量化执行，显著提升了查询性能，并将实时数据分析的延迟降低了 50%。 ，分享了 StarRocks 在低延迟和高可用性方面的优化。 type=season 文章：StarRocks 在 Shopee 数据产品的实践Pinterest：从 Druid 到 StarRocks，实现 6 倍成本效益比提升https://engineering.grab.com
23710编辑于 2025-03-28- 来自专栏大数据技术研究和应用
StarRocks的初步介绍和使用
官方文档：https://docs.starrocks.io/zh/docs/quick_start/快速开始教程：https://docs.starrocks.io/zh/docs/quick_start 特性兼容 MySQL 协议StarRocks 兼容 MySQL 协议，支持标准 SQL。用户可以轻松地通过 MySQL 客户端连接到 StarRocks 实时查询分析数据。 实时导入StarRocks 能够支持秒级的导入延迟，提供准实时的服务能力。StarRocks 的存储引擎在数据导入时能够保证每一次操作的 ACID。 您可以将 StarRocks 作为查询引擎，直接查询湖上数据，无需导入数据至 StarRocks。数据表StarRocks 中的表分为两类：内部表和外部表。 StarRocks 的物化视图可以按需灵活创建和删除。用户可以在使用过程中视实际使用情况来判断是否需要创建或删除物化视图。StarRocks 会在后台自动完成物化视图的相关调整。
2.5K31编辑于 2024-12-09 - 来自专栏实时流式计算
DorisDB升级为StarRocks，全面开源！
今天被朋友圈刷屏了，StarRocks开源——携手未来，星辰大海！ 原文链接:StarRocks开源——携手未来，星辰大海！ 可能大家对StarRocks不太熟悉，但是DorisDB想必都是听说过的。 在过去相当长的一段时间，对于ClickHouse 与 DorisDB的性能之争一直经久不息。 DorisDB升级为StarRocks，并全面开源（Github搜索“StarRocks”） Github：https://github.com/StarRocks/starrocks 另外，官方下载地址与文档
5.5K40发布于 2021-09-24 - 来自专栏爱可生开源社区
技术分享 | ClickHouse & StarRocks 使用经验分享
StarRocks 调研因为 ClickHouse 无法有效的支撑业务类数据的分析场景，所以我们继续调研了 StarRocks ，主要是看重了 StarRocks 里存在非常适合实时更新场景的主键模型( 图片最后就是 StarRocks 的兼容性，相比于 ClickHouse ，StarRocks 的 MySQL 兼容性更加优秀，基本完全兼容 MySQL 协议与 SQL 语法，开发也可以无缝切换到 StarRocks 后期我们主要通过部署 StarRocks 来解决项目上业务数据的实时分析，不过相较于 ClickHouse 的单机部署，StarRocks 则通常是多节点部署才能发挥更好的查询性能，因此 StarRocks StarRocks 同步MySQL to StarRocks 是我们基于 Bifrost 做了一些改动后实现，还是利用 Bifrost 自身的 CDC 功能，先将增量数据写入 Kafka 中，然后在 StarRocks 如果是分析业务流数据，更加推荐 StarRocks ，因为 StarRocks 对于更新场景性能更加，而且 JOIN 性能更好，而且更加推荐部署 StarRocks 集群，可以充分发挥 StarRocks
5.6K42编辑于 2023-01-17 - 来自专栏LakeHouse
StarRocks 物化视图1 - 基础概念
物化视图不可用/可用ALTER MATERIALIZED VIEW mv1 ACTIVE;ALTER MATERIALIZED VIEW mv1 INACTIVE;#物化优化-- 物化视图成功优化 StarRocks 刷新时修复：StarRocks将会在刷新物化视图时尝试自动执行以上的修复命令，重建物化视图再刷新。 自动修复：StarRocks将会尝试自动修复Inactive的物化视图，您可以通过ADMIN SET FRONTEND CONFIG('enable_mv_automatic_active_check'
51621编辑于 2025-09-15 - 来自专栏大数据技术研究和应用
Spark UDF函数迁移到StarRocks
前言StarRocks 提供了丰富的函数，方便您在日常数据查询和分析时使用。 StarRocks 还提供 Hive Bitmap UDF 功能，您可以在 Hive 里计算生成 Bitmap 后，再导入 StarRocks；将 StarRocks 里生成的 Bitmap，导出到 Hive StarRocks 的 UDF 支持自 2.2.0 版本起，StarRocks 支持使用 Java 语言编写用户定义函数（User Defined Function，简称 UDF）。 您可以根据业务场景开发自定义函数，扩展 StarRocks 的函数能力。 官方文档：https://docs.starrocks.io/zh/docs/sql-reference/sql-functions/JAVA_UDF/StarRocks 的FE节点支持开启UDF，默认关闭
93421编辑于 2024-12-09 - 来自专栏大数据技术研究和应用
外部数据同步（CDC）到StarRocks
官方列出的工具：https://docs.starrocks.io/zh/docs/loading/loading_tools/实时StarRocks外表参考：https://juejin.cn/post /7325495640054235162StarRocks 支持以外部表 (External Table) 的形式，接入其他数据源。 目前 StarRocks 已支持的第三方数据源包括 MySQL、StarRocks、Elasticsearch、Apache Hive™、Apache Iceberg 和 Apache Hudi。 StarRocks 中创建 MySQL 外部表时需要指定 MySQL 的相关连接信息，如下所示。注意：MySQL中的DDL语句如修改列，不会同步到StarRocks。 /StarRocks官方文档：https://docs.starrocks.io/zh/docs/loading/Flink_cdc_load/，该文档还基于StarRocks的SMT工具，原理都是一样
64921编辑于 2025-02-06 - 来自专栏数据库相关
使用vector采集StarRocks的审计日志
目前发现Starrocks2.5版本中审计日志插件有丢日志和日志截断的情况。因此额外使用vector采集一份，作为补充。 trueaddress = "0.0.0.0:8686"cat config/fe_audit_log.toml [sources.fe_audit_log]type = "file"include = [ "/opt/StarRocks sinks.es_cluster.buffer] type = "disk" max_size = 536870976 when_full = "block" [sinks.es_cluster.bulk] index = "starrocks-auditlog
28410编辑于 2025-09-18 StarRocks 4.0：Real-Time Intelligence on Lakehouse
回顾 StarRocks 的进化之路，每一次大版本迭代都紧扣时代对数据分析的核心诉求。StarRocks 1.x，打造极速查询性能，解决 BI 报表、数据探寻慢的痛点问题。 StarRocks 2.x，解决‘实时分析’的难题，帮助用户更快的洞察业务。StarRocks 3.x，升级存算分离架构，打造极速统一的湖仓分析能力，让数据分析更加的简单高效。 极速分析再进化StarRocks 一直以卓越的性能表现闻名，StarRocks 4.0 将性能优势进一步扩大，并覆盖更多数据分析场景。 StarRocks 4.0 大版本将实现湖仓原生分析 ——将 StarRocks 多年来在数仓场景积累的优化经验，应用到开放格式之上，让用户基于 Iceberg 构建湖仓像使用 StarRocks 内表一样简单 接下来，StarRocks 社区将重点聚焦：Fast Query：极速统一是 StarRocks 持续发展的主线，为多样化的场景提供稳定、可预期的极速查询性能。
35610编辑于 2025-10-28
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号