之前有很多关心我个人情况的朋友也比较关注我下一步去哪里就业或者创业的动向,时至今日已差不多算尘埃落定了,跟各位关心的小伙伴汇报一下以后的决定和选择,以及我对整个数据行业的思考和判断。
帮助读者全面地理解可 SelectDB 可观测性方案的优势和适用性。 易用性标准易用的 SQL 接口:SelectDB 支持标准 SQL、兼容 MySQL 协议和语法,基于 SelectDB 构建的可观测性平台能够使用 SQL 进行查询,对工程师和数据分析师非常友好。 ://cdn.selectdb.com/static/selectdb_demo_d32080ca10.mp4" type="video/mp4" />Grafana 通过 MySQL 此外,在未来一个季度,SelectDB 将通过兼容 Elasticsearch 查询协议,实现原生 Kibana 直接连接到 SelectDB。 结束语基于 SelectDB 的高性能倒排索引、高吞吐量写入和高压缩存储,用户可以构建出性能高于Elasticsearch 10 倍的可观测性平台,并支持国内外多个云上便捷使用 SelectDB Cloud
近日,云数据库 SelectDB ,进一步强化了与数据传输服务(DTS)的深度融合,在提供亚秒级响应和海量数据查询能力的同时,实现一键从多种源数据库迁移或同步至 SelectDB 全托管服务,让企业在数据同步迁移过程中享受到更便捷和更稳定的体验 云数据库 SelectDB 通过与 DTS 联合,为用户提供了简单、实时、极速且低成本的事务数据分析方案。 云数据库 SelectDB 也提供了数据同步的解决方案,企业可以通过数据传输服务 DTS 实现全量与增量数据的实时同步,在保证原有数据库支持在线业务的同时,通过引入云数据库 SelectDB 强大分析能力进一步挖掘数据价值 以上就是通过 DTS 将 RDS MySQL 同步至云数据库 SelectDB 的操作步骤简述,更多操作说明请移步至官方操作指南。 通过使用数据传输服务 DTS ,企业不仅能够迅速将原有 MySQL 数据库同步到更高性能的云数据库 SelectDB,更能在保持业务连续性的基础上,充分利用云数据库 SelectDB 强大的分析能力和弹性扩展优势
因此,我们在 SelectDB 中引入多计算集群能力,通过数据仓库架构上的创新来更好地满足用户需求。 初识 SelectDB 多集群在 SelectDB 的架构设计中,一个仓库实例可包含多个集群,类似分布式系统中的计算队列和计算组。数据持久化在底层的共享存储中,多个集群均可共享访问。 对于多集群的使用方式,用户连接 SelectDB 仓库实例后,可通过命令切换使用不同的计算集群。 SelectDB 通过提供精心设计的缓存管理机制,可自动化保障存算分离架构的查询性能,也可按需满足用户灵活多变的调优需求:对于单个计算集群,SelectDB 默认会根据 LRU 策略进行数据缓存,当缓存大小足够存储全部热数据时 SelectDB 提供完整的权限控制与资源隔离的方案,来保障多计算集群架构有条不紊的运行:对于计算集群的使用,SelectDB 提供一套简单易用的权限机制,集群支持类似库表的权限分配机制,只有给用户分配了某集群的权限
日志场景解决方案 作为 ApacheDoris的商业化公司,SelectDB团队基于 ApacheDoris内核开发了云原生版本 SelectDBCloud,并推出了面向日志分析场景的解决方案。 基于以上问题,日志场景解决方案的想法基于Doris高性能向量化引擎底座,再加上SelectDB存算分离架构、轻量级倒排索引和时序数据管理达到更好的效果。 举例:在上游写入方面,我们配置Logstash使用内置的http output plugin将数据写入SelectDB。 关键技术5:高吞吐实时写入 我们让客户端进行实时小批量写入,在SelectDB服务端进行攒批,可实现秒级flush可见,向量化索引吞吐几十GB/s,写放大更优的时序compaction。 关于开源 SelectDB一直秉承开源开放的价值观,对于上面介绍的倒排索引、TopN优化、时序Compaction优化等关键技术,已经贡献到ApacheDoris社区,预计在2023年Q1的Doris
我就点进去看了,原来是 SelectDB 公司的“为数而生,因云而新” SelectDB 产品发布会。这个发布会上 SelectDB 发布了云数仓产品 SelectDB Cloud。 SelectDB Cloud 在向量化计算框架中也大量使用 SMID 指令提升了算子的性能数十倍。 SelectDB Cloud 在数据存储上采用的也是流行的列式存储。 进一步的研究还可以发现,在分析型数据库性能测试排行榜 ClickBench 中,SelectDB 排名第一。这说明 SelectDB Cloud 确实是性能非常的优越。 这些为 SelectDB Cloud 带来了非常低的使用成本。SelectDB Cloud 的成本是用户私有部署的1/2到1/5。 这让使用 SelectDB Cloud 的门槛非常的低。
操作系统,所有用户均可免费安装使用Server 版: 内置于 SelectDB Cloud 和 SelectDB Enterprise 产品中,用户可通过浏览器访问服务使用。 ,已购买 SelectDB Enterprise 或 SelectDB Cloud 或 阿里云数据库 SelectDB 版的用户可直接使用,不产生额外费用。 工具默认内置于商业产品 SelectDB Enterprise 或 SelectDB Cloud 或 阿里云数据库 SelectDB 版,并与 FE 节点混合部署。 核心功能01 多数据源连接只要网络可通,具有访问权限,SelectDB Studio 即可连接 Apache Doris、SelectDB Enterprise、SelectDB Cloud、阿里云数据库 根据所部署的环境,分别连接对应的目标数据库,例如:私有化部署的 SelectDB Enterprise、云上部署的商业产品 SelectDB Cloud 或者阿里云数据库 SelectDB 版。
概述:分析型数据库性能排行榜 ClickBench 最近迎来了一匹黑马,那就是成立不满一年,成绩却斐然的新一代云数仓 SelectDB。 这无疑在数据库领域掀起了大风浪,人们纷纷搜索 SelectDB 这个新名字。今天,就由小编带领大家来一探究竟吧! 在本次提交的测试结果中,SelectDB 以强悍的查询性能表现强势登顶。 在全部 43 个 SQL 中,有近半数的查询语句 SelectDB 性能表现最优,成为新的性能标杆。 由此可见,SelectDB 的打榜不是花拳绣腿,而是真刀真枪。这样一份答卷,让人难以置信的是,竟然出自成立不足一年的初创企业。
综合来看,SelectDB 能够满足观测云的大部分需求,并且在与同类产品的对比中表现出色,我们也会在后面的章节中详细介绍基于 SelectDB 的改造实践。 基于 SelectDB 的存储架构升级因此我们引入 SelectDB 对 GuanceDB 内部架构进行升级,为了更好地介绍 SelectDB 如何在 GunaceDB 中作为存储引擎发挥作用,我们首先介绍一下 当前的查询架构是综合 FE 和 BE 能力的混合计算架构,DQL 即可以利用 SelectDB 已经充分优化的查询能力,也可以让语法拓展不受 SelectDB 本身 SQL 能力的限制。 此外,SelectDB 还可通过本地 Cache 加速对冷数据的访问,从而提升用户查询冷数据的使用体验。SelectDB 的引入,实现了查询性能显著提升。 SelectDB 支持在运行过程中按需增加索引,新写入的数据索引立即生效。同时 SelectDB 可以控制对哪些分区创建索引,使用起来非常灵活。
基于 Apache Doris 的现代化实时数据仓库 SelectDB面向企业灵活弹性的系统需求,飞轮科技基于 Apache Doris 打造了现代化实时数据仓库SelectDB,通过实时、统一、弹性、 SelectDB Cloud 也支持自动启停能力,在闲置时释放集群节省计算成本,在请求到达时拉起集群。 云原生实时数仓 SelectDB Cloud 允许用户根据实际需求自定义缓存大小,从而实现更高效、更灵活的数据处理。 采用按需存储:经济可靠的存储管理云原生实时数仓 SelectDB Cloud 采用存算分离架构,底层存储使用更加稳定可靠、低成本的对象存储服务,使得 SelectDB Cloud 具有如下优势:按实际存储使用量付费 基于对象存储,SelectDB Cloud 为企业提供了更加经济、可靠的解决方案。
基于SelectDB的数据中台方案面对上述需求,上海证券于2024年2月正式完成基于SelectDB的数据中台基础搭建,10月实现全量业务迁移,目前处于深度应用期。 同时SelectDB提供高性能实时分析能力,统一支撑上海证券结构化与非结构化数据的分析需求。 为此,上海证券进行了系统升级,在开户结果分析中引入了SelectDB,并在活动关系及实时战报模块中使用SelectDB替换原Elasticsearch组件,作为实时分析引擎,实现流批一体架构。 应用收益上海证券通过引入SelectDB构建数据平台,有效解决了原Hadoop与Elasticsearch架构的关键瓶颈,在性能、成本等方面实现显著突破:突破实时分析瓶颈,分析效率跃升:基于SelectDB 借助SelectDB倒排索引能力及复杂聚合查询能力,支撑1000+QPS高并发访问,关键决策响应延迟低至200ms,响应效率翻倍;湖仓&流批一体架构,有效降低成本:基于SelectDB的数据平台可直接访问
SelectDB提供两款产品:SelectDB Cloud(全托管SaaS)和SelectDB Enterprise(私有化部署),支持多数据源接入、联邦查询和冷热数据分层存储,存储成本可降低90%。 二、SelectDB 是什么 selectDB官网:https://www.selectdb.com/ SelectDB 是北京飞轮科技有限公司基于 Apache Doris 项目开发的新一代实时数据仓库 SelectDB 主要有两款企业级产品,分别为 SelectDB Cloud 和 SelectDB Enterprise,能够差异化地满足来自云上和私有化部署用户的不同需求。 分享官方文章: 1、官方文档:安装与部署 | SelectDB 2、官方文档:使用手册 | SelectDB 3、SelectDB官网:面向实时分析的现代化分析型数据仓库-OLAP实时数仓-SelectDB 4、SelectDB Tools下载-SelectDB 5、X2Doris是SelectDB可视化数据迁移工具,安装与部署&使用手册,轻松进行大数据迁移
摘要:X2Doris 是 SelectDB 推出的可视化数据迁移工具,支持从 Hive、Kudu、Doris/StarRocks 迁移至 Apache Doris 或 SelectDB Cloud。 SelectDB官网:面向实时分析的现代化分析型数据仓库-OLAP实时数仓-SelectDB 1.安装与部署 1.1项目介绍 X2Doris 是 SelectDB 开发的,专门用于将各种离线数据迁移到 SelectDB Cloud:Doris 的云服务版本,由 SelectDB 提供托管。 Spark:底层计算引擎,X2Doris 依赖其分布式处理能力。 参考文章: 1、官方文档:安装与部署 | SelectDB 2、官方文档:使用手册 | SelectDB 3、SelectDB官网:面向实时分析的现代化分析型数据仓库-OLAP实时数仓-SelectDB 4、SelectDB Tools下载-SelectDB
SelectDB-Doris 企业级分发版 版本介绍 SelectDB-Doris-Enterprise 版本是 SelectDB 团队基于 Apache Doris 版本迭代维护的企业级分发版。 版本定位 SelectDB-Doris-Enterprise 第一点保障的就是与同版本的 Apache Doris 可做到 100% 完全兼容,即无论是从 Apache Doris 切换至 SelectDB 这一点的保证是为了让更多的社区用户可以无忧的使用更稳定的 SelectDB 企业级分发版,也可以更自由的使用 Apache Doris,中间不做任何的限制。 发版速度更快:企业级分发版由于是由 SelectDB 团队自主进行发版流程的版本,故此无需经过投票等社区化流程,且在企业内按规章的完成产品迭代发布,无论是从速度还是从质量都更有保证,所以 SelectDB-Doris-Enterprise 而较于 SelectDB 企业级分发版,企业内部是可以投入团队来持续的做 LTS 分支的 BUG Fix,故此 SelectDB 企业级分发版可以提供 1-3 年的长周期支持版本。 4.
导读:中通快递基于SelectDB构建了湖仓分析架构,补齐OLAP分析能力。 SelectDB以高效的向量化引擎、Pipeline执行模式、完善的缓存机制支持、高度兼容的SQL语法以及灵活的湖仓分析能力吸引了他们为了验证SelectDB向量化引擎和Pipeline执行模式的高性能查询能力 ,团队进行了多轮对比测试,以评估二者之间的性能差异:在生产环境SQL测试中,单表100GB数据量的查询场景下,SelectDB相比Trino有1-2倍的性能提升;在1TBTPC-DS标准测试中,SelectDB 2.湖仓分析实时架构中通基于SelectDB构建了新一代的湖仓分析架构,其核心是将SelectDB作为统一、高性能的查询加速引擎覆盖在数据湖之上。 相比之下,SelectDB虽仅拥有三套集群规模,总数为60台,但日峰值响应量接近90万个查询。这一数据表明,SelectDB在实时计算的响应能力方面具有显著优势,能够更加高效地满足大量查询需求。
3 个产品的配置如下:Apache Doris 使用托管的 SelectDB Cloud 服务。
爱玛集团经过三年多的数智化转型实践,成功构建了 All In SelectDB 的统一数据平台,实现了从传统 Hadoop 多组件架构到 SelectDB 轻量级一体化平台的转变,数据处理效率提高 5- 更重要的是,SelectDB 的架构设计理念与爱玛对轻量级、高效率数据平台的需求高度契合。 特别是在复杂查询场景下,SelectDB 的性能表现远超原有的 Hadoop 多组件组合方案。这些测试结果坚定了团队选择 SelectDB 作为核心数仓来重构新一代数据平台的决心。 基于 SelectDB 的实时数据处理能力,爱玛构建了全方位的实时业务监控体系。 在技术选型方面,爱玛团队经过深入调研和测试,选择了与 SelectDB 技术架构深度集成的大模型解决方案,确保 AI 能力能够充分利用 SelectDB 的高性能计算优势。
深耕银行 IT 建设领域 26 的年, 宇信科技服务超数百家金融机构,覆盖核心系统、渠道平台、风控中台等关键业务场景。其数据条线团队专注经营分析场景 20 余年,为城商行、农商行提供从报表系统到智能决策的全栈解决方案。随着银行业数字化进程步入深水区,宇信科技面临双重挑战:一方面,市场节奏的加快,让客户对 "分钟级数据响应" 需求迫切,传统数据平台的处理效率与扩展能力已显滞后;另一方面,决策者不再满足于 "工具即报表" 现状,需要一种能够实现 "智能归因 - 闭环决策" 的深度分析能力,以应对复杂多变的市场环境。
场景实战:基于SelectDB+AI的产品反馈洞察系统那么,具体如何实现呢?在接下来的实战指南中,我们将以SelectDB产品经理的身份讲解。 而利用SelectDB+AI,我们可以构建一个自动化的智能洞察系统。 第一步:初始化1.新建SelectDBCloud集群前往SelectDB官网,选择专有仓库(SaaS)产品,该产品提供为期14天的免费试用:https://www.selectdb.com/download 2.创建表与原始数据同步首先,在SelectDB中创建三张核心表,分别存储原始数据、向量化内容及AI解析结果。 当前方案仅为演示,未来SelectDB将通过支持PythonUDF实现更灵活、更贴合业务场景的Chunking。
与此同时,飞轮科技也基于Apache Doris发布它们商业化的产品SelectDB。目前飞轮科技也搞到了3亿人民币的天使轮投资,项目是干得热火朝天。 另外一个就是Doris剩下的原班人马在原百度智能云大数据与视频云总经理连林江创办的飞轮科技下面,继续做开源的Doris,同时推出自己的商业化产品SelectDB。 飞轮科技能不能够让Doris和商业化的SelectDB成为一个响当当的数仓产品,以目前的信息,我还不得而知。 但是竞争是激烈的。国内国外,在云原生数仓这个赛道已经很密集了,有很多有竞争力的对手。 比如说,在不远的未来,不知道是SelectDB打败StarRocks呢,还是StarRocks干翻SelectDB呢?可能答案只有时间才能告诉我们了。