- 综合排序
- 最热优先
- 最新优先
- 来自专栏Apache Doris
招商信诺人寿基于 Apache Doris 统一 OLAP 技术栈实践
因此，我们希望寻找一个 OLAP 系统既能覆盖大部分的业务场景，也能够降低复杂技术栈带来的开发、运维和使用成本，还能最大化的提升架构性能。 架构 2.0：基于 Apache Doris 统一技术栈图片数仓架构的两代版本主要在存储、计算、查询分析方面有很大不同。 新架构不仅实现了技术栈的统一，还降低了开发、存储与运维等各方面的成本支出，实现了业务与数据的进一步统一。 保险一线业务收益与实践目前，基于 Apache Doris 统一技术栈的实时数仓已经在 2022 年 Q3 上线并投入生产环境使用，用于支撑海量数据的 OLAP 高效分析能力，并在平台上支撑了更多业务相关的场景 目前，我们已经基于 Apache Doris 替换了 Presto、Clickhouse、MySQL、HBase 多个组件以实现 OLAP 技术栈统一、各类成本降低，并提升导入与查询性能。
1.7K40编辑于 2023-09-19 - 来自专栏码字搬砖
常见开源OLAP技术架构对比
混合 OLAP ( HOLAP ) 混合 OLAP，是 MOLAP 和 ROLAP 的一种融合。当查询聚合性数据的时候，使用MOLAP 技术；当查询明细数据时，使用 ROLAP 技术。 在一二线的互联网公司中，应用较为广泛的还是上面提到的各种OLAP引擎，如果你希望能够通过掌握一种OLAP技术，学习这些就够了。 4. 携程内部从18年7月份开始接入试用，目前80%的业务都跑在ClickHouse上。每天数据增量十多亿，近百万次查询请求。 只有真正有OLAP线上经验的人，在特定业务场景、特定数据量的，有过深入优化以上介绍的一种或者几种OLAP引擎经验的专家，才有相应的发言权来给出技术选型的建议。 但是由于这些OLAP引擎技术方案太多，不可能有哪个专家全都精通。
2.9K21发布于 2021-11-09 - 来自专栏Soul Joy Hub
数据仓库和OLAP技术概述
决策支持，相比于传统的联机事务处理应用程序，会有些不同的要求数据库技术。本文提供的数据概述数据仓库和OLAP技术，着眼于他们的新的要求。 介绍 数据仓库是决策支持技术的集合，旨在使知识工作者（总裁，经理，分析师）做出更快更好的决策。过去三年已经看到的爆炸性的增长，无论是在所提供的产品和服务的数量，还是在采用这些技术的工业领域。 相比之下，多维OLAP （ MOLAP）服务器直接把多维数据存储在特定的数据结构（例如，数组），并实现了OLAP在这些特点的数据结构的操作。 在3-7节，我们回顾了在数据加载相关技术和刷新数据仓库，仓库服务器，前端工具和仓库管理工具。在每一种情况下，我们指出什么是传统的数据库技术不同的，我们会提到有代表性的产品。 OLAP Council是在整个行业的标准化工作上一个很好的信息源。还有科德等人的论文定义了OLAP产品的12条规则。
77020编辑于 2022-05-18 - 来自专栏AndrekzWu的专栏
技术栈系列基础篇7-linux常见命令
6787:789# 预览模式-向最后一行前面插入文本[root@VM_0_3_centos ~]# sed '$iendi' text 1:1232:2343:3454:4565:5676:678endi7: ~]# sed -n '/1/,4p' text1:1232:2343:3454:456=打印行号# 打印最后一行行号[root@VM_0_3_centos ~]# sed -n '$=' text 7# 查看磁盘大小- du -sh // 查看目录大小- ps -axu // 查询瞬间进程状态- free // 查询内存状态- top // 查询实时变化进程- ulimit - -s 查询linux栈大小 RES=CODE+DATA - CODE 可执行代码占用的物理内存大小，单位kb- DATA 可执行代码以外的部分(数据段+栈)占用的物理内存大小，单位kb- SHR 共享内存大小，单位k- 虽然进程只使用了几个共享库的函数 systemctl disable firewalld- 启动防火墙命令 systemctl enable firewalld用systemctl 代替了service，不过为了向后兼容，centos7中
1.1K20编辑于 2022-09-21 - 来自专栏数据社
浅谈OLAP系统核心技术点
文章来自知乎，作者：neoReMinD OLAP系统广泛应用于BI、Reporting、Ad-hoc、ETL数仓分析等场景，本文主要从体系化的角度来分析OLAP系统的核心技术点，从业界已有的OLAP中萃取其共性 一些数值类型有时也可以尝试大一统的用bitshuffle[14]做转换，配合压缩效果也不错，例如KUDU[7]和百度Palo（Doris）中有应用。 传统的OLAP需要做各种pipeline、ETL导入数据，这样的架构会存储多份数据，冗余并且一致性不好保证，也引入过多的技术栈和复杂度，也不能满足实时分析，即使mini-batch的处理仍然需要最快数分钟 事务处理和分析处理在一个数据库中提供，是最理想的状态，但是二者的技术体系往往又很难融合，因此现在很多数据库厂商都在做这方面的尝试，保证数据一致性是很大的挑战，一种思路是从OLTP到OLAP，多副本存储时 传统的OLAP，例如Exadata等依赖于高端硬件，很多on-premise的解决方案也面临扩展性和成本问题，云原生的架构通过虚拟化技术，可实现更好的弹性计算，如果采用存储计算分离的架构还可以实现弹性存储
1.6K20发布于 2020-08-27 - 来自专栏技术成长
常见的OLAP架构分类以及技术演进
OLAP（联机分析处理）实现技术的演进主要包括以下几个阶段：多维数据库：OLAP最早的实现技术是多维数据库，它使用基于数组结构的多维模型来存储数据，并提供了灵活的查询和分析功能。 ROLAP（关系型OLAP）：为了解决多维数据库的不足，ROLAP技术将OLAP与关系型数据库相结合。 HOLAP技术能够在保持查询性能的同时，提供较好的数据更新和灵活性。这些演进对OLAP系统的影响如下：查询性能改善：随着OLAP实现技术不断演进，查询性能得到了显著改善。 多维数据库、MOLAP和HOLAP技术在查询和分析性能方面更为优秀，能够提供更快的响应时间。数据存储优化：OLAP实现技术改进了数据存储方式，提高了存储效率和查询效率。 总的来说，OLAP实现技术的演进对OLAP系统带来了查询性能的改进、数据存储的优化以及数据更新和灵活性的改善。
1.2K41编辑于 2023-10-09 - 来自专栏Ryan Miao
技术栈
方向 内容 后端 java基础(掌握多线程并发concurrent，java内存模型（java memory model，jmm），volatile，ThreadLocal，ConcurrentHashMap，CopyOnWriteArrayList) spring,springmvc,spring boot mybatis jfinal 缓存 ehcache 文件格式 xml json properties yml
1.1K110发布于 2018-03-13 - 来自专栏ApacheHudi
京东李海波：OLAP关键技术演进思考
OLAP的目标是满足决策支持或多维环境特定的查询和报表需求，它的技术核心是“维”这个概念，因此OLAP也可以说是多维数据分析工具的集合。 2. 左手数据库，右手大数据，处于中间的OLAP博采众长，查询引擎、事务、多版本机制来自数据库，又吸收了大数据分布式技术、多副本、列存等特性，走出了一条特色鲜明的技术路线。 下面挑选5款典型的开源OLAP引擎给大家介绍，Druid是最早的实时OLAP引擎，ES是基于全文检索的技术，Kylin是基于Hadoop生态的整合技术，CK和Doris是偏分析型数据库OLAP方案，他们都适合不同的场景 04 OLAP 的关键技术 Key Technology 通过上文的几款典型的OLAP引擎可以看出，OLAP技术呈现百花齐放的特点，因为篇幅有限，本节只能简单介绍OLAP中如下的技术，大家可以大体了解一下 索引技术也是OLAP中查询加速有效的手段，OLAP中的索引一般分为主键索引、Skipping索引、Bitmap索引、Bloom Filter索引等。
1.4K40编辑于 2023-02-28 - 来自专栏ApacheHudi
滴滴OLAP的技术实践与发展方向
经过1年多的发展迭代，ClickHouse和Druid成为了滴滴内部主要的OLAP引擎，也让OLAP在滴滴内部逐步发展起来。 可以将StarRocks中的实时数据、离线维度数据进行实时关联，免去中间数据同步的时间开销，通过一套技术方案，解决实时数据湖仓分析。 高精度基数的精确去重，一直是OLAP的技术难点，应对每天上亿规模明细数据的count(distinct())计算，对计算资源消耗是个大挑战。 第二，筛选的维度比较灵活。 课题：探索一个技术方案，在可接受的成本基础上，达成业务应用场景目标。 结合业务特点，基于StarRocks的物化视图能力，对整个看板场景链路进行加速优化设计。 由于看板查询都是基于平台配置，自动生成的查询SQL，因而通过分析历史查询记录，提取高频查询，进行物化视图自动创建，降低人工参与，才能更有利于实现技术的更大规模应用和推广。
80210编辑于 2024-02-06 - 来自专栏全栈程序员必看
前端技术栈总结_前端开发技术栈
大家好，又见面了，我是你们的朋友全栈君。 Design mobile：蚂蚁金服） Vue搭配的组件: PC（element UI，）, 移动端（vant有赞，Ant Design蚂蚁金服，uniApp） Ant Design 是阿里巴巴-蚂蚁金服体验技术部所设计的一个 发布者：全栈程序员栈长，转载请注明出处：https://javaforall.cn/210459.html原文链接：https://javaforall.cn
1.3K60编辑于 2022-11-17 - 来自专栏喔家ArchiSelf
全栈的技术栈设想
全栈不是全能，只要覆盖了所使用的技术栈就是全栈，例如LNMP，Linux＋Nginx＋Mysql＋PHP。 全栈架构师关注的是业务所采纳的全部技术栈，以及技术栈所涉及的系统性能、安全，高可用等诸多因素。 ? 和习武一样，我想试图探讨一下全栈的套路，很多能力不是通过当头棒喝产生的。郭大侠需要降龙十八掌，令狐冲以无招胜有招也需要独孤九剑。我觉得全栈的技术栈可以主要分为3个切面：技能，性能 和效率。 缓存是减少负载，提高系统性的必备技术。可以从客户端，网络侧，服务端三个环节对缓存进行分类，具体可以参考《老曹眼中的缓存技术》。 ? 啰哩啰嗦，只是想探讨一下全栈的套路，也许这本身就是一个伪命题。 ? 这是我非常喜欢的一句话，印在公司的墙上，“以匠心，铸非凡”，送给每一个热爱技术的朋友！
94830发布于 2018-08-22 - 来自专栏LNMP开发那些事
PHP技术栈
文章转自脚本之家，原文名称为《中高级PHP程序员应该掌握哪些技术》，点击这里查看原文。 本文把php程序员划分为中、高级程序员两大类程序员，并针对这两大程序员应具备的技能进行分类探索。 max_requests/max_children/request_terminate_timeout之类的影响性能的配置），知道mod_php /fastcgi的区别；在PHP方面已经能够熟练各种基础技术 （纵深维度发展） 目标：除了能够完成基本的PHP业务开发，还能够解决大部分深入复杂的技术问题，并且可以独立设计完成中大型的系统设计和开发工作；自己能够独立hold深入某个技术方向，在这块比较专业。 ，比如事务机制（隔离级别、锁等）、对触发器、 分区等技术有一定了解和应用；对MySQL性能方面，有包括磁盘优化（SAS迁移到SSD）、服务器优化（内存、服务器本身配置）、除了二阶段的其他核心 性能优化选项 ，在线上程序core掉后能够迅速追查跟踪解决问题；通用模块开发方面，可以积累或者开发一些通用的工具或库 （比如异步网络框架、日志库、内存池、线程池等），不过开发后是否应用要谨慎，省的埋坑去追bug； 7.
2.4K30发布于 2019-07-31 - 来自专栏PostgreSQL研究与原理解析
国产数据库-HTAP-MatrixOne的OLAP技术特性
国产数据库-HTAP-MatrixOne的OLAP技术特性 MatrixOne是矩阵起源数据库创业公司打造的开源超融合异构数据库，能同时灵活支持OLTP、OLAP等不同工作负载。 下面学习下其关于OLAP方面的技术特性。 1、优化器 为减少IO采用的技术特性：1）列裁剪；2）谓词下推；3）谓词推荐；3）Runtime filter 列裁剪：当然基于列存，扫描时，仅扫描需要的列。 谓词推断：说是会影响TPCH里面的Q7和Q19。谓词下推是已经确定显式可以下推的一个位置。但谓词推断可能需要做一些逻辑上的变化，才能得到一些新的谓词，这个新的谓词才可以下推下去。 另外字节跳动火山引擎ByteHouse的hash join中也用到了此项技术：join中除了join条件外，针对右表还有过滤条件，右表过滤后结果集比较小时，使用该结果集值针对join条件去对左表进行过滤
69220编辑于 2023-08-09 - 来自专栏全栈程序员必看
java栈的实现_java技术栈
大家好，又见面了，我是你们的朋友全栈君。 一.数组实现的栈，能存储任意类型的数据。 mArray; //栈的数组结构 private int top; //栈“指针” private int count; //栈中元素的个数 public ArrayStack( ()); //判断栈是否为满 System.out.println("isFull:"+stack.isFull()); //依次出栈 System.out.println("\n"+"依次出栈："); System.out.println("1栈顶元素为："+stack.peek()); //输出栈顶元素，删除栈顶元素。 "); //依次出栈 System.out.println("依次出栈："); while(!
69940编辑于 2022-10-03 - 来自专栏正则
selenium技术栈选择
开发语言选择 推荐使用python版本 选择行为驱动开发 selenium主要用于功能测试，主要目的在于自动化的方式来测试系统的关键流程、常见的容易出错的异常流程， 推荐使用BDD语言（行为驱动开发）模式，java版本推荐testng+cucumber、python语言推荐behave 标记元素的方式 selenium获取元素有几种常见的方法： 通过id、name 通过xpath 等， 笔者建议使用自定义的标签来进行标记，好处是不影响业务逻辑，不过需要增加一些代码。 context.dr
64420发布于 2021-09-07 - 来自专栏外文翻译
「译」选择技术栈
所以我们不会考虑预定义的技术栈，我也不会推崇某种特定技术。因为选择技术栈是一项确定所需工程复杂性的练习，要找到技术能帮助我们达到这一水平。 你可以编写无法扩展的代码，尝试新技术并进行实验。如果不用偿还技术债务，可以更加大胆地承担技术债务。某些技术在企业中比在初创公司中更为常见，反之亦然。这是因为它们的需求和应用程序生命周期不同。 因此，除非有特定技术问题，否则应该优先考虑过往经验来选择技术栈。你的团队是如何组织的？康威定律指出，每个组织都会构建一个反映其沟通结构的系统。 在实际操作中，这意味着如果有三个在同一办公地点的全栈工程师处理同一个产品，那么模块化的单体应用将是一个不错的选择。如果团队分为前端和后端团队，单独的存储库并通过REST API通信会更合适。 技术栈无关紧要你选择的确切技术并不重要......只要它们符合上述问题的答案。如果这些技术符合你对速度、稳定性、社区和先前经验的需求，那么你的选择取决于个人品味。
39810编辑于 2024-06-15 - 来自专栏编程微刊
2020前端技术栈
一、HTML、CSS基础、JavaScript语法基础。 二、JavaScript语法进阶。包括：作用域和闭包、this和对象原型等。 三、ES6语法。这部分属于JS新增的语法， promise、async 等内容要尤其关注。 四、HTML5和CSS3。要熟悉其中的新特性。 五、canvas。加分项。 六、移动Web开发、Bootstrap等。要注意移动开发中的适配和兼容性问题。 七、前端框架：Vue.js和React。这两个框架至少要会一个。入门时，建议先学Vue.js，上手相对容易。但无论如何，同时掌握 Vue 和 React 才是合格的前端同学。 八、Node.js。属于加分项。 九、自动化工具：构建工具 Webpack、构建工具 gulp、CSS 预处理器 Sass 等。注意，Sass 比 Less 用得多，gulp 比 grunt 用得多。 十、前端综合：HTTP协议、跨域通信、安全问题（CSRF、XSS）、浏览器渲染机制、异步和单线程、页面性能优化、防抖动（Debouncing）和节流阀（Throtting）、lazyload、前端错误监控、虚拟DOM等。 十一、编辑器相关。Sublime Text 是每个学前端的人都要用到的编辑器。另外，前端常见的IDE有两个：WebStorm 和 Visual Studio Code。WebStorm 什么都好，可就是太卡顿；VS Code就相对轻量很多。 十二、TypeScript（简称TS）。ES 是 JS 的标准，TS 是 JS 的超集。TS属于进阶内容，建议把上面的基础掌握之后，再学TS。
1.4K01发布于 2020-11-26 - 来自专栏信创系统开发
AI Agents 技术栈
2025 年被广泛视为“AI Agent 元年”，其技术栈的成熟标志着智能系统从“被动响应”向“自主决策”的跃迁。那么什么是 AI Agents 呢？ 构成 AI Agents 的技术栈有哪些关键组成部分？本文参考了一些资料，尝试解释这一概念，主要参考了以下内容： AI Agents Stack. 网址: https://medium.com/@vipra_singh/ai-agents-introduction-part-1-fbec7edb857d 由于技术水平有限，理解可能存在偏差，如有疑问 二、AI Agents 技术栈的层级架构 AI Agents 的技术栈总体架构如上图所示。大体上可分为五个关键层级，从底层基础设施到上层应用逻辑逐层递进： 1. 小结 AI Agents 技术栈的成熟标志着人工智能从“工具”向“合作伙伴”的转变。
1.7K11编辑于 2025-02-12 - 来自专栏数据科学与人工智能
金融科技：技术栈
在金融科技行业从事数据科学工作，需要掌握哪些技术呢？ 我以自己的经历，说一下金融科技的技术栈。 01 数据库技术 数据库技术，泛指熟练使用SQL技术，不仅是各种关系型数据库的SQL，还有各种大数据平台的SQL，例如Hive-SQL、Spark-SQL等。 7 Python做评分模型，掌握toad库和scorecardpy库的使用。 8 Python做集成树模型，掌握xgboost库，lightgbm库和catboost库的使用。 7 神经网络算法，三颗星。 8 社交网络算法，两颗星。 04 其它技术 金融科技行业数据科学工作，其它技术，罗列如下。 1 版本控制技术 2 项目管理技术 3 Linux系统与云计算技术 4 报告撰写和汇报技术 5 模块化编程和封装技术 6 大数据平台知识 7 统计学知识 等。
1.6K20编辑于 2022-01-20 - 来自专栏AndrekzWu的专栏
技术栈系列-总览
技术栈系列文章，本文初步将作者个人的技术栈信息以思维导图的方式呈现，后续将基于技术栈总览的方式发布系列文章。 文章的方式将分为、基础篇、进阶篇、高级篇，分别从基础的技术栈开始，到系统设计、架构、大型分布式服务构建等角度阐述技术栈体系。欢迎指正。
65850编辑于 2022-09-21
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号