- 综合排序
- 最热优先
- 最新优先
- 来自专栏Apache Doris
招商信诺人寿基于 Apache Doris 统一 OLAP 技术栈实践
因此，我们希望寻找一个 OLAP 系统既能覆盖大部分的业务场景，也能够降低复杂技术栈带来的开发、运维和使用成本，还能最大化的提升架构性能。 架构 2.0：基于 Apache Doris 统一技术栈图片数仓架构的两代版本主要在存储、计算、查询分析方面有很大不同。 新架构不仅实现了技术栈的统一，还降低了开发、存储与运维等各方面的成本支出，实现了业务与数据的进一步统一。 保险一线业务收益与实践目前，基于 Apache Doris 统一技术栈的实时数仓已经在 2022 年 Q3 上线并投入生产环境使用，用于支撑海量数据的 OLAP 高效分析能力，并在平台上支撑了更多业务相关的场景 目前，我们已经基于 Apache Doris 替换了 Presto、Clickhouse、MySQL、HBase 多个组件以实现 OLAP 技术栈统一、各类成本降低，并提升导入与查询性能。
1.7K40编辑于 2023-09-19 - 来自专栏码字搬砖
常见开源OLAP技术架构对比
混合 OLAP ( HOLAP ) 混合 OLAP，是 MOLAP 和 ROLAP 的一种融合。当查询聚合性数据的时候，使用MOLAP 技术；当查询明细数据时，使用 ROLAP 技术。 在一二线的互联网公司中，应用较为广泛的还是上面提到的各种OLAP引擎，如果你希望能够通过掌握一种OLAP技术，学习这些就够了。 4. 快手内部也在使用ClickHouse，存储总量大约10PB， 每天新增200TB， 90%查询小于3S。 只有真正有OLAP线上经验的人，在特定业务场景、特定数据量的，有过深入优化以上介绍的一种或者几种OLAP引擎经验的专家，才有相应的发言权来给出技术选型的建议。 但是由于这些OLAP引擎技术方案太多，不可能有哪个专家全都精通。
2.9K21发布于 2021-11-09 - 来自专栏云云众生s
GenAI技术栈架构指南—10 个工具
现代数据湖参考架构中可以找到的这 10 项功能，以及每个功能的供应商工具和库。 译自 The Architect’s Guide to the GenAI Tech Stack — 10 Tools，作者 Keith Pijanowski。 在这个前 10 名单中，每个条目都是支持生成式 AI 所需的功能。 1. 数据湖 企业数据湖建立在对象存储之上。 这些数据湖必须支持流式工作负载，必须具有高效的加密和纠删码，需要以原子方式将元数据与对象一起存储，并支持 Lambda 计算等技术。 它与其他技术集成，例如 Hugging Face Transformer 库和 Unstructured 的文档处理库。
64110编辑于 2024-06-05 - 来自专栏Soul Joy Hub
数据仓库和OLAP技术概述
决策支持，相比于传统的联机事务处理应用程序，会有些不同的要求数据库技术。本文提供的数据概述数据仓库和OLAP技术，着眼于他们的新的要求。 介绍 数据仓库是决策支持技术的集合，旨在使知识工作者（总裁，经理，分析师）做出更快更好的决策。过去三年已经看到的爆炸性的增长，无论是在所提供的产品和服务的数量，还是在采用这些技术的工业领域。 相比之下，多维OLAP （ MOLAP）服务器直接把多维数据存储在特定的数据结构（例如，数组），并实现了OLAP在这些特点的数据结构的操作。 在3-7节，我们回顾了在数据加载相关技术和刷新数据仓库，仓库服务器，前端工具和仓库管理工具。在每一种情况下，我们指出什么是传统的数据库技术不同的，我们会提到有代表性的产品。 OLAP Council是在整个行业的标准化工作上一个很好的信息源。还有科德等人的论文定义了OLAP产品的12条规则。
77020编辑于 2022-05-18 - 来自专栏数据社
浅谈OLAP系统核心技术点
文章来自知乎，作者：neoReMinD OLAP系统广泛应用于BI、Reporting、Ad-hoc、ETL数仓分析等场景，本文主要从体系化的角度来分析OLAP系统的核心技术点，从业界已有的OLAP中萃取其共性 Sql-on-Hadoop系的Presto、Impala、Spark SQL、HAWQ，云计算厂商的阿里云ADB、Google BigQuery，AWS RedShift，有学术界出品的MonetDB[10 传统的OLAP需要做各种pipeline、ETL导入数据，这样的架构会存储多份数据，冗余并且一致性不好保证，也引入过多的技术栈和复杂度，也不能满足实时分析，即使mini-batch的处理仍然需要最快数分钟 事务处理和分析处理在一个数据库中提供，是最理想的状态，但是二者的技术体系往往又很难融合，因此现在很多数据库厂商都在做这方面的尝试，保证数据一致性是很大的挑战，一种思路是从OLTP到OLAP，多副本存储时 传统的OLAP，例如Exadata等依赖于高端硬件，很多on-premise的解决方案也面临扩展性和成本问题，云原生的架构通过虚拟化技术，可实现更好的弹性计算，如果采用存储计算分离的架构还可以实现弹性存储
1.6K20发布于 2020-08-27 - 来自专栏技术成长
常见的OLAP架构分类以及技术演进
OLAP（联机分析处理）实现技术的演进主要包括以下几个阶段：多维数据库：OLAP最早的实现技术是多维数据库，它使用基于数组结构的多维模型来存储数据，并提供了灵活的查询和分析功能。 ROLAP（关系型OLAP）：为了解决多维数据库的不足，ROLAP技术将OLAP与关系型数据库相结合。 HOLAP技术能够在保持查询性能的同时，提供较好的数据更新和灵活性。这些演进对OLAP系统的影响如下：查询性能改善：随着OLAP实现技术不断演进，查询性能得到了显著改善。 多维数据库、MOLAP和HOLAP技术在查询和分析性能方面更为优秀，能够提供更快的响应时间。数据存储优化：OLAP实现技术改进了数据存储方式，提高了存储效率和查询效率。 总的来说，OLAP实现技术的演进对OLAP系统带来了查询性能的改进、数据存储的优化以及数据更新和灵活性的改善。
1.2K41编辑于 2023-10-09 - 来自专栏Ryan Miao
技术栈
方向 内容 后端 java基础(掌握多线程并发concurrent，java内存模型（java memory model，jmm），volatile，ThreadLocal，ConcurrentHashMap，CopyOnWriteArrayList) spring,springmvc,spring boot mybatis jfinal 缓存 ehcache 文件格式 xml json properties yml
1.1K110发布于 2018-03-13 - 来自专栏ApacheHudi
京东李海波：OLAP关键技术演进思考
OLAP的目标是满足决策支持或多维环境特定的查询和报表需求，它的技术核心是“维”这个概念，因此OLAP也可以说是多维数据分析工具的集合。 2. 左手数据库，右手大数据，处于中间的OLAP博采众长，查询引擎、事务、多版本机制来自数据库，又吸收了大数据分布式技术、多副本、列存等特性，走出了一条特色鲜明的技术路线。 下面挑选5款典型的开源OLAP引擎给大家介绍，Druid是最早的实时OLAP引擎，ES是基于全文检索的技术，Kylin是基于Hadoop生态的整合技术，CK和Doris是偏分析型数据库OLAP方案，他们都适合不同的场景 04 OLAP 的关键技术 Key Technology 通过上文的几款典型的OLAP引擎可以看出，OLAP技术呈现百花齐放的特点，因为篇幅有限，本节只能简单介绍OLAP中如下的技术，大家可以大体了解一下 同时，经过10多年的发展，现在的大数据生态日趋成熟，各类组件层出不穷，某个组件能解决特定领域的问题，在OLAP领域，上游需要对接各种数据源、数据管道和计算引擎，下游需要对接各种查询器、报表和分析产品，处在一个数据流的中心关键环节
1.4K40编辑于 2023-02-28 - 来自专栏ApacheHudi
滴滴OLAP的技术实践与发展方向
经过1年多的发展迭代，ClickHouse和Druid成为了滴滴内部主要的OLAP引擎，也让OLAP在滴滴内部逐步发展起来。 可以将StarRocks中的实时数据、离线维度数据进行实时关联，免去中间数据同步的时间开销，通过一套技术方案，解决实时数据湖仓分析。 高精度基数的精确去重，一直是OLAP的技术难点，应对每天上亿规模明细数据的count(distinct())计算，对计算资源消耗是个大挑战。 第二，筛选的维度比较灵活。 重复上述操作，可以设置1分钟、10分钟、30分钟等不同的区间聚合粒度，按照不同的维度列组合，可以创建出多张异步视图，来满足不同用户、不同维度的组合查询条件，完成对应实时看版的加速效果。 即，如果有10个维度列，就需要有超过1000张视图，这个成本是不能接受的。 我们结合表数据特点，对异步视图的表数量进行优化。
80310编辑于 2024-02-06 - 来自专栏全栈程序员必看
前端技术栈总结_前端开发技术栈
大家好，又见面了，我是你们的朋友全栈君。 Design mobile：蚂蚁金服） Vue搭配的组件: PC（element UI，）, 移动端（vant有赞，Ant Design蚂蚁金服，uniApp） Ant Design 是阿里巴巴-蚂蚁金服体验技术部所设计的一个 发布者：全栈程序员栈长，转载请注明出处：https://javaforall.cn/210459.html原文链接：https://javaforall.cn
1.3K60编辑于 2022-11-17 - 来自专栏喔家ArchiSelf
全栈的技术栈设想
全栈不是全能，只要覆盖了所使用的技术栈就是全栈，例如LNMP，Linux＋Nginx＋Mysql＋PHP。 全栈架构师关注的是业务所采纳的全部技术栈，以及技术栈所涉及的系统性能、安全，高可用等诸多因素。 ? 和习武一样，我想试图探讨一下全栈的套路，很多能力不是通过当头棒喝产生的。郭大侠需要降龙十八掌，令狐冲以无招胜有招也需要独孤九剑。我觉得全栈的技术栈可以主要分为3个切面：技能，性能 和效率。 缓存是减少负载，提高系统性的必备技术。可以从客户端，网络侧，服务端三个环节对缓存进行分类，具体可以参考《老曹眼中的缓存技术》。 ? 啰哩啰嗦，只是想探讨一下全栈的套路，也许这本身就是一个伪命题。 ? 这是我非常喜欢的一句话，印在公司的墙上，“以匠心，铸非凡”，送给每一个热爱技术的朋友！
94830发布于 2018-08-22 - 来自专栏LNMP开发那些事
PHP技术栈
文章转自脚本之家，原文名称为《中高级PHP程序员应该掌握哪些技术》，点击这里查看原文。 本文把php程序员划分为中、高级程序员两大类程序员，并针对这两大程序员应具备的技能进行分类探索。 max_requests/max_children/request_terminate_timeout之类的影响性能的配置），知道mod_php /fastcgi的区别；在PHP方面已经能够熟练各种基础技术 （纵深维度发展） 目标：除了能够完成基本的PHP业务开发，还能够解决大部分深入复杂的技术问题，并且可以独立设计完成中大型的系统设计和开发工作；自己能够独立hold深入某个技术方向，在这块比较专业。 ，比如事务机制（隔离级别、锁等）、对触发器、 分区等技术有一定了解和应用；对MySQL性能方面，有包括磁盘优化（SAS迁移到SSD）、服务器优化（内存、服务器本身配置）、除了二阶段的其他核心 性能优化选项 10.
2.4K30发布于 2019-07-31 - 来自专栏PostgreSQL研究与原理解析
国产数据库-HTAP-MatrixOne的OLAP技术特性
国产数据库-HTAP-MatrixOne的OLAP技术特性 MatrixOne是矩阵起源数据库创业公司打造的开源超融合异构数据库，能同时灵活支持OLTP、OLAP等不同工作负载。 下面学习下其关于OLAP方面的技术特性。 1、优化器 为减少IO采用的技术特性：1）列裁剪；2）谓词下推；3）谓词推荐；3）Runtime filter 列裁剪：当然基于列存，扫描时，仅扫描需要的列。 另外字节跳动火山引擎ByteHouse的hash join中也用到了此项技术：join中除了join条件外，针对右表还有过滤条件，右表过滤后结果集比较小时，使用该结果集值针对join条件去对左表进行过滤
69220编辑于 2023-08-09 - 来自专栏DeepHub IMBA
AI Agent技术栈：10个构建生产级Agent的核心概念
本文就总结了构建AI系统时真正绕不开的10个基础概念 1、MCP：通用插件系统 假设你需要Agent读取Gmail、更新Notion、查询数据库。 来看一个场景：用户说过"我习惯把会开在上午10点之前"。这条偏好被写入长期记忆，关联到用户ID。 三次重试都失败后，Agent告诉用户——"邮件服务暂时挂了，草稿已保存，10分钟后自动重发。"出了什么问题、接下来怎么办，交代得清清楚楚。 10、运行时编排：管理执行环境 Agent不是跑一次就结束的脚本。它是一个长期运行的系统，要响应事件、并行处理任务、扛住重启、还得在资源限制内运转。 运行时编排就是这套基础设施。 最怕一上来就硬编码集成，回头全是技术债。 测试过了但生产环境翻车？上护栏和错误恢复。执行前校验，瞬态故障自动重试。生产环境的边界情况永远比你想的多。 Agent记性差、表现蠢？加记忆。
42110编辑于 2026-02-27 - 来自专栏全栈程序员必看
java栈的实现_java技术栈
/** * java 使用数组来实现栈，能存储任意数据 * * @author Linging * @date 2019/2/10 * */ import java.lang.reflect.Array ; public class ArrayStack<T> { private final static int DEFAULT_SIZE = 10; //栈的默认大小 private T[] TODO Auto-generated method stub ArrayStack<String> stack = new ArrayStack<String>(String.class); //依次进栈10,20,30 System.out.println("依次进栈："); stack.push("10"); stack.push("20"); stack.push("30"); //打印栈 stack.print /** * java Collection中的stack * * @date 2019/2/10 * @author Linging * */ import java.util.Stack; public
69940编辑于 2022-10-03 - 来自专栏正则
selenium技术栈选择
开发语言选择 推荐使用python版本 选择行为驱动开发 selenium主要用于功能测试，主要目的在于自动化的方式来测试系统的关键流程、常见的容易出错的异常流程， 推荐使用BDD语言（行为驱动开发）模式，java版本推荐testng+cucumber、python语言推荐behave 标记元素的方式 selenium获取元素有几种常见的方法： 通过id、name 通过xpath 等， 笔者建议使用自定义的标签来进行标记，好处是不影响业务逻辑，不过需要增加一些代码。 context.dr
64420发布于 2021-09-07 - 来自专栏外文翻译
「译」选择技术栈
所以我们不会考虑预定义的技术栈，我也不会推崇某种特定技术。因为选择技术栈是一项确定所需工程复杂性的练习，要找到技术能帮助我们达到这一水平。 你可以编写无法扩展的代码，尝试新技术并进行实验。如果不用偿还技术债务，可以更加大胆地承担技术债务。某些技术在企业中比在初创公司中更为常见，反之亦然。这是因为它们的需求和应用程序生命周期不同。 因此，除非有特定技术问题，否则应该优先考虑过往经验来选择技术栈。你的团队是如何组织的？康威定律指出，每个组织都会构建一个反映其沟通结构的系统。 在实际操作中，这意味着如果有三个在同一办公地点的全栈工程师处理同一个产品，那么模块化的单体应用将是一个不错的选择。如果团队分为前端和后端团队，单独的存储库并通过REST API通信会更合适。 技术栈无关紧要你选择的确切技术并不重要......只要它们符合上述问题的答案。如果这些技术符合你对速度、稳定性、社区和先前经验的需求，那么你的选择取决于个人品味。
39810编辑于 2024-06-15 - 来自专栏编程微刊
2020前端技术栈
一、HTML、CSS基础、JavaScript语法基础。 二、JavaScript语法进阶。包括：作用域和闭包、this和对象原型等。 三、ES6语法。这部分属于JS新增的语法， promise、async 等内容要尤其关注。 四、HTML5和CSS3。要熟悉其中的新特性。 五、canvas。加分项。 六、移动Web开发、Bootstrap等。要注意移动开发中的适配和兼容性问题。 七、前端框架：Vue.js和React。这两个框架至少要会一个。入门时，建议先学Vue.js，上手相对容易。但无论如何，同时掌握 Vue 和 React 才是合格的前端同学。 八、Node.js。属于加分项。 九、自动化工具：构建工具 Webpack、构建工具 gulp、CSS 预处理器 Sass 等。注意，Sass 比 Less 用得多，gulp 比 grunt 用得多。 十、前端综合：HTTP协议、跨域通信、安全问题（CSRF、XSS）、浏览器渲染机制、异步和单线程、页面性能优化、防抖动（Debouncing）和节流阀（Throtting）、lazyload、前端错误监控、虚拟DOM等。 十一、编辑器相关。Sublime Text 是每个学前端的人都要用到的编辑器。另外，前端常见的IDE有两个：WebStorm 和 Visual Studio Code。WebStorm 什么都好，可就是太卡顿；VS Code就相对轻量很多。 十二、TypeScript（简称TS）。ES 是 JS 的标准，TS 是 JS 的超集。TS属于进阶内容，建议把上面的基础掌握之后，再学TS。
1.4K01发布于 2020-11-26 - 来自专栏信创系统开发
AI Agents 技术栈
2025 年被广泛视为“AI Agent 元年”，其技术栈的成熟标志着智能系统从“被动响应”向“自主决策”的跃迁。那么什么是 AI Agents 呢？ 构成 AI Agents 的技术栈有哪些关键组成部分？本文参考了一些资料，尝试解释这一概念，主要参考了以下内容： AI Agents Stack. 它们结合了多种 AI 技术，包括自然语言处理（NLP）、计算机视觉、强化学习和知识图谱等，能够处理复杂的任务并适应动态环境。 二、AI Agents 技术栈的层级架构 AI Agents 的技术栈总体架构如上图所示。大体上可分为五个关键层级，从底层基础设施到上层应用逻辑逐层递进： 1. 小结 AI Agents 技术栈的成熟标志着人工智能从“工具”向“合作伙伴”的转变。
1.7K11编辑于 2025-02-12 - 来自专栏数据科学与人工智能
金融科技：技术栈
在金融科技行业从事数据科学工作，需要掌握哪些技术呢？ 我以自己的经历，说一下金融科技的技术栈。 01 数据库技术 数据库技术，泛指熟练使用SQL技术，不仅是各种关系型数据库的SQL，还有各种大数据平台的SQL，例如Hive-SQL、Spark-SQL等。 10 Python与数据库交互，掌握pyodbc库。 若是你用R语言，你需要掌握这些知识： 1 R语言基础知识，向量、数据框、列表，条件逻辑和循环结构，自定义函数和使用。 04 其它技术 金融科技行业数据科学工作，其它技术，罗列如下。 1 版本控制技术 2 项目管理技术 3 Linux系统与云计算技术 4 报告撰写和汇报技术 5 模块化编程和封装技术 6 大数据平台知识 7 统计学知识 等。
1.6K20编辑于 2022-01-20
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号