- 综合排序
- 最热优先
- 最新优先
- 来自专栏野生AI架构师
实时分析型数据库选型：Doris
最近有一个项目，需要给一家证券公司做用户画像系统，但是因为数据量很大，传统数据库难以承担，而且传统数据库也不擅长做分析（都需要在业务代码里实现，会造成开发量很大，而且维护很困难）。 ES在统计时，在一些场景下（例如计算客户数）为了提升性能，直接采用的是估算的算法，这在金融领域上可能会存在风险； ClickHouse：这个目前我们还没有使用过，不过早有耳闻，统计分析性能很突出。 TiDB这个数据库也是早有耳闻，近几年崛起得很快，只是没有用过，据说是NewSQL型数据库，能兼顾传统SQL和NoSQL的需求，分析的性能也不错，相对于传统数据库有数量级的提升，网上很多测评数据也可以支持这个观点 还有个大优势，就是TiDB运维简单，不过在统计分析上的性能还是比ClickHouse差很多的。 Doris构建的小程序私域流量增长：https://blog.csdn.net/weixin_47452131/article/details/113393764 Apache Doris 在 WeLab实时大数据平台的应用实践
3.8K20发布于 2021-10-28 - 来自专栏云云众生s
实时分析数据库——物还是非物？
也称为流式数据库，这一独特的类别针对近乎实时地处理和分析大容量、高速数据进行了优化。 虽然“实时”这个术语在某些情况下可以用作营销手段，但实时分析数据库和传统分析数据库之间存在着真正的技术和功能差异。 实时分析数据库（也称为流式数据库）是一类专门针对近乎实时处理和分析高容量、高速数据的分析数据库。 传统分析数据库则是专门针对批处理模式下处理大量历史数据进行优化的。 “钢铁人”论据反驳了实时分析数据库与传统分析数据库根本不同的观点，认为实时分析数据库只是传统分析数据库范式的扩展，增加了实时能力。这种区别更多的是程度上的区别，而不是基本技术的根本转变。 该论点的支持者指出，实时分析数据库和传统分析数据库都是为存储和分析大量数据而设计的，两者的数据存储、索引和查询的基本原理基本相同。 传统的分析数据库仍然依赖物化视图的旧模型，并将大规模高速读取视为不同数据库的任务。总而言之，实时分析数据库为下一代数据注入应用程序提供了最新鲜的洞察力。 这并不是说所有的实时分析数据库都是一样的。
45510编辑于 2024-03-27 YashanDB数据库中的实时分析与数据挖掘
在现代数据库技术领域，随着数据量的快速增长和业务需求的多样化，实时分析与数据挖掘面临着性能瓶颈、数据一致性保障、以及系统高可用性的挑战。 传统数据库在处理大规模数据时，存在查询延迟、写入冲突及资源利用率低等问题，难以满足高并发、实时反馈的业务需求。 YashanDB作为面向实时分析与混合事务分析处理（HTAP）场景设计的下一代数据库系统，基于先进的存储结构、分布式架构及高性能执行引擎，专注于提升实时分析效率与数据挖掘能力。 高可用架构保障实时分析系统稳定可靠YashanDB提供多样高可用部署模式，包括主备复制、级联备库和共享集群。 结论本文深入剖析了YashanDB数据库在实时分析与数据挖掘场景中的核心技术支持，包括多样存储引擎、优化的SQL执行及向量化框架、分布式并行架构、高可用保障及全面安全策略。
23610编辑于 2025-09-27企业如何利用YashanDB数据库实现实时监控分析
对于需要实时监控与分析的场景，企业亟需一种高效、可扩展的数据库解决方案。YashanDB作为一种新兴的数据库技术，能够有效支持实时数据处理和复杂查询，帮助企业克服这些挑战。 本文将深入探讨YashanDB的体系架构、关键功能及其在实时监控分析中的应用，旨在帮助开发人员和数据库管理员（DBA）深入理解这一技术，从而提升业务运行效率。 关键功能与优势YashanDB具备多种功能，适合实时监控分析的应用场景。以下是其主要功能和优势的详细分析。1. 对于实时监控分析，列存表（如MCOL和SCOL）能够更高效地进行数据扫描和聚合操作，优化查询响应时间。3. 监控实时数据：设置监控任务和审计日志，动态监控数据变更和业务流向，为企业决策提供参考。定期评估架构性能：通过分析监控与审计日志的结果，不断优化数据库性能与访问安全性。
22010编辑于 2025-09-13如何构建基于YashanDB数据库的实时分析平台
随着数据规模的不断扩大和业务需求的多样化，传统数据库在实时性与分析能力之间面临着性能瓶颈和数据一致性挑战。 构建一个高效、稳定的实时分析平台，要求底层数据库具备高并发处理能力、强一致性支持及灵活的数据结构管理。 YashanDB作为一款支持多种部署形态和存储结构的数据库，提供了丰富的技术方案保障，满足实时分析平台对数据处理速度和稳定性的高要求。 本文将基于YashanDB数据库技术，详细分析实时分析平台的核心技术要素，以期为开发人员和数据库管理员提供系统化的技术指导。 YashanDB的多部署架构及其对实时分析的支持YashanDB支持三种关键部署形态：单机（主备）部署、分布式集群部署和共享集群部署。针对实时分析平台的需求，分布式部署和共享集群尤为关键。
13810编辑于 2025-10-02YashanDB数据库的实时数据处理能力分析
如何优化数据库的实时查询速度是当今数据密集型应用面临的关键挑战。实时数据处理能力的强弱直接影响业务响应时间与系统稳定性，是评估数据库综合性能的重要指标。 本文将基于YashanDB的产品特性和架构原理，深入分析其支持实时数据处理的关键技术能力，探讨其如何满足现代在线事务处理（OLTP）及在线分析处理（OLAP）的性能需求。 基于虚拟内存及物化区的设计，为复杂SQL查询的中间结果提供高效缓存，保障分析场景实时响应能力。 主备复制和高可用机制保障实时数据可靠性YashanDB通过日志传输和日志回放机制，保证主库与备库间数据高速同步，满足同步复制和异步复制模式。 未来，随着硬件平台的演进与云化趋势的加速，YashanDB将持续优化分布式执行效率与存储压缩技术，扩展智能优化策略，以满足大规模实时分析及混合事务分析处理（HTAP）的复杂需求。
21410编辑于 2025-10-22- 来自专栏全栈程序员必看
实时数据库 内存数据库_实时数据库产品
这是一款实时和嵌入式软件，用来管理持续增长的复杂数据，来支持高级应用的特性。 性能和可靠性，更短的产品开发周期等需求，驱使开发者在他们的设计中，考虑采用经验证的、成熟的商业数据库系统组件来，来满足应用层的这些需求。 McObject公司的eXtremeDB嵌入式数据库系列产品是将高性能、稳定性和简单易用性等特性同时融入了工业基的数据库引擎。 了解eXtremeDB产品系列或eXtremeDB特性。 • 最快的内存数据库， • 几乎牢不可破：了解我们如何避免数据库破坏 • 多种应用接口： 两种 SQL， 两种更快的原始接口 • 非常灵活的数据存储：内存式、磁盘式或混合式 • 高可用性–组合选项 多种索引支持 • 极小尺寸和极小的内存消耗 eXtremeDB内存实时数据库把优异的性能、可靠性和开发效能与高效的实时数据库引擎完美结合。
3.1K10编辑于 2022-11-04 YashanDB数据库实时数据处理的核心优势分析
在当今数据驱动的业务环境中，数据库系统面临着高性能处理海量数据和确保数据一致性与高可用性的双重挑战。实时数据处理能力已经成为评价数据库技术的重要标准，尤其在在线交易处理（OLTP）和实时分析领域。 本文旨在深入分析YashanDB在实时数据处理方面的核心技术优势，面向数据库开发人员、运维工程师及技术管理者，揭示其设计理念及关键技术实现，助力理解和应用实时数据处理技术。 协调节点高效地生成分布式执行计划，并通过并行任务执行机制保证高吞吐与低延迟，适合复杂实时分析任务。 该架构确保单库多实例多活，提升系统可扩展性和高可用性，满足极致实时性能要求。 技术建议结合业务负载选择合适的部署形态，单机部署适合简单实时在线事务场景，分布式部署适合可扩展的交互式分析，共享集群适合对高并发核心交易的实时强一致访问。
24110编辑于 2025-09-23YashanDB数据库对实时交易系统的支持能力分析
这是当前数据库技术领域面临的一个关键挑战。在实时交易系统中，交易数据的快速处理、数据一致性的维护和高可用性都是确保系统正常运行和用户满意度的核心因素。 本文将分析YashanDB数据库在支持实时交易系统方面的技术特性和优势。 而列存表则适合于OLAP场景，特别是在需要对大规模数据进行分析时，可以显著提升查询性能。高可用性与故障恢复能力YashanDB具备强大的高可用性特性，其主备复制架构支持数据在实时运行中的有效同步。 通过系统视图和动态性能视图，用户可以对数据库的实时性能进行监控。同时，YashanDB允许用户通过优化器提示（Hint）和统计信息调整查询执行计划，从而确保在处理复杂查询时达到最佳性能。 定期监控数据库性能，并及时调整优化策略。确保完善的备份与恢复方案，提高系统抗风险能力。结论随着实时交易对系统性能和可靠性的要求不断提高，数据库的支持能力已成为竞争的关键因素。
14810编辑于 2025-07-04通过YashanDB数据库实现实时业务监控的技术分析
传统关系型数据库在高并发、大数据量环境下的实时分析和监控，常常因性能不足和架构限制而无法达到理想效果。 本文聚焦于YashanDB数据库，通过其先进的多种部署架构、创新的存储引擎设计及强大的事务管理机制，深入剖析其在实时业务监控场景中的技术优势和应用策略，面向数据库管理员、开发人员及架构设计师，旨在提供具体且可操作的技术建议 高效存储引擎设计促进实时数据访问实时业务监控要求数据库在保证数据完整性的同时，提供高吞吐量的数据写入和快速响应的查询能力。 通过对不同数据冷热点的分层管理和智能后台转换，YashanDB能够有效兼顾写入性能和查询性能，确保实时业务监控系统在数据写入和历史数据分析之间取得平衡。 其读写一致性机制具体表现在：语句级和事务级一致性读：确保查询结果基于准确的系统变更号（SCN），实现历史快照查询，满足监控数据多维度实时分析需求。
21610编辑于 2025-09-20从业务库到实时分析库，NineData构建 MySQL数据到SelectDB 同步链路
做实时分析，很多团队都会遇到同一个拐点：业务数据还在 MySQL，但报表、聚合、指标查询、实时决策，已经不适合继续压在业务库上了。SelectDB 这类分析型数据库因此成了很自然的目标端。 问题是，从业务库到实时分析库，中间缺的从来不只是一条同步任务。真正上线以后，团队关心的不是“能不能把数据搬过去”，而是这条链路能不能长期稳定、结果可信、异常可控。 这类场景的典型需求包括大数据分析、实时数据仓库、复杂多维分析和存储优化。但很多团队真正踩坑的，往往不是需求本身，而是同步链路太脆。 NineData 数据复制本身支持同构、异构数据源之间的离线和实时复制，适用于迁移、实时数仓、容灾、多活等场景；数据库对比则支持 MySQL 到 SelectDB 的数据一致性校验。 但只要你开始遇到下面这些要求，NineData 这类方案就更有价值：业务数据需要准实时进入分析库不希望同步过程明显影响线上 MySQL业务表结构会持续变化分析结果必须可校验、可追溯任务异常后要第一时间告警并处理不想长期维护一套拼装式同步链路说白了
8910编辑于 2026-03-31- 来自专栏IT技术精选文摘
CDN日志实时分析
热门资源 访问来源、agent、分布等 传统分析流程 现在各家CDN厂商，通常会提供基础的监控指标，比如请求次数、带宽等信息，然后，在进行定制化分析场景下，默认指标往往不能解决所有问题，需要对原始日志进行更深入的挖掘 以下是常见的处理方式： 定期下载CDN离线日志 将数据导入Hadoop 这样的数仓系统 跑各类job（或hive）对数据进行分析，将最终结果导入Mysql 对分析结果进行实时展示 对于报表场景 ，以上流程没有太大问题，可以处理海量CDN的日志，但是在实时问题定位，快速验证、试错等交互式分析强烈的场景下， 该方案的弊端就显露出来： 离线模式下，数据产出实时性无法保证，延时从半小时到几小时不等 需要维护多级Pipeline，需要有脚本或工具将其串联，有开发代价 环境维护，有运维代价，任意一个环节出问题，结果都不能产出 灵活性欠佳，无法快速响应实时交互查询需求 接下来，对于CDN数据各类分析需求 response_size) as "下载总量" group by Domain order by "下载总量" desc limit 100 接下来，我们从省份和运营商的角度，来做实时统计
2.6K40发布于 2018-07-30 YashanDB数据库实时数据分析与业务决策支持功能
在当今数据驱动的商业环境中，企业面临着对快速变化的数据进行有效处理与分析的挑战。传统数据库技术往往不能满足企业对实时数据分析和快速业务决策支持的需求，这导致了性能瓶颈和数据一致性问题。 YashanDB作为新一代数据库系统，通过先进的架构与功能设计，有效解决了这些挑战。本文介绍YashanDB在实时数据分析和业务决策支持方面的核心技术点，以推动对该技术的理解和应用。1. 数据分析与实时决策支持YashanDB支持实时数据分析，通过其内置的SQL引擎和PL引擎，用户可以快速执行复杂的查询，支持大规模数据的聚合分析与挖掘。 结论综上所述，YashanDB通过其先进的体系架构、强大的事务管理、多版本并发控制、实时数据分析能力及健全的安全机制，充分满足了企业对实时数据分析和业务决策支持的需求。 合理利用多版本并发控制（MVCC）功能，以优化数据库的并发访问性能。定期执行性能分析，优化SQL语句及存储结构，提升查询效率。实施基于角色的访问控制（RBAC），确保数据的安全性和合规性。
13700编辑于 2025-07-05如何利用YashanDB数据库实现数据实时分析与监控
如何利用YashanDB数据库实现数据实时分析与监控数据库技术在数据存储和分析中扮演着关键角色，但随着大数据时代的到来，性能瓶颈和数据一致性问题开始普遍存在。 这些挑战迫使组织在选择数据库解决方案时必须考虑实时数据分析与监控的能力。YashanDB作为一种新型的数据库解决方案，通过其独特的架构与功能，为企业提供可靠的实时数据分析和监控能力。 这些隔离级别的实现为实时数据分析与实时监控提供了坚实的基础。5. 实时监控功能YashanDB提供了多种实时监控工具，这些工具能够帮助用户快速了解数据库的运行状态、性能瓶颈以及数据流动情况。 例如，可以通过内部监控线程追踪数据库的健康状态，使用计划任务来定期生成系统状态报告，以及结合审计日志监控数据访问与修改情况。这些功能确保企业在数据实时分析及决策时能快速响应和调整。 YashanDB凭借其高并发性能和强大的实时分析能力，以及对数据一致性和事务隔离的严格控制，正在成为企业数据实时分析与监控的重要工具。
16500编辑于 2025-07-16YashanDB数据库支持的实时数据分析与处理技术
在数据库应用中，实时数据分析与处理关键在于如何提升查询性能，以及如何对海量数据进行高效处理。针对不同业务场景，优化数据处理能力，最大程度地提高系统性能，成为数据库设计中的核心挑战之一。 YashanDB作为一款高性能数据库，致力于为用户提供灵活高效的实时数据分析与处理技术，确保在快速变化的数据环境下，始终具备卓越的性能表现。1. 分布式部署适用于对处理能力和线性扩展需求较高的场景，可以有效支持海量数据的分析与处理。共享集群则利用聚合内存技术实现实例之间的内存管理，支持多实例并发读写同一数据库，提高了数据处理的效率。2. 这降低了开发复杂性，以便在数据发生变化时触发特定操作，支持实时响应能力。总结通过YashanDB数据库架构的设计以及多种技术的整合，实现了高效的实时数据分析与处理能力。 因此，建议在设计实时数据分析解决方案时，考虑将YashanDB作为核心数据库解决方案，以充分发挥其优势。具体技术建议选择合适的数据存储引擎以满足业务场景的需求。
18510编辑于 2025-09-03- 来自专栏大数据和云计算技术
实时分析系统（HiveHbaseImpala）浅析
什么是实时分析（在线查询）系统？ 大数据领域里面，实时分析（在线查询）系统是最常见的一种场景，通常用于客户投诉处理，实时数据分析，在线查询等等过。因为是查询应用，通常有以下特点： a. 目前来完美解决实时分析的系统还在探索中，下面来讲讲hadoop领域几种常见的解决方案 2. Hive ? HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。 ? Impala是Cloudera在受到Google的Dremel启发下开发的实时交互SQL大数据查询工具，Impala没有再使用缓慢的Hive+MapReduce批处理，而是通过使用与商用并行关系数据库中类似的分布式查询引擎 Impala架构类似分布式数据库Greenplum数据库，一个大的查询通过分析为一一个子查询，分布到底层的执行，最后再合并结果，说白了就是通过多线程并发来暴力SCAN来实现高速。
4.2K50发布于 2018-03-07 - 来自专栏PPV课数据科学社区
【译文】Spark高速实时分析
然而,越来越多的数据需要更快速的处理，这些需求来自于流技术、物联网和实时分析等领域的快速发展 。 可以为不同类型的用户提供各种好处:信息技术开发人员受益于Spark可以支持各种流行的编程语言,如Java、Python和R,而数据科学家可以受益于Spark对机器学习的支持，包括他们自己 贡献的机器学习库。 的应用场景包括：大型技术公司通过机器学习洞察用户;金融系统在几个小时内处理数以百万计的股票交易数据,而在此之前使用Hadoop MapReduce需要近一个星期才能完成;基因组学术 研究;视频系统中流处理和数据分析 另外,为了充分利用Spark实时分析或预测分析的优势,整个数据供应链的优化是非常重要的。 1、回复“数据分析师”查看数据分析师系列文章 2、回复“案例”查看大数据案例系列文章 3、回复“征信”查看相关征信的系列文章 4、回复“可视化”查看可视化专题系列文章 5、回复“SPPS”查看SPSS系列文章
68050发布于 2018-04-20 - 来自专栏小工匠聊架构
大厂案例 - 实时分析引擎
基于大数据平台，通过流式实时分析技术可以对全局网络空间进行实时的分析和异常检测，解决单点很难发现和处理的安全问题。 相比与互联网公司常见的大数据实时分析场景，面向企业用户的网络安全分析场景存在很多特殊需求和挑战，本次分享将介绍网络安全领域对实时分析系统的需求，并从这些需求出发，讲解如何设计适合网络安全领域的实时分析引擎 ---- 内容 网络安全领域对实时监测系统的需求 如何选择一个适合网络安全场景的实时计算框架 如何设计网络安全领域的实时分析引擎 ---- 收获 了解如何基于 Flink 构造网络安全领域的实时分析引擎 了解实时网络安全分析引擎的架构和设计 了解构建实时网络安全分析引擎遇到的问题和解决方案 ---- 思路 ---- 建议 不要马上进行架构设计和编码
25720编辑于 2023-07-25 - 来自专栏YP小站
实时Web日志分析器
GoAccess 是一个开源的实时Web日志分析器和交互式查看器，可在*nix系统上的终端或通过浏览器运行。它为系统管理员提供了实时而有价值的HTTP统计信息。 GoAccess 被设计为一种基于终端的快速日志分析器。 它的核心思想是无需使用浏览器就可以快速实时地实时分析和查看Web服务器统计信息（如果您想通过SSH快速分析访问日志，或者只是喜欢在终端中工作，那将是一个很好的选择）。 当数据提交到磁盘以后，B+树数据库比任何一种哈希数据库都要慢。但是，使用 SSD 可以极大的提高性能。往后您可能需要快速载入保存的数据，那么这种方式就可以被使用。 例如，要从goaccess启动以来通过监视日志来快速诊断问题： $ tail -f access.log | goaccess - 更妙的是，进行筛选，同时保持打开的管道保持实时分析，我们可以利用的
1.6K30发布于 2020-06-04 - 来自专栏大数据生态
Greenplum实时查询分析最佳实践
pg_stat_activity能为我们做什么 pg_stat_activity是一张系统统计视图，可以用于任务分析诊断。这是非常有用且功能强大的视图，其价值很难衡量。 因此，如果您想知道在任意给定时刻GP数据库中正在发生什么，那么pg_stat_activity是最好的选择。 实时查询分析 场景一：查看当前正在执行的请求 state - active：请求正在执行中 waiting - f：当前请求没有在等待 postgres=> SELECT datid, 任务分析进阶——诊断原因并修复 在上面的场景二中，我们发现了有正在等待的请求，下面我们来学习如何找出发生等待事件的根本原因。 总而言之，pg_stat_activity很强大，实属GP的分析管理利器，是GP使用者们最好的帮手。
5.2K4016编辑于 2022-01-21
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号