首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 时序数据基础:什么是时序数据

    时序数据,即时间序列数据(Time-Series Data),它们是一组按照时间发生先后顺序进行排列的序列数据。日常生活中,设备、传感器采集的数据就是时序数据,证券交易的记录也是时序数据。 因此时序数据的处理并不陌生,特别在是工业自动化以及证券金融行业,专业的时序数据处理软件早已存在,比如工业领域的 PI System 以及金融行业的 KDB。 从手环、共享出行、智能电表、环境监测设备到电梯、数控机床、挖掘机、工业生产线等都在源源不断的产生海量的实时数据时序数据的体量正指数级的增长。 由于数据量指数级的增长,而且对分析和实时计算的需求越来越多,特别是在人工智能的时代,传统的时序数据处理工具难以满足需求,对每天高达 10TB 级别的海量时序数据如何进行实时的存储、分析和计算,成为一个技术挑战 ,因此海量时序数据的高效处理在过去的十年获得全球工业界的高度关注。

    47010编辑于 2025-09-28
  • 时序数据基础时序数据的典型应用场景

    时序数据应用的细分场景有很多,这里简单列举一些电力能源领域:电力能源领域范围较大,不论是在发电、输电、配电、用电还是其他环节中,各种电力设备都会产生大量时序数据,以风力发电为例,风电机作为大型设备,拥有可能高达数百的数据采集点 ,因此每日所产生的时序数据量极其之大,对这些数据的监控分析是确保发电环节准确无误的必要工作。 IT 运维领域:IT 领域中,基础设施(如服务器、网络设备、存储设备)、应用程序运行的过程中会产生大量的时序数据。 通过对这些时序数据的监控,可以很快地发现基础设施/应用的运行状态和服务可用性,包括系统是否在线、服务是否正常响应等;也能看到具体到某一个具体的点位的性能指标:如 CPU 利用率、内存利用率、磁盘空间利用率 在金融领域中,量化交易平台是最能凸显时序数据处理重要性的革命性应用之一:通过对大量时序行情数据的读取分析来及时响应市场变化,帮助交易者把握投资机会,同时规避不必要的风险,实现资产的稳健增长。

    37910编辑于 2025-09-28
  • 时序数据基础时序数据的十大特征

    相对于普通的互联网的应用数据时序数据有着很多明显的特征。 涛思数据的创始人陶建辉先生早在 2017 年,就对此进行了充分地归纳分析,总结了时序数据本身以及时序数据应用的十大特征:数据时序的,一定带有时间戳:联网的设备按照设定的周期,或受外部的事件触发,源源不断地产生数据 一个数据采集点就是一个数据流:一个设备采集的数据、以及一支股票的交易数据,与另外一个设备采集的数据或股票是完全独立的。一台设备的数据一定是这台设备产生的,不可能是人工或其他设备产生的。 但对于物联网、工业时序数据,每个数据点与数据点的变化并不大,大家关心的更多是一段时间,比如过去五分钟、一小时数据变化的趋势,不会只针对一个时间点进行。 上述的特征使时序数据的处理具有着独特的需求和挑战。但是反过来说,对于一个高效的时序数据处理平台,它也必然充分利用这十大特征来提升它的处理能力。

    30010编辑于 2025-09-28
  • 时序数据基础:处理时序数据所需要的工具

    如果想要高效地处理时序数据,一个完整的时序数据处理平台一定要准备好以下几个核心模块。数据库(Database):数据库提供时序数据的高效存储和读取能力。 在工业、物联网场景,由设备所产生的时序数据量是十分惊人的。从存储数据的角度来说,数据库需要把这些数据持久化到硬盘上并最大程度地压缩,从而降低存储成本。 同时,由于数据的隐私以及安全,你只能允许应用订阅他有权限访问的数据。因此,一个时序数据处理平台一定需要具备数据订阅的能力,帮助应用实时获取最新数据。 处理时序数据需要一系列模块的协同作业,从数据采集到存储、计算、分析与可视化,再到专用的时序数据算法库,每个环节都有相应的工具支持。 这些工具的选择取决于具体的业务需求和数据特点,合理地选用和搭配才能做到高效地处理各种类型的时序数据,挖掘数据背后的价值。

    28310编辑于 2025-09-28
  • 时序数据基础:选择时序数据处理工具的标准

    毫无疑问,我们需要一个优秀的时序数据平台来处理设备、交易产生的海量数据。那么,这个大数据平台需要具备哪些能力?与通用的大数据平台相比,它需要具备什么样的特征呢? 所以,对于时序数据工具的选型,一定要看它的架构模型能否撑得起你的业务基数。一个能够通过分布式的架构来处理“高基数”难题,才能让平台足以支撑业务的增长,才可以说是一个真正意义上的时序数据平台。 如果专用的时序数据处理平台不能在存储、读取、分析这些方面做到“高性能”,那么为什么不采用通用的大数据平台呢? 因此时序数据系统需要一个灵活的机制增加某个维度的分析。需要支持即席分析和查询。 近年来,众多企业纷纷将时序数据从传统大数据平台或关系型数据库迁移到专用时序数据平台,以保障海量时序数据得到快速和有效处理,支撑相关业务的持续增长。

    25010编辑于 2025-09-28
  • 时序数据基础:专用时序数据处理工具的必要性

    时序数据的十大特征一节中提到,对于一个优秀的时序数据处理平台来说,必然需要具备处理时序数据十大特征的能力。在处理时序数据所需要的工具一节中介绍了时序数据平台处理时序数据所需要的主要模块/组件。 因此很自然,在工业、物联网大数据兴起后,大家仍然想到的是使用这套通用的大数据处理平台来处理时序数据。 运行效率低:现有的这些开源软件主要用来处理互联网上的非结构化数据,比如文本、视频、图片数据等,但是通过物联网采集来的数据都是时序的、结构化的。 由于数据量巨大且应用方式特殊,对时序数据的处理具有相当大的技术挑战,因此要使用专业的大数据平台。 对实时时序数据的科学合理地高效处理能够帮助企业实时监控生产与经营过程,对历史时序数据的分析有助于对资源的使用和生产配置做出科学的决策。

    22710编辑于 2025-09-28
  • 来自专栏全栈程序员必看

    时序数据 mysql存储_【时序数据库】时序数据库介绍

    1.基本概念 时序数据库(Time Series Database)是用于存储和管理时间序列数据的专业化数据库。时序数据库特别适用于物联网设备监控和互联网业务监控场景。 下面介绍下时序数据库的一些基本概念(不同的时序数据库称呼略有不同)。 1.1 度量(metric) 监测数据的指标,例如风力和温度。相当于关系型数据库中的table。 这样的聚合实际上就是简单的count以及max,问题是如何能高效的在那么大的数据量的基础上将满足条件的原始数据查询出来并聚合,要知道统计的原始值可能因为时间比较久远而不在内存中哈,因此这可能是一个非常耗时的操作 5.3 时序数据库需要解决以下几个问题: 时序数据的写入:如何支持每秒钟上千万上亿数据点的写入。 时序数据的读取:如何支持在秒级对上亿数据的分组聚合运算。 成本敏感:由海量数据存储带来的是成本问题。 6.时序数据库发展简史与现状 目前,DB-Engines把时间序列数据库作为独立的目录来分类统计,下图就是2018年业内流行的时序数据库的关注度排名和最近5年的变化趋势。

    5.4K10编辑于 2022-11-10
  • 来自专栏TechBlog

    时序电路建模基础

    ⭐本专栏针对FPGA进行入门学习,从数电中常见的逻辑代数讲起,结合Verilog HDL语言学习与仿真,主要对组合逻辑电路与时序逻辑电路进行分析与设计,对状态机FSM进行剖析与建模。 在时序电路的设计中,建议采用非阻塞型赋值语句。 事件控制语句 用always语句描述硬件电路的逻辑功能时,在always语句中@符号之后紧跟着“事件控制表达式”。 在同步时序逻辑电路中,触发器状态的变化仅仅发生在时钟脉冲的上升沿或下降沿,Verilog HDL中用关键词posedge(上升沿)和 negedge(下降沿)进行说明,这就是边沿触发事件。

    48910编辑于 2023-02-24
  • 来自专栏黄腾霄的博客

    2019-6-1-UML时序

    在面向对象的软件分析及设计中,UML时序图描述了系统中各个组成部分的信息交互关系。 ---- 定义 UML时序图(Sequence Diagrams)是一种面向对象分析和设计中,描述被分析系统中各个组成部分之间消息相互传递的图形。 实践 这里给出了一个餐厅的时序图。 顾客向服务员点单,如果菜品还有,则服务员将订单传递给厨师。厨师做完之后,让服务员上菜,顾客进行食用。 multiplicity and collections in UML - lower and upper bounds, cardinality, order, unique. 2019-5-30-UML基础 ---- 本文会经常更新,请阅读原文: https://xinyuehtx.github.io/post/UML%E6%97%B6%E5%BA%8F%E5%9B%BE.html ,以避免陈旧错误知识的误导

    1.8K20发布于 2020-06-10
  • 来自专栏开源FPGA

    时序逻辑电路基础

    建立时间Tsu(setup):触发器在时钟上升沿到来之前,其数据输入端的数据必须保持不变的最小时间。 保持时间Th(hold):触发器在时钟上升沿到来之后,其数据输入端的数据必须保持不变的最小时间。 clock output delay,时钟触发到数据输出的最大延迟时间 最小时钟周期:Tmin = Tco + Tdata + Tsu - Tskew。 时钟偏移(Clock Skew):是由于布线长度及负载不同引起的,导致同一个时钟信号到达相邻两个时序单元的时间不一致。 题目:谈谈对Retiming技术的理解   Retiming就是重新调整时序,例如电路中遇到复杂的组合逻辑,延迟过大,电路时序不满足,这个时候采用流水线技术,在组合逻辑中插入寄存器加流水线,进行操作,面积换速度思想

    1.3K20发布于 2018-10-22
  • Python数据挖掘编程基础6

    3、假设有一个列表a=[5,6,7],需要将列表a中的每个元素都加3,并生成一个新列表,可以通过列表解析操作实现该要求,如代码清单2-15所示。 代码清单2-15 使用列表解析操作列表元素a=[5,6,7]b=[i+3 for i in a]print(b) //输出结果为[8,9,10]4、使用map函数实现代码清单2-15中的示例,如代码清单 代码清单2-16 使用map函数操作列表元素a[5,6,7]b=map(lambda x:x+3,a)b=list(b)print(b) //输出结果也为[8,9,10]在代码清单2-16中,首先定义一个列表

    15710编辑于 2025-05-09
  • 来自专栏全栈程序员必看

    时序数据库介绍_时序数据库公司

    6.InfluxDB的优势 ---- 1 .什么是InfluxDB InfluxDB是一个开源的、高性能的时序数据库,在时序数据库DB-Engines Ranking上排名第一。 时序数据以时间作为主要的查询纬度,通常会将连续的多个时序数据绘制成线,制作基于时间的多纬度报表,用于揭示数据背后的趋势、规律、异常,进行实时在线预测和预警,时序数据普遍存在于IT基础设施、运维监控系统和物联网中 原因很明显,计算机虚拟世界,如数据库、网络、容器、系统、应用程序等,和物理世界,如家用设备、城市基础设施、工厂机器、电力设施等,正在创建海量的时序数据。 传统数据库通常记录数据的当前值,时序数据库则记录所有的历史数据,在处理当前时序数据时又要不断接收新的时序数据,同时时序数据的查询也总是以时间为基础查询条件,并专注于解决以下海量数据场景的问题: 专为时序存储和高性能读写而设计 6.InfluxDB的优势 InfluxData选择从头开始构建InfluxDB以支持下一代时序中台的需求,InfluxDB通过实现高度可扩展的数据接收和存储引擎,可以高效地实时收集、存储、查询、可视化显示和执行预定义操作

    3.1K20编辑于 2022-11-10
  • 来自专栏全栈程序员必看

    mysql时序数据库_时序数据库入门

    数据库的模型包含关系型、key-value 型、Document 型等很多种,那么为什么新型的时序数据库成为监控数据存储的新宠呢? 下面就会从 为什么需要时序数据库? 时序数据库的数据结构 两个方面来介绍一下时序数据库。 1. 为什么需要时序数据库 1.1 时序数据特点 时序数据有如下几个特点: 基本上是插入操作较多且无更新的需求 数据带有时间属性,且数据量随着时间递增 插入数据多,每秒钟插入需要可到达千万甚至是上亿的数据量 查询、聚合等操作主要针对近期插入的数据 时序数据能够还原数据的变化状态 可以通过分析过去时序数据的变化、检测现在的变化,以达到预测未来如何变化的目的 时序数据使用需求: 能够按照指标筛选数据 能够按照区间 1.3 场景选择 是否所有的数据都适合用时序数据库来存储? 答案:是否定的,时序数据库提供了针对大量数据的插入操作,但同时数据的读取延迟也相对增加。而且时序数据库不支持 SQL 的数据查询。

    3K30编辑于 2022-11-09
  • 来自专栏全栈程序员必看

    时序数据库应用_tsdb时序数据

    前言 mysql可能大家都用的比较多且普遍,最近1年在使用PostgreSql,其大体DML语句与mysql类似,只是部分DDL语句有些区别,写一篇文章给正在应用该数据库或者准备选型该数据库的朋友 版本为基础的对象关系型数据库管理系统。 dnS 列出所有模式 S代表各个schema \d tablename 列出表详情 类似于mysql的show create table 3.时序分片 — 建表语句 CREATE TABLE NULL, CONSTRAINT info_ukey UNIQUE (type, info, ts) ) WITH (OIDS = FALSE) TABLESPACE default; — 时序 ,在时序处理上表现是比较出色的,如果有针对于时间维度的比较重的表需要做一些优化,可以考虑引入时序数据库的选型,而且大体DML语句与mysql类似,只是部分DDL语句有些区别,希望文章对您有所帮助 原创,

    2.7K20编辑于 2022-11-10
  • 来自专栏科学最Top

    影响6时序Baselines模型的代码Bug

    测试数据加载器(test dataloader)使用了drop_last=True,那么模型的评估可能会基于不完整的测试数据集,从而导致对模型性能的不准确评估,甚至可能导致不同模型之间比较的不公平。 这个问题在使用较大批量大小时尤为明显,因为更大的批量大小更容易导致数据集大小不能被整除的情况。 注:在PyTorch等数据加载框架中,drop_last参数通常用于控制当数据集大小不能被批量大小整除时,是否丢弃最后一个不完整的批量。 然而,在测试或验证过程中,为了获得对模型性能的准确评估,应该确保所有测试数据都被使用,因此应该设置drop_last=False。 结果更新 已发现的错误主要影响像ETTh1和ETTh2这样的小型数据集的结果。有趣的是,对于其他数据集,如ETTm1上的PatchTST等某些模型,却表现出了增强的性能。

    22810编辑于 2024-09-18
  • 来自专栏仙士可博客

    时序数据库学习一:什么是时序数据

    时序数据时序数据库全称为时间序列数据库。时间序列数据库指主要用于处理带时间标签(按照时间的顺序变化,即时间序列化)的数据,带时间标签的数据也称为时间序列数据。 :每条数据都带有时间戳 3:数据不可变,只会一直添加 4:高效的存储压缩效率 5:时序唯一性:某一个时刻的某一个指标只会有一条(一组也视为一条)数据 6:单条数据没有意义,看某一个时间段的所有数据才有意义 时序数据库的基本概念 Time series (时间序列,简称时序或者时序数据):根据wiki百科[2],其数学定义是这样:In mathematics, a time series is a series 时序数据库的项目 事实上,业界流行的ClickHouse、Apache IoTDB等也属于时序数据库范畴。 TimescaleDB: 基于优秀的PostgreSQL构建出的时序数据库。长远考虑,专业的TSDB必须是从底层存储面向时序数据的特征进行针对性设计和优化的。因此它不在本文中进一步分析。

    3.7K20编辑于 2022-05-27
  • 时序数据

    时序数据库的核心特点 时序数据库专门存储按时间顺序生成的数据(如监控指标、传感器数据),其核心特点是高写入吞吐和时间范围查询。数据通常带有时间戳,写入后极少更新,但需支持高效的时间区间聚合分析。 DATA节点:存储时序数据,需高吞吐和水平扩展(AP模型),允许最终一致性,通过多副本、Hinted-handoff等机制平衡性能与可靠性。 最终一致性保障 反熵(Anti-entropy):周期性地对比副本数据差异,以缺失数据为准修复不一致。时序数据的不可变性简化修复逻辑——仅需补全缺失记录。 时序数据库的写入密集型特性决定了DATA节点采用AP模型,而元数据管理需CP保证。 权衡的艺术:强一致性(如Raft)牺牲性能,最终一致性(如反熵)需容忍短暂不一致。 通过InfluxDB的案例可见,分布式系统的实现是理论与工程妥协的结果,需综合算法特性(如Raft)、业务场景(时序数据特点)和运维需求(如故障恢复速度)进行设计。

    21010编辑于 2025-12-18
  • 来自专栏技术博文

    Java基础6)-Java数据类型扩展

    Java进制分为二进制,八进制,十进制,十六进制, 但是计算机只能处理2进制的数据和指令。 进制码 在计算机内,有符号数有3种表示法:原码、反码和补码。所有数据的运算都是采用补码进行的。

    59430编辑于 2021-12-20
  • 来自专栏莫浅子的学习笔记

    数据库-MySQL-基础6)- DCL

    目录 DCL-介绍 DCL-管理用户 1、查询用户 2、创建用户 3、修改用户密码 4、删除用户 5、样例 6、注意 DCL-权限控制 1、查询权限 2、授予权限 3、撤销权限 4、例子 5、注意 - --- DCL-介绍 用来管理数据库用户,控制数据库的访问权限 主要俩个方面 ,控制哪些用户可以访问,控制每个用户具有什么样的访问权限 DCL-管理用户 1、查询用户 USE mysql SELECT 创建用户heima ,可以在任意主机访问数据库,密码123456 create user 'heima'@'%' identified by '123456'; 注意:@后面没有空格,后面加个 ' mysql_native_password by '1234'; 可以通过打开控制台测试一下密码还否修改   删除itcast@localhost用户 drop user 'itcast'@'localhost'; 6、 ON 数据库名.表名 TO '用户名'@'主机名'; 3、撤销权限 REVOKE 权限列表 ON 数据库名.表名 FROM '用户名'@'主机名';   4、例子  查询权限 show grants

    48120编辑于 2022-11-18
  • 来自专栏DevOps

    时序数据库:TDengine与其他时序数据库比对测试

    简介 本项目是基于InfluxDB发布的一个性能对比测试项目的基础上开发的。数据产生模块可以模拟Devops场景下多台服务器产生大量监控数据。 因为测试模拟数据先生成并写入硬盘文件,由数据加载程序从文件中读取一条条的数据写入语句,写入时序数据库。这种方式能够将数据产生过程中的性能差异排除。 root权限。 写入测试 本测试包提供了一个run.sh脚本,自动执行将docker容器按指定IP地址运行起来,然后产生数据,写入数据文件,并写入时序数据库。 功能对比 TDengine与OpenTSDB都是用与处理时序数据的存储引擎,其功能比较接近,各有特色。 功能对比 TDengine与Cassandra都是用与处理时序数据的存储引擎,其功能比较接近,各有特色。

    3.3K10编辑于 2024-03-29
领券