今天介绍 IoTDB 的部署运维相关知识,帮助大家玩转 IoTDB! 正文 1859 字,预计阅读时间 5 分钟。 开箱即用 IoTDB 的理念就是系统运维要简单,要一键启动、开箱即用。 就从启动开始说起吧,需要安装 jdk8 或者 jdk11,下载发布版,http://iotdb.apache.org/Download/ ,解压缩后是这样的目录结构: 内存在 conf/iotdb-env.sh 启动 B 机器的 IoTDB 即可。 3. 如果是本机运行 IoTDB,直接在本机命令行输入 jvisualvm 就可以连接本机的 IoTDB 进程了。 如果要在服务器运行 IoTDB,需要先修改配置文件 conf/iotdb-env.sh, JMX_LOCAL="false" JMX_IP="the_real_iotdb_server_ip" # 填写实际
说了半天语法和部署运维,实际使用还是要落到代码里的,今天介绍一下客户端的接口。 正文 3516 字,预计阅读时间 5 分钟。 /incubator-iotdb/blob/master/example/jdbc/src/main/java/org/apache/iotdb/JDBCExample.java Java 原生接口 Session 完整的示例代码位置: https://github.com/apache/incubator-iotdb/blob/master/example/session/src/main/java/org/apache /session/src/main/java/org/apache/iotdb/SessionPoolExample.java Python 接口 除了 JAVA 的接口,我们还包装了一下 Python 位置在 https://github.com/apache/incubator-iotdb/blob/master/client-py
使用场景 某公司有多个电厂,每个电厂内部署了一个 IoTDB,负责监控电厂内多个设备的运行状态。各个电厂间数据不互通。 文件同步工具的定位:将一个 IoTDB 的 Schema 和数据文件(TsFile)同步至另一个 IoTDB 中,同步过程会有一定延迟,具体延迟取决于负载和配置。 (4)异步刷盘任务开始执行,刷完之后把当前 TsFile 关掉。 在这个例子里,写满 2 个 memtable (20条数据) 关闭一次文件,写入频率为 1 秒,文件的生成耗时是 20 秒左右。 启动接收端 cd receiver ## 配置 conf/iotdb-engine.properties 中的 is_sync_enable=true ## 启动接收端 IoTDB nohup . http://iotdb.apache.org/zh/UserGuide/V0.10.x/System%20Tools/Sync%20Tool.html 总结 文件同步适合对实时性要求没那么高的数据汇总
随着最近项目落地,0.10.0 即将发布,准备写一系列教程,今天第一篇,介绍 IoTDB 的数据模型和建模方式。 正文 2855 字,预计阅读时间 8 分钟。 什么是时序数据? IoTDB 数据模型及手动创建方式 IoTDB 的元数据管理采用目录树的结构,不同层级之间用 . 分割。根节点默认为 root ,除此之外主要有三个概念。存储组、设备、测点。 ? 数据类型目前支持 6 种 BOOLEAN、INT32、INT64、FLOAT、DOUBLE、TEXT 编码方式主要有 4 种 TS_2DIFF (时间列的默认编码方式):适用 INT32、INT64 RLE 分配内存/2/存储组个数/4 (有乱序数据) = IoTDB分配内存/2/存储组个数/2 (无乱序数据) IoTDB 分配内存在 conf/iotdb-env.sh 中设置 MAX_HEAP_SIZE 种格式的字符串的默认类型,都可以在配置文件中配置,(0.10.0 版本,目前的 master 分支, boolean_string_infer_type 参数附近) 简单试用 欢迎下载试用:http://iotdb.apache.org
/pan.baidu.com/s/1KWnEIIE0Duwr9TZVugib6w 密码:dmrg 也可以源代码编译: git clone https://github.com/apache/incubator-iotdb.git -am -DskipTests 二进制发布包位置: distribution/target/apache-iotdb-0.10.0-SNAPSHOT-incubating-bin.zip 好,开始! DDL 数据定义语言 参考文档: http://iotdb.apache.org/UserGuide/Master/Operation%20Manual/DDL%20Data%20Definition devices| +---------------+ |root.turbine.d1| |root.turbine.d2| +---------------+ DML 数据操作语言 参考文档: http://iotdb.apache.org root.turbine.d1(timestamp,s1,s2) values(3,1,2); insert into root.turbine.d1(timestamp,s1,s2) values(4,1,2
2月19日,,就 Apache IoTDB 的核心技术及典型应用场景进行了直播分享探讨,分别是 Apache IoTDB:基于开放数据文件格式的时序数据库、IoTDB 在阿里云智能制造业务中的实践、智能运维场景中的时序数据库选型与挑战 、时序数据库IoTDB在360的落地实践这4个主题。 作为作为全球性开源项目,截至目前,Apache IoTDB已拥有165+ 名贡献者、1.8KStar、560+ Fork。 我们为大家提供了参与指南,欢迎越来越多的小伙伴助力 Apache IoTDB 项目的不断发展与前进。
IoTDB 是清华自研时间序列数据库,2014年项目启动,2018年11月18号 IoTDB 正式进入 Apache 孵化器,成为中国高校首个进入 Apache 孵化器的项目。 Apache 孵化器主席Justin Mclean、国际著名大数据公司 HortonWorks 副总裁 Joe Witt、Apache PLC4X 项目负责人 Christofer Dutz、华为开源中心负责人姜宁成为本项目的指导者 2018年11月18日,IoTDB项目正式成为 Apache孵化器项目,这是我国高校目前唯一一个进入Apache孵化器的项目。 17 年 4 月 1 号发布了我们的第一个稳定版 TsFile,下面这张图是 4 月 1 号早上 5 点照的,一个值得纪念的日子。 ? filter=allopenissues 邮件列表 dev@iotdb.apache.org Apache 是用邮件来进行日常沟通的,大家可以订阅 IoTDB 的邮件,加入 IoTDB 的社区。
发布手册 参考:https://raw.githubusercontent.com/apache/incubator-iotdb/release/0.10.1/RELEASE_NOTES.md 新功能 python session 客户端 0.10.0版,之前有用户反馈python客户端有一些问题,所以这次做了一次完整的更新 功能优化 [IOTDB-796] 优化并发查询吞吐量 [IOTDB-802 IOTDB-795] Hive连接器中 BufferUnderflowException 的异常 [IOTDB-798] 修复一个设置rowLimit和rowOffset的bug [IOTDB-805] TsFile时的 BufferUnderflowException异常 [ISSUE-1551] 修复当导入外部tsfile成功但打印错误日志的问题 下载使用 下载地址: https://downloads.apache.org /incubator/iotdb/0.10.1-incubating/apache-iotdb-0.10.1-incubating-bin.zip 用户文档: https://iotdb.apache.org
正文 1258 字,预计阅读时间 4 分钟。 说几件事 这几个月 IoTDB 的官网做了个大的升级,比之前的界面美观很多,不对,是太多了! 大家可以浏览一下:http://iotdb.apache.org/zh/ 官网还新增了中英文的设计文档,虽然还不全,但是大的模块基本都有了,欢迎来提出宝贵建议或者贡献代码~ http://iotdb.apache.org https://github.com/apache/incubator-iotdb/issues 发布手册 - [IOTDB-531] 修复 JDBC UTL 不支持域名的 bug - [IOTDB- ,修改为通用的聚合函数 last 重试 - 移除官网关于加载外部 TsFile的 文档(这个功能是0.10版本的,还没发布) 下载使用 下载地址: https://downloads.apache.org /incubator/iotdb/0.9.3-incubating/apache-iotdb-0.9.3-incubating-bin.zip 用户文档: http://iotdb.apache.org
发布手册 参考:https://raw.githubusercontent.com/apache/incubator-iotdb/release/0.10.0/RELEASE_NOTES.md 新功能 Flink IoTDB 集成 Apache Flink 增加 MQTT 协议,默认关闭,可在配置文件中开启 增加 Measurement 的别名 可修改 Measurement 别名:upsert alias insertRecords, insert -> insertRecord 统一各种查询中 level 的含义,root 为 0 层 Client 改名为 Cli 其他修改 语法解析从 Antlr 3 升级为 4 可参考 http://iotdb.apache.org/Download/ (1)0.9 版本停止数据写入 (2)启动 CLI,执行 flush 命令,执行完成后关闭 server (3)下载 0.10 版本,将配置文件中的各个目录指向 0.9 的各目录 (4)启动 0.10 版本,0.9 的数据即可查询 (5)客户端更新至 0.10 版本,即可继续写入 推荐提前备份数据。
单个 IoTDB 实例推荐设置 CPU 核数个存储组。存储组越多,并行度就越高。我们之后打算把锁粒度下放到设备层。 IoTDB 支持数据的乱序写入,但是乱序数据会影响查询性能,主要是对于聚合查询,原理是乱序数据会让预计算的统计信息失效,把聚合查询降维打击到读原始数据。 IoTDB 的数据目录可以在 data_dirs 参数配置,用逗号分隔多个目录。可以每块盘一个目录。在写数据的时候会到这几个盘里找最空闲的写。
Apache IoTDB是物联网时序数据收集、存储、管理与分析为一体的的软件系统。Apache IoTDB作为Apache的2020新晋顶级项目,以其出色的表现得到了Apache的认可! 同时也是Apache 软件基金会的成员,ApacheMember。 ? 那么,今天我们会有4个部分的内容,首先是和大家一起聊聊IoT领域的发展趋势。 ? 好的,下面我们快速了解一下IoTDB的现状和未来规划。 ? IoTDB已经在2020年的9月份得到了最权威的开源社区的认可,成为了Apache 顶级项目。 Apache 开源社区对项目的毕业控制非常严格,IoTDB成为顶级项目足以证明其优秀和潜力。 ? 刚才我们也提到,ApacheIoTDB 非常注重工业领域标准集成,与Apache 顶级项目PLC4X有很好的生态集成和线下互动。 ?
正文 1430 字,预计阅读时间 4 分钟。 发布版下载 IoTDB 的 Apache 正式版从 0.8.0 开始,版本号的格式为 X.Y.Z (大版本.小版本.补丁版)。 下载地址: http://iotdb.apache.org/#/Download 里面可以选择不同的版本进行下载,建议选最新的。包括二进制发布版和源码。 部署 0.9.0 版本,data 目录指向原来的,启动就可以了,后台会将数据文件慢慢升级。 每一次系统不兼容我们都会提供在线升级工具,保证所有版本都能滚动升级到最新版本。 https://issues.apache.org/jira/projects/IOTDB/issues/IOTDB-9? 代码地址,欢迎点赞~ https://github.com/apache/incubator-iotdb/tree/master 总结 基本情况就介绍到这啦,之后会介绍 IoTDB 的基本操作,设计思想等
简单调法: memtable_size_threshold=tsfile_size_threshold =可分配内存*50% / 存储组个数 / 4 (有乱序数据) =可分配内存*50% / 存储组个数 Group by 语法不对 0.9以前的版本和0.10版本的 group by语法不一样,需要注意一下IoTDB的版本。 第二步 通过客户端执行操作,如果出现异常,异常里会包含错误码,可以通过 getStatusCode 拿到错误码,然后来这个链接里查询: http://iotdb.apache.org/zh/UserGuide https://github.com/apache/incubator-iotdb/issues 到 github 上提的问题基本一两天都会得到反馈,需要注意的是解决之后最好反馈一下解决方式,给其他人参考 总结 软件是用出来的,大家的反馈越多,IoTDB 就越好用,感谢在 IoTDB 快速成长阶段的用户们,下一篇会介绍一下调优。
之前写过一个 IoTDB 数据模型 的介绍 ,但是实际例子举得不多,所以部分用户对于一个实际系统如何建模还比较困惑,今天主要介绍一下建模实例。 正文 1852 字,预计阅读时间 5 分钟。 树形数据模型 IoTDB 中的数据模型是什么样的呢? 先介绍一下 IoTDB 对时间序列的定义:一个测点在不断地采集数据,每个数据点会打上一个时间戳,这个测点的数据就对应一条时间序列,一条时间序列举例如下: IoTDB 的目标场景就是管理很多这种时间序列, ,所以第 3 行蓝色的数据会被第 4 行覆盖掉。 最后,欢迎大家加入社区一起交流~ QQ 群:659990460 微信群:添加好友 tietouqiao Github:https://github.com/apache/iotdb
Release Announcement version 0.13 Apache IoTDB v0.13 已经发布,此版本新增对齐序列存储模型,增加了对触发器等功能的支持;优化了现有 SQL 语法 欢迎在我们的网站下载最新版本: https://iotdb.apache.org/Download/ 完整的 Release Notes 可参考此处: https://raw.githubusercontent.com /apache/iotdb/v0.13.0/RELEASE_NOTES.md 当前 release 可在此处下载: http://iotdb.apache.org/Download JDBC driver q=3Dg:org.apache.iotdb IoTDB server 的 Docker image 在此处查找: https://hub.docker.com/r/apache/iotdb Python API 可在此处查找: https://pypi.org/project/apache-iotdb/ Release Notes ## 新功能 [IOTDB-924] 支持一条 SQL 插入多行时间戳的数据
最近今天写了IoTDB的三篇相关文章,完成了安装部署和客户端连接: Windows Server上部署IoTDB 集群 DBeaver 连接IoTDBDriver 将IoTDB注册为Windows服务 IoTDB C# SDK 叫做 Apache-IoTDB-Client-CSharp,Github:https://github.com/eedalong/Apache-IoTDB-Client-CSharp ,Nuget 包有两个: Apache.IoTDB和 Apache.IoTDB.Data。 IoTDB C#客户端介绍: https://github.com/eedalong/Apache-IoTDB-Client-CSharp/blob/main/docs/Apache%20IoTDB% 20C%23%E5%AE%A2%E6%88%B7%E7%AB%AF%E4%BB%8B%E7%BB%8D%20(6).pdf IoTDB C#客⼾端性能分析报告:https://github.com/eedalong
Release Announcement version 0.13.2 Apache IoTDB v0.13.2 已经发布,此版本是 0.13.1 的 bug-fix 版,主要修复了一部分权限问题 欢迎在我们的网站下载最新版本: https://iotdb.apache.org/Download/ 完整的 Release Notes 可参考此处: https://raw.githubusercontent.com /apache/iotdb/v0.13.2/RELEASE_NOTES.md… 当前 release 可在此处下载: http://iotdb.apache.org/Download JDBC driver q=3Dg:org.apache.iotdb IoTDB server 的 Docker image 在此处查找: https://hub.docker.com/r/apache/iotdb Python API 可在此处查找: https://pypi.org/project/apache-iotdb/ Release Notes ## Improvements [IOTDB-2669] 优化 C+
Release Announcement Version 0.13.3 Apache IoTDB V0.13.3 已经发布,此版本是 0.13.2 的 bug-fix 版,主要提升了文件合并的稳定性 欢迎在我们的网站下载最新版本: https://iotdb.apache.org/Download/ 完整的 Release Notes 可参考此处: https://raw.githubusercontent.com /apache/iotdb/v0.13.3/RELEASE_NOTES.md… 当前 Release 可在此处下载: http://iotdb.apache.org/Download JDBC driver q=3Dg:org.apache.iotdb IoTDB server 的 Docker image 在此处查找: https://hub.docker.com/r/apache/iotdb Python API 可在此处查找: https://pypi.org/project/apache-iotdb/ Release Notes ## Improvements [IOTDB-4525] 加速重启过程
Apache Pulsar 的差异化亮点 3. Apache Pulsar 与流原生 4. 社区案例分享 ---- ---- 2. Apache IoTDB 的前世今生与技术细节揭秘 ? Apache IoTDB 是目前唯一一个从我国高校走进 Apache 的项目,其读写性能远超当前市面上的常见时序数据库。 在长期的数据平台研发与运维实践中,消息中间件在高可靠与高性能场景下的开发、部署与运维得到了逐步完善。 ---- 4. 基于 IoTDB 打造时序数据全生命周期管理的开源解决方案 ?摘要: 无论是互联网公司还是工业企业,针对时间序列数据的管理和使用正在成为重要的发力点。 本报告围绕 Apache IoTDB,结合 Apache PLC4X、Apache Pulsar、Apache Spark 等介绍时间序列的采集、缓存、存储、处理、分析、可视化的全生命周期的开源解决方案