首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >将数据写入分布式表的详细步骤是什么?

将数据写入分布式表的详细步骤是什么?
EN

Stack Overflow用户
提问于 2021-11-26 01:18:00
回答 1查看 12关注 0票数 0

我们有3000只股票在给定时刻的报价数据,并将它们写入带有COMPO域的分布式表中(第一层是日期,第二层是股票报价器)。请举例说明将数据写入分布式表的详细过程。哪些步骤是单线程的,哪些是多线程的?

EN

回答 1

Stack Overflow用户

发布于 2021-11-29 07:55:45

详细的数据写入过程说明如下:

  1. API (如DolphinDB图形用户界面和Java API)将写入命令发送到当前数据节点的工作器。

  1. 收到命令后,worker会分析分布式表的详细信息(包括分区信息),并根据分区模式对要写入的数据进行分组。

  1. 对数据进行分组后,工作器请求控制器(主)锁定这些分区。

  1. 如果分区锁定成功,主节点会根据通信节点上的分区对数据进行打包,然后将打包后的数据并行发送到节点。

  1. 包含要写入的分区的每个节点都会创建一个写入数据的事务。

  1. 在所有节点完成数据写入后,将向协调器节点发送“完成”消息。

  1. 协调器将在收到来自所有相关节点的“完成”消息后提交事务。

  1. 提交事务后,每个节点汇总结果并将其发送到发送写入命令的节点。然后节点将最终结果返回给API。

只有将数据写入每个分区的步骤是多线程的,而所有其他步骤都是单线程的。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/70118710

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档