CRM云系统中数据批量上传的设计

Question

我们必须设计一个接口，将数据的构建上传到基于云的CRM系统中。批量上传将定期执行，以进行实时数据推送。有两种方法。

将转换后的数据存储在队列中，然后执行调度作业，将数据大容量加载到CRM中，system.

• Transformed数据存储在数据库表中，然后执行调度作业，将数据大容量加载到CRM系统中。

其中一个主要问题是云CRM系统不能接受具有相同主id的2个请求，这意味着在数据上传之前对数据进行过滤。

不知何故，我不习惯使用队列作为持久组件。数据库表提供了对错误处理系统/数据、持久化存储CLOB、调试、过滤的更多控制。

我能知道队列或db方法的利弊吗？这将帮助我做出一个设计决策。此外，如果有人能启发设计策略，这将是伟大的。

提前感谢Makarand Parab

Answer 1

您想要做的是技术上称为ETL的数据。有很多工具可以用来加载数据。您是否准备编写自己的工具来提取和加载数据。第三种方法也可以是从文件中加载。通常，如果队列不是实时上传，则不使用队列。Abinitio是一种流行的工具。您可以使用autosys工具安排作业。但两者都是付费软件。你的设计包括两个阶段。(a)清理数据以删除重复的数据(b)在客户关系管理系统中加载数据。要准确地设计接口，请让我们知道您的CRM支持什么接口。(基于文件、SQL等)