通用导入流程

Question

我正在考虑为我公司的主系统的各个部分创建一个通用的导入例程，以便在实现新客户端时使用。例如，我们可能会得到库存、客户等的excel或csv文件，这些文件需要导入到一个通用模型中。

我想知道是否有人有一些好的想法或最佳实践来做这样的事情(在技术和/或过程方面)。我们是一个MS SQL2005和.Net为基础的商店。

我在想像UPS的worldship那样的东西，一个程序解释你的导入文件，然后你将你拥有的列与UPS系统中的可用列进行匹配，但可能还有更好的方法……这只是一个我习惯的界面。

其次，我希望以这样的方式构建它，以便其他开发人员也可以将他们自己的数据操作例程插入到流程中(即，如果import value为Y，则更改为1)。因此，任何关于如何实现这一点的想法都是非常感谢的！

我知道这些信息不足以给出一个全面的解决方案。我只是希望得到一些好的想法，也许是关于如何最好地攻击它的不同观点;)

提前感谢！

Answer 1

我们使用SSIS并创建父包和子包。在子包中是标准字段和转换，以及到生产表的导入。在父包中有任何非标准转换(由于特定客户端的数据问题而需要)和非标准导入任务(可能它们提供了通常不需要导入的专用数据)。父包以客户端能够提供给我们的格式获取客户端数据(这通常不是我们想要的格式)，并将其转换为我们的标准格式，然后调用子包来执行所有标准操作。我们通过从父包发送的变量来配置子包(像客户端Id这样的东西会因不同的客户端而改变)。

需要注意的一件事是使用比正常数据集更小的数据集来开发子包。出于开发目的，请使用您希望从最大客户端获得的最大大小的文件。你不会愿意花时间创建一个子包，这个子包只有在文件小的情况下才能工作，当文件大的时候需要24小时。最好提前知道在大文件上的性能。