Python通用数据引擎

Question

我已经在Python上工作了大约1.5年，并在寻找一些方向。这是我第一次在做了大量的搜索之后找不到我需要的东西，而且肯定遗漏了什么--很可能是搜索了错误的术语。

Problem：我正在开发一个有许多进程的应用程序(可能有数百甚至数千个进程)。每个进程可能有一个唯一的输入和输出数据格式--可以是多行字符串、逗号分隔字符串、excel或csv，有或没有不同的标头和许多其他。我需要一些东西，将正确的格式输入和处理输出的基础上的过程。还需要容易地添加/定义新的流程。我对任何最好的方法都持开放态度，但我的想法是使用一个存储模板/数据定义的数据库，并使用它来了解给定进程的格式。然而，如果这真的是最好的方法的话，我很难想出确切的方法，但是它需要是一个可伸缩的解决方案。任何方向都将不胜感激。谢谢。

几个简单的数据示例

处理1示例数据(带有标头的多行字符串)

 [ABC123, XYZ453, CDE987]

并将创建以下结果数据输入：

Barcode
ABC123
XYZ453
CDE987

下面的代码可以工作，但对于示例2是不可重用的。

list = [ABC123, XYZ453, CDE987]

input = "Barcode /r/n"

for l in list:
    input = input + l + '/r/n'

Process 2输入模板示例(用头分隔逗号)：

Barcode,Location,Param1,Param2
Item1,L1,11,A
Item1,L1,22,B
Item2,L1,33,C
Item2,L2,44,F 
Item3,L2,55,B
Item3,L2,66,P

Process 2示例结果输入数据(逗号与头分隔)：

{'Barcode':['ABC123', 'XYZ453', 'CDE987', 'FGH487', 'YTR123'], 'Location':['Shelf1', 'Shelf2']}

并使用模板创建以下输入数据：

Barcode,Location,Param1,Param2
ABC123,Shelf1,11,A
ABC123,Shelf1,22,B
XYZ453,Shelf1,33,C
XYZ453,Shelf2,44,F 
CDE987,Shelf2,55,B
CDE987,Shelf2,66,P
FGH487,Shelf1,11,A
FGH487,Shelf1,22,B
YTR123,Shelf1,33,C
YTR123,Shelf2,44,F 

我知道如何使用硬编码循环/dataframe合并等方法处理每个进程。在其他情况下，我使用dicts进行了一些抽象。但是，如何定义/存储每一种变化很大的格式，并创建可重用的抽象代码，这是我陷入困境的地方。

Answer 1

也许您可以以元组的形式对实际输出执行函数的输出，其中键为"datatype“和" output”。