我正在尝试使用Polybase将数据从管道分隔的文本文件加载到Azure数据仓库中。一些记录被分成多行,我在加载时遇到了问题。
数据格式如下:
col1|col2|col3|col4|col5|col6|col7|col8实际数据如下
123|abc|def|ghi|jkl
|mno|pqr|stu如果整个记录在一行中,那么它运行得很好。当数据像上面那样被分成两行时,它就失败了。
我正在使用Python将数据加载到blob。请有人让我知道,如果有一个方法来保持记录只有一行。
发布于 2021-06-21 05:18:57
如果我没理解错的话,你的第一行是这样的:
col1|col2|col3|col4|col5|col6|col7|col8第二行就像这样:
123|abc|def|ghi|jkl |mno|pqr|stu你所要做的就是将所有的数据放在一行中。因此,您可以像这样将这些行连接起来,在它们之间再使用一个|字符。所以你得到了类似这样的东西:
col1|col2|col3|col4|col5|col6|col7|col8|123|abc|def|ghi|jkl |mno|pqr|stu下面是一个简单的python脚本,可用于将这些数据拆分成列表:
a = 'col1|col2|col3|col4|col5|col6|col7|col8|123|abc|def|ghi|jkl |mno|pqr|stu'
b = a.split('|')
c = []
for i in range(0, len(b), 8):
c.append(b[i : i + 8])
print(c)输出:
[['col1', 'col2', 'col3', 'col4', 'col5', 'col6', 'col7', 'col8'], ['123', 'abc', 'def', 'ghi', 'jkl ', 'mno', 'pqr', 'stu']]然后,您可以添加以下代码,将获取的数据转换为dict
data = []
for i in range(1, len(c)):
x = {}
for j in range(len(c[0])):
x[c[0][j]] = c[i][j]
data.append(x)
print(data)输出:
[{'col1': '123', 'col2': 'abc', 'col3': 'def', 'col4': 'ghi', 'col5': 'jkl ', 'col6': 'mno', 'col7': 'pqr', 'col8': 'stu'}]发布于 2021-06-22 02:47:04
下面的脚本将读取一个主要包含8列行的文件,偶尔会将行拆分为几行。例如:
one|two|three|four|five|six|seven|eight
one|two|three
|four|five|six|seven|eight
one|two|three|four|five|six|seven|eight
one|two|three|four|five|six
|seven|eight
one|two|three|four|five|six|seven|eight这里的想法是,如果我们得到一行短的代码,我们将这些部分保存为“剩余部分”,并等待下一行。我在这里假设断行的第二部分将以'|‘开始。这是可以消除的,但是你必须决定如何处理前导和尾随的'|‘符号。
这会将结果写入stdout。如果需要,您可以写入另一个文件,甚至收集到列的列表或数据帧中。
leftover = []
for line in open('data.txt').readlines():
line = line.strip()
if line[0] == '|':
parts = leftover + line[1:].split('|')
leftover = []
else:
parts = line.split('|')
if len(parts) < 8:
leftover = parts
else:
print( '|'.join(parts) )https://stackoverflow.com/questions/68060061
复制相似问题