首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >要更正拆分为2的行的Python代码,需要将它们保持在一行中

问要更正拆分为2的行的Python代码,需要将它们保持在一行中
EN

Stack Overflow用户
提问于 2021-06-21 05:10:18
回答 2查看 63关注 0票数 0

我正在尝试使用Polybase将数据从管道分隔的文本文件加载到Azure数据仓库中。一些记录被分成多行,我在加载时遇到了问题。

数据格式如下:

代码语言:javascript
复制
col1|col2|col3|col4|col5|col6|col7|col8

实际数据如下

代码语言:javascript
复制
123|abc|def|ghi|jkl
|mno|pqr|stu

如果整个记录在一行中,那么它运行得很好。当数据像上面那样被分成两行时,它就失败了。

我正在使用Python将数据加载到blob。请有人让我知道,如果有一个方法来保持记录只有一行。

EN

回答 2

Stack Overflow用户

发布于 2021-06-21 05:18:57

如果我没理解错的话,你的第一行是这样的:

代码语言:javascript
复制
col1|col2|col3|col4|col5|col6|col7|col8

第二行就像这样:

代码语言:javascript
复制
123|abc|def|ghi|jkl |mno|pqr|stu

你所要做的就是将所有的数据放在一行中。因此,您可以像这样将这些行连接起来,在它们之间再使用一个|字符。所以你得到了类似这样的东西:

代码语言:javascript
复制
col1|col2|col3|col4|col5|col6|col7|col8|123|abc|def|ghi|jkl |mno|pqr|stu

下面是一个简单的python脚本,可用于将这些数据拆分成列表:

代码语言:javascript
复制
a = 'col1|col2|col3|col4|col5|col6|col7|col8|123|abc|def|ghi|jkl |mno|pqr|stu'

b = a.split('|')
c = []
for i in range(0, len(b), 8):
    c.append(b[i : i + 8])

print(c)

输出:

代码语言:javascript
复制
[['col1', 'col2', 'col3', 'col4', 'col5', 'col6', 'col7', 'col8'], ['123', 'abc', 'def', 'ghi', 'jkl ', 'mno', 'pqr', 'stu']]

然后,您可以添加以下代码,将获取的数据转换为dict

代码语言:javascript
复制
data = []
for i in range(1, len(c)):
    x = {}
    for j in range(len(c[0])):
        x[c[0][j]] = c[i][j]
    data.append(x)

print(data)

输出:

代码语言:javascript
复制
[{'col1': '123', 'col2': 'abc', 'col3': 'def', 'col4': 'ghi', 'col5': 'jkl ', 'col6': 'mno', 'col7': 'pqr', 'col8': 'stu'}]
票数 0
EN

Stack Overflow用户

发布于 2021-06-22 02:47:04

下面的脚本将读取一个主要包含8列行的文件,偶尔会将行拆分为几行。例如:

代码语言:javascript
复制
one|two|three|four|five|six|seven|eight
one|two|three
|four|five|six|seven|eight
one|two|three|four|five|six|seven|eight
one|two|three|four|five|six
|seven|eight
one|two|three|four|five|six|seven|eight

这里的想法是,如果我们得到一行短的代码,我们将这些部分保存为“剩余部分”,并等待下一行。我在这里假设断行的第二部分将以'|‘开始。这是可以消除的,但是你必须决定如何处理前导和尾随的'|‘符号。

这会将结果写入stdout。如果需要,您可以写入另一个文件,甚至收集到列的列表或数据帧中。

代码语言:javascript
复制
leftover = []
for line in open('data.txt').readlines():
    line = line.strip()
    if line[0] == '|':
        parts = leftover + line[1:].split('|')
        leftover = []
    else:
        parts = line.split('|')
        if len(parts) < 8:
            leftover = parts
        else:
            print( '|'.join(parts) )
票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/68060061

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档