从.txt (文本文件)解析表

Question

我从python分析器获得了一些分析结果，如下所示：

Filename: main.py

Line #    Mem usage    Increment   Line Contents
================================================
    30    121.8 MiB    121.8 MiB   @profile(stream=f)
    31                             def parse_data(data):
    32    121.8 MiB      0.0 MiB       Y=data["price"].values
    33    121.8 MiB      0.0 MiB       Y=np.log(Y)
    34    121.8 MiB      0.0 MiB       features=data.columns
    35    121.8 MiB      0.0 MiB       X1=list(set(features)-set(["price"]))
    36    126.3 MiB      4.5 MiB       X=data[X1].values
    37    126.3 MiB      0.0 MiB       ss=StandardScaler()
    38    124.6 MiB      0.0 MiB       X=ss.fit_transform(X)
    39    124.6 MiB      0.0 MiB       return X,Y


Filename: main.py

Line #    Mem usage    Increment   Line Contents
================================================
    41    127.1 MiB    127.1 MiB   @profile(stream=f)
    42                             def linearRegressionfit(Xt,Yt,Xts,Yts):
    43    127.1 MiB      0.0 MiB       lr=LinearRegression()
    44    131.2 MiB      4.1 MiB       model=lr.fit(Xt,Yt)
    45    132.0 MiB      0.8 MiB       predict=lr.predict(Xts)
    46                             

现在，我需要得到这些结果，以进行绘图和其他用途。但这篇文章并不是很方便。该表显示逐行分析结果。我如何才能得到熊猫的数据文件或表格版本的，它可以用于从这个表中获取任何行或列？

我曾访问过regex和parsimonious，但似乎无法让它们在我的案例中使用。

Answer 1

这只是一些解析练习。通过进行一些小的调整，您可以在几行代码中获得相当干净的数据框架。

txt = '''
Filename: main.py

Line #    Mem usage    Increment   Line Contents
================================================
    30    121.8 MiB    121.8 MiB   @profile(stream=f)
    31                             def parse_data(data):
    32    121.8 MiB      0.0 MiB       Y=data["price"].values
    33    121.8 MiB      0.0 MiB       Y=np.log(Y)
    34    121.8 MiB      0.0 MiB       features=data.columns
    35    121.8 MiB      0.0 MiB       X1=list(set(features)-set(["price"]))
    36    126.3 MiB      4.5 MiB       X=data[X1].values
    37    126.3 MiB      0.0 MiB       ss=StandardScaler()
    38    124.6 MiB      0.0 MiB       X=ss.fit_transform(X)
    39    124.6 MiB      0.0 MiB       return X,Y


Filename: main.py

Line #    Mem usage    Increment   Line Contents
================================================
    41    127.1 MiB    127.1 MiB   @profile(stream=f)
    42                             def linearRegressionfit(Xt,Yt,Xts,Yts):
    43    127.1 MiB      0.0 MiB       lr=LinearRegression()
    44    131.2 MiB      4.1 MiB       model=lr.fit(Xt,Yt)
    45    132.0 MiB      0.8 MiB       predict=lr.predict(Xts)
'''

import pandas as pd

lines = []
for line in txt.split('\n'):
    #print(line)
    if line.startswith('Filename'): continue
    if line.startswith('Line'): continue
    if line.startswith('='): continue
    if line == '': continue
    data = [i.strip() for i in line.split()]
    #Fix def lines
    if data[1] == 'def':
        data = [data[0],'','','','',' '.join(data[1:4])]

    data = [data[0], ' '.join(data[1:3]), ' '.join(data[3:5]), data[-1]]
    lines.append(data)

df = pd.DataFrame(lines, columns=['Line #', 'Mem usage', 'Increment','Line Contents'])

print(df)

   Line #  Mem usage  Increment                            Line Contents
0      30  121.8 MiB  121.8 MiB                       @profile(stream=f)
1      31                                          def parse_data(data):
2      32  121.8 MiB    0.0 MiB                   Y=data["price"].values
3      33  121.8 MiB    0.0 MiB                              Y=np.log(Y)
4      34  121.8 MiB    0.0 MiB                    features=data.columns
5      35  121.8 MiB    0.0 MiB    X1=list(set(features)-set(["price"]))
6      36  126.3 MiB    4.5 MiB                        X=data[X1].values
7      37  126.3 MiB    0.0 MiB                      ss=StandardScaler()
8      38  124.6 MiB    0.0 MiB                    X=ss.fit_transform(X)
9      39  124.6 MiB    0.0 MiB                                      X,Y
10     41  127.1 MiB  127.1 MiB                       @profile(stream=f)
11     42                        def linearRegressionfit(Xt,Yt,Xts,Yts):
12     43  127.1 MiB    0.0 MiB                    lr=LinearRegression()
13     44  131.2 MiB    4.1 MiB                      model=lr.fit(Xt,Yt)
14     45  132.0 MiB    0.8 MiB                  predict=lr.predict(Xts)

然后，当'@profile'在'Line Contents'中时，您可以拆分数据帧。

例如：

split_idx = df[df['Line Contents'].str.startswith('@profile')].index
dataframes = []
for i, idx in enumerate(split_idx):
    try:
        dataframes.append(df.iloc[idx, split_idx[i+1]])
    except IndexError:
        dataframes.append(df.iloc[idx:])


print(dataframes[0])
print('======')
print(dataframes[1])

   Line #  Mem usage  Increment                            Line Contents
0      30  121.8 MiB  121.8 MiB                       @profile(stream=f)
1      31                                          def parse_data(data):
2      32  121.8 MiB    0.0 MiB                   Y=data["price"].values
3      33  121.8 MiB    0.0 MiB                              Y=np.log(Y)
4      34  121.8 MiB    0.0 MiB                    features=data.columns
5      35  121.8 MiB    0.0 MiB    X1=list(set(features)-set(["price"]))
6      36  126.3 MiB    4.5 MiB                        X=data[X1].values
7      37  126.3 MiB    0.0 MiB                      ss=StandardScaler()
8      38  124.6 MiB    0.0 MiB                    X=ss.fit_transform(X)
9      39  124.6 MiB    0.0 MiB                                      X,Y
10     41  127.1 MiB  127.1 MiB                       @profile(stream=f)
11     42                        def linearRegressionfit(Xt,Yt,Xts,Yts):
12     43  127.1 MiB    0.0 MiB                    lr=LinearRegression()
13     44  131.2 MiB    4.1 MiB                      model=lr.fit(Xt,Yt)
14     45  132.0 MiB    0.8 MiB                  predict=lr.predict(Xts)
======
   Line #  Mem usage  Increment                            Line Contents
10     41  127.1 MiB  127.1 MiB                       @profile(stream=f)
11     42                        def linearRegressionfit(Xt,Yt,Xts,Yts):
12     43  127.1 MiB    0.0 MiB                    lr=LinearRegression()
13     44  131.2 MiB    4.1 MiB                      model=lr.fit(Xt,Yt)
14     45  132.0 MiB    0.8 MiB                  predict=lr.predict(Xts)

Answer 2

还不完全清楚是要解析整个文本，还是要为每个表提供一个文本文件并解析该表。

如果您想从每个表中创建一个熊猫数据，那么使用skiprows参数到read_fwf应该可以工作(这跳过了文件中的非标准行，但解析了其余部分)。在这里，我将第一个表的内容存储到一个文件sample-1.txt中，并使用read_fwf读取它。

import pandas

df = pandas.read_fwf('sample-1.txt', skiprows=[1])

这提供了以下数据框架。

>>> df.info()
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 10 entries, 0 to 9
Data columns (total 4 columns):
Line #           10 non-null int64
Mem usage        9 non-null object
Increment        9 non-null object
Line Contents    10 non-null object
dtypes: int64(1), object(3)
memory usage: 392.0+ bytes

如果要将其拆分为不同的表，则必须在每次提到Filename: main.py时就破坏该文件。

Answer 3

还有一个解决办法。

使用TTP可以生成文本外的时间序列数据。

样本代码：

from ttp import ttp
import pprint

data_1 = """
Line #    Mem usage    Increment   Line Contents
================================================
    30    121.8 MiB    121.8 MiB   @profile(stream=f)
    31                             def parse_data(data):
    32    121.8 MiB      0.0 MiB       Y=data["price"].values
    33    121.8 MiB      0.0 MiB       Y=np.log(Y)
    34    121.8 MiB      0.0 MiB       features=data.columns
    35    121.8 MiB      0.0 MiB       X1=list(set(features)-set(["price"]))
    36    126.3 MiB      4.5 MiB       X=data[X1].values
    37    126.3 MiB      0.0 MiB       ss=StandardScaler()
    38    124.6 MiB      0.0 MiB       X=ss.fit_transform(X)
    39    124.6 MiB      0.0 MiB       return X,Y
"""

data_2 = """
Line #    Mem usage    Increment   Line Contents
================================================
    41    127.1 MiB    127.1 MiB   @profile(stream=f)
    42                             def linearRegressionfit(Xt,Yt,Xts,Yts):
    43    127.1 MiB      0.0 MiB       lr=LinearRegression()
    44    131.2 MiB      4.1 MiB       model=lr.fit(Xt,Yt)
    45    132.0 MiB      0.8 MiB       predict=lr.predict(Xts)
    46    
"""

template = """
<vars>
timestamp = "get_timestamp_iso"
</vars>

<group macro="process">
Line_N    Mem_usage    Increment   Line_Contents {{ _headers_ }}
{{ @timestamp | set(timestamp) }}
</group>

<macro>
def process(data):
    # remove ===== matches
    if "====" in data["Line_N"]:
        return False
        
    # convert Increment to integer    
    incr = data.pop("Increment").split(" ")[0]
    data["Increment_MiB"] = float(incr) if incr else 0.0
    
    # convert Mem usage to integer 
    memuse = data.pop("Mem_usage").split(" ")[0]
    data["Mem_usage_MiB"] = float(memuse) if memuse else 0.0
    
    return data
</macro>
"""

parser = ttp(template=template)
parser.add_input(data_1)
parser.add_input(data_2)
parser.parse()
res = parser.result(structure="flat_list")
pprint.pprint(res)

# will print:
# [{'@timestamp': '2020-08-01T21:57:51.734448+00:00',
#   'Increment_MiB': 121.8,
#   'Line_Contents': '@profile(stream=f)',
#   'Line_N': '30',
#   'Mem_usage_MiB': 121.8},
#  {'@timestamp': '2020-08-01T21:57:51.734448+00:00',
#   'Increment_MiB': 0.0,
#   'Line_Contents': 'def parse_data(data):',
#   'Line_N': '31',
#   'Mem_usage_MiB': 0.0},
#  {'@timestamp': '2020-08-01T21:57:51.734448+00:00',
#   'Increment_MiB': 0.0,
#   'Line_Contents': 'Y=data["price"].values',
#   'Line_N': '32',
#   'Mem_usage_MiB': 121.8},
#  {'@timestamp': '2020-08-01T21:57:51.734448+00:00',
#   'Increment_MiB': 0.0,
#   'Line_Contents': 'Y=np.log(Y)',
#   'Line_N': '33',
#   'Mem_usage_MiB': 121.8},
#  {'@timestamp': '2020-08-01T21:57:51.734448+00:00',
#   'Increment_MiB': 0.0,
#   'Line_Contents': 'features=data.columns',
#   'Line_N': '34',
#   'Mem_usage_MiB': 121.8},
#  {'@timestamp': '2020-08-01T21:57:51.734448+00:00',
#   'Increment_MiB': 0.0,
#   'Line_Contents': 'X1=list(set(features)-set(["price"]))',
#   'Line_N': '35',
#   'Mem_usage_MiB': 121.8},
#  {'@timestamp': '2020-08-01T21:57:51.734448+00:00',
#   'Increment_MiB': 4.5,
#   'Line_Contents': 'X=data[X1].values',
#   'Line_N': '36',
#   'Mem_usage_MiB': 126.3},
#  {'@timestamp': '2020-08-01T21:57:51.734448+00:00',
#   'Increment_MiB': 0.0,
#   'Line_Contents': 'ss=StandardScaler()',
#   'Line_N': '37',
#   'Mem_usage_MiB': 126.3},
#  {'@timestamp': '2020-08-01T21:57:51.734448+00:00',
#   'Increment_MiB': 0.0,
#   'Line_Contents': 'X=ss.fit_transform(X)',
#   'Line_N': '38',
#   'Mem_usage_MiB': 124.6},
#  {'@timestamp': '2020-08-01T21:57:51.734448+00:00',
#   'Increment_MiB': 0.0,
#   'Line_Contents': 'return X,Y',
#   'Line_N': '39',
#   'Mem_usage_MiB': 124.6},
#  {'@timestamp': '2020-08-01T21:57:51.738444+00:00',
#   'Increment_MiB': 127.1,
#   'Line_Contents': '@profile(stream=f)',
#   'Line_N': '41',
#   'Mem_usage_MiB': 127.1},
#  {'@timestamp': '2020-08-01T21:57:51.738444+00:00',
#   'Increment_MiB': 0.0,
#   'Line_Contents': 'def linearRegressionfit(Xt,Yt,Xts,Yts):',
#   'Line_N': '42',
#   'Mem_usage_MiB': 0.0},
#  {'@timestamp': '2020-08-01T21:57:51.738444+00:00',
#   'Increment_MiB': 0.0,
#   'Line_Contents': 'lr=LinearRegression()',
#   'Line_N': '43',
#   'Mem_usage_MiB': 127.1},
#  {'@timestamp': '2020-08-01T21:57:51.738444+00:00',
#   'Increment_MiB': 4.1,
#   'Line_Contents': 'model=lr.fit(Xt,Yt)',
#   'Line_N': '44',
#   'Mem_usage_MiB': 131.2},
#  {'@timestamp': '2020-08-01T21:57:51.738444+00:00',
#   'Increment_MiB': 0.8,
#   'Line_Contents': 'predict=lr.predict(Xts)',
#   'Line_N': '45',
#   'Mem_usage_MiB': 132.0}]

如果您将上面的数据推送到Elasticsearch以进行索引，那么使用Grafana可以很容易地将其可视化，您可以构造查询，在每行引用Line_N或Line_Contents变量的基础上显示计数器。

但是，要使上述模板工作，需要从PyPI上可用的GitHubrepo-0.3.0版本安装TTP，它没有所需的特性。不过，新版本很快就要发布了。