在超大型文件中搜索(开放学术图表/微软学术图表)

Question

我下载了三种不同的MAG (Microsoft-学术图表)-Files

1. MAG场馆(~ 10 MAG)
2. MAG论文(~ 30 MAG)
3. MAG作者(~ 30 MAG)

来自开放学术图

现在，我想从MAG File中搜索ID，以获得关于作者出版物的更多信息(~30 of )。

问题是：

我试图使用Python搜索文件中的ID，例如：

import ast
import timeit

with open("/Users/xyxz/Downloads/mag_authors_2/mag_authors_10.txt") as f:
    for line in f:
        xy = ast.literal_eval(line)
        if(xy["id"] == "2806941709"):
            print(xy)

时间: 85秒

有人能帮我在搜索中得到更多的表演吗？C或C++更快吗？

Answer 1

1. 您可以将一个大文件拆分为多个内容，在每个内容中使用多个线程进行搜索。
2. 使用编译的regex或KMP搜索algo。