对于我的链接抓取程序(用python3.3编写),我想使用一个数据库来存储大约100.000个网站:
我不了解数据库,但发现以下内容可能符合我的目的:
我对速度(访问数据库和获取想要的信息)感兴趣。例如:对于网站x,属性y是否存在,如果有,请阅读。当然,写作的速度也很重要。
我的问题是:在速度上有很大的差异吗?还是对我的小程序不重要?也许有人可以判断哪个数据库符合我的要求(并且易于使用Python)。
发布于 2013-08-06 20:50:40
发布于 2013-08-06 18:49:41
如果速度是主要的标准,那么我建议使用内存数据库.看看http://docs.python.org/2/library/sqlite3.html
它也可以用作正常的数据库,因为内存模式使用下面的方式,数据库应该在RAM本身中创建,因此运行时访问要快得多。
import sqlite3
conn = sqlite3.connect(':memory:')https://stackoverflow.com/questions/18087430
复制相似问题