我正在爬行一些网站并将结果存储在sqlite中,因为我的爬行可能每个月都会重复,但是我不想将重复的结果存储在我的数据库中,我应该怎么办?
例如,我第一次
insert into tableName(A, B, C, D, E) values(a,b,c,d,e) 然后我的数据库会有这个记录,下次我爬这个网站的时候,我也会这样做,但是我不想存储重复的结果,我能做的最好的方法是什么?
另外,如果我使用的是MySQL,该怎么办?
发布于 2015-06-07 19:09:05
使用sqlite,使用唯一约束创建表
CREATE TABLE tableName (A INTEGER, B INTEGER, C INTEGER, D INTEGER, E INTEGER,
UNIQUE (A, B, C, D, E));然后
INSERT OR IGNORE INTO tableName (A, B, C, D, E) values (a,b,c,d,e);是独一无二的 --即没有出现在表tableName中。
CREATE UNIQUE INDEX unique_idx on tableName(A, B, C, D, E);或者,使用MySQL,创建一个具有唯一索引的表
CREATE TABLE tableName (A INT, B INT, C INT, D INT, E INT,
UNIQUE KEY unique_idx (A, B, C, D, E))然后是使用插入忽略
INSERT IGNORE INTO tableName (A, B, C, D, E) values (a,b,c,d,e) ALTER TABLE tableName ADD UNIQUE KEY unique_idx (A, B, C, D, E); 发布于 2015-06-07 18:45:33
您可以使用insert ignore
SQLite
insert or ignore into tableName(A, B, C, D, E) values(a,b,c,d,e) MySQL
insert ignore into tableName(A, B, C, D, E) values(a,b,c,d,e) 注意,这两种代码之间的区别是或,它们并不相同。
只有当他们有某种主键时,这才能起作用。
发布于 2015-06-07 18:46:54
您可以创建一个临时/辅助表,比如temp_tableName,它具有与tableName相同的模式。当爬行的时候
insert into temp_tableName select * from tableName;
delete from tableName;
insert into tableName(A, B, C, D, E) values(a,b,c,d,e) 需要辅助表,因为如果爬行插入失败,则需要存储备份。此外,为了原子性,可以考虑在DELETE/INSERT块中执行Transaction步骤。
https://stackoverflow.com/questions/30697139
复制相似问题