首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >sqlite插入,而删除完全复制

问sqlite插入,而删除完全复制
EN

Stack Overflow用户
提问于 2015-06-07 18:40:40
回答 3查看 46关注 0票数 0

我正在爬行一些网站并将结果存储在sqlite中,因为我的爬行可能每个月都会重复,但是我不想将重复的结果存储在我的数据库中,我应该怎么办?

例如,我第一次

代码语言:javascript
复制
insert into tableName(A, B, C, D, E) values(a,b,c,d,e) 

然后我的数据库会有这个记录,下次我爬这个网站的时候,我也会这样做,但是我不想存储重复的结果,我能做的最好的方法是什么?

另外,如果我使用的是MySQL,该怎么办?

EN

回答 3

Stack Overflow用户

回答已采纳

发布于 2015-06-07 19:09:05

使用sqlite,使用唯一约束创建表

代码语言:javascript
复制
CREATE TABLE tableName (A INTEGER, B INTEGER, C INTEGER, D INTEGER, E INTEGER,
UNIQUE (A, B, C, D, E));

然后

代码语言:javascript
复制
INSERT OR IGNORE INTO tableName (A, B, C, D, E) values (a,b,c,d,e);

是独一无二的 --即没有出现在表tableName中。

转到向已经存在的表中添加唯一索引

代码语言:javascript
复制
CREATE UNIQUE INDEX unique_idx on tableName(A, B, C, D, E);

或者,使用MySQL,创建一个具有唯一索引的表

代码语言:javascript
复制
CREATE TABLE tableName (A INT, B INT, C INT, D INT, E INT,
UNIQUE KEY unique_idx (A, B, C, D, E))

然后是使用插入忽略

代码语言:javascript
复制
INSERT IGNORE INTO tableName (A, B, C, D, E) values (a,b,c,d,e) 

转到向已经存在的表中添加唯一的键索引

代码语言:javascript
复制
ALTER TABLE tableName ADD UNIQUE KEY unique_idx (A, B, C, D, E); 
票数 1
EN

Stack Overflow用户

发布于 2015-06-07 18:45:33

您可以使用insert ignore

SQLite

代码语言:javascript
复制
insert or ignore into tableName(A, B, C, D, E) values(a,b,c,d,e) 

MySQL

代码语言:javascript
复制
insert ignore into tableName(A, B, C, D, E) values(a,b,c,d,e) 

注意,这两种代码之间的区别是或,它们并不相同。

只有当他们有某种主键时,这才能起作用。

票数 1
EN

Stack Overflow用户

发布于 2015-06-07 18:46:54

您可以创建一个临时/辅助表,比如temp_tableName,它具有与tableName相同的模式。当爬行的时候

代码语言:javascript
复制
insert into temp_tableName select * from tableName;

delete from tableName;

insert into tableName(A, B, C, D, E) values(a,b,c,d,e)  

需要辅助表,因为如果爬行插入失败,则需要存储备份。此外,为了原子性,可以考虑在DELETE/INSERT块中执行Transaction步骤。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/30697139

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档