将数据附加到ScraperWiki数据存储

Question

下面是一个简单的Python脚本，用于在ScraperWiki中存储一些数据：

import scraperwiki
scraperwiki.sqlite.save(unique_keys=["a"], data={"a":1, "b":"Foo"})
scraperwiki.sqlite.save(unique_keys=["a"], data={"a":1, "c":"Bar"})

结果是数据存储中的下表：

a  b  c
1     Bar

这很烦人，因为在我的第二个sqlite.save命令中，我没有指定"b":""或任何其他类似的东西来将第1行的"b“列的内容空白。换句话说，我希望的结果是在数据存储中得到以下表：

a  b    c
1  Foo  Bar

因此，我的问题是:在对数据存储使用连续的“保存”操作时，在不覆盖现有数据的情况下添加数据的最佳方法是什么？

Answer 1

我对这个问题的解决方案是用对字典的Python字典的连续修改来替换连续的保存操作:数据存储的预定内容的每一行都有一个子字典。使用字典而不是字典列表可以更容易地写入相关的子词典，尽管有两个小麻烦：

• 在词典中复制唯一的键；
• 在保存到数据存储之前，需要从字典字典中生成字典列表，因为Scraperwiki数据存储(IIUC)不是接受前一个结构，而是接受后者。

注意：对于大量的数据行，在一次操作中将字典列表保存到数据存储比迭代这些字典并一次保存到数据存储要快得多。

代码示例：

import scraperwiki
superdictionary = {}
superlist       = []
superdictionary['1'] = {"a":1, "b":"Foo"}
superdictionary['1'].update({"c":"Bar"})
superdictionary['2'] = {"a":2, "b":"Grue", "c":"Gnu"}

for subdictionary in superdictionary:
    superlist.append(superdictionary[subdictionary])
scraperwiki.sqlite.save(["a"], superlist)

应产生：

a  b     c
1  Foo   Bar
2  Grue  Gnu

Answer 2

我和你有同样的问题，发现你的答案非常有用。不过，我不得不稍微修改一下您的代码，才能让它正常工作。具体来说，我把你的第5行改为：

superdictionary['1'].update({"c":"Bar"})

然后产生所需的结果。