Google App Engine批量下载

Question

我使用批量下载从数据存储下载数据(超过1 GB)。突然，我的互联网停止工作，下载过程在中途停止。我想从它停止的地方继续。当我尝试时，我得到以下错误

File "/Users/FYP/GoogleAppEngineLauncher.app/Contents/Resources/GoogleAppEngine-default.bundle/Contents/Resources/google_appengine/google/appengine/api/datastore_types.py", line 156, in ValidateString
    (name, value, typename(value)))
BadArgumentError: kind should be a string; received 3 (a int):
[INFO    ] [WorkerThread-2] Backing off due to errors: 1.0 seconds
[INFO    ] An error occurred. Shutting down...
[ERROR   ] Error in WorkerThread-0: kind should be a string; received 3 (a int):

这是我下载数据的代码

appcfg.py download_data --config_file=bulkloader.yaml --batch_size=200 --filename=final80_2.csv 
--kind=TasksTime1 --url=http://abc.appspot.com/_ah/remote_api --rps_limit=40 
--db_filename=bulkloader-progress-20110429.141103 --result_db_filename=bulkloader-results-20110429.141103

如何解决这个问题？

Answer 1

只需重新运行相同的命令。每个the docs

如果传输中断，您可以使用--db_filename=...从中断的位置恢复传输。论点。该值是该工具创建的进度文件的名称，可以是您在开始传输时使用--db_filename参数提供的名称，也可以是包含时间戳的默认名称。这里假设您已经安装了sqlite3，并且没有使用--db_filename=skip禁用进度文件。

您在第一次执行时指定了一个db_filename，因此如果您重新运行该命令，它应该会找到现有的文件并从它停止的地方继续执行。

Answer 2

我也遇到过同样的问题：

Error in WorkerThread-0: kind should be a string; received 3 (a int)

删除所有*.sql3和*.csv文件会阻止此错误的发生。显然，是的，恢复是中断的，但如果你想再次批量下载，你必须禁用它。

当然，我们通常将批量加载器命令包装在一个函数中，以便事先清理这些文件。