从Scrapinghub下载项目的源代码

Question

我在甲壳虫上部署了一个项目，我根本没有该代码的任何副本。

如何在本地主机上从Scrapinghub下载整个项目的代码？

Answer 1

我能够下载项目代码

shub fetch-eggs project_id_here

当项目打开时，可以从浏览器URL抓取project_id_here。

生成的文件将是一个*.egg，只需像使用WinRAR或任何其他工具一样提取它。

附加注意事项：- SHUB不存在对用户友好的错误，一旦我使用不同的帐户登录到shub，并试图下载另一个不同帐户的项目，所以请确保您登录到项目所在的相同的剪贴帐户中。

Answer 2

据我所知，目前还没有用于检索Scrapy上的项目源代码的公共API。(如果错了，请纠正我。)

但是，不需要额外的权限就可以检索项目源代码。

当作业运行时，与项目相关的文件位于/app路径中：

job-<some-job-id>:/app$ ls -la /app                                                                                                                                                                                                                                                                                              
total 48                                                                                                                                                                                                                                                                                                                      
drwxr-xr-x  5 root   root     4096 Jul 27 17:13 .                                                                                                                                                                                                                                                                             
drwxr-xr-x 82 root   root     4096 Jul 28 04:09 ..                                                                                                                                                                                                                                                                            
-rw-r--r--  1 root   root    26695 Jul 27 17:13 __main__.egg                                                                                                                                                                                                                                                                  
drwxr-xr-x  2 nobody nogroup  4096 May 23 07:34 addons_eggs                                                                                                                                                                                                                                                                   
drwxr-xr-x  2 nobody nogroup  4096 Jul 24 14:27 python                                                                                                                                                                                                                                                                        
-rw-r--r--  1 root   root       14 Jul 24 14:27 requirements.txt

其中，文件__main__.egg包含所有项目源代码。

因此，你可以：

1. 选择一个当前正在运行的作业，访问它的控制台：[ id]/console
2. 将.egg文件发送到稍后可能检索的某个位置，例如curl http://IP-address-of-your-own-server:8888/retrieve-file --data-binary @/app/__main__.egg (假设您已经为接收数据做好了服务准备)。

或者，我认为您可以随时联系Scrapinghub支持部门寻求帮助。