我有一个春天启动网络项目,需要与网络爬虫系统的工作。我的爬虫服务在没有任何停机时间的情况下工作,每个爬虫请求可能有很长的处理时间。我想通过一个REST接口获取抓取的URL。我的web应用程序中的用户将URL列表提交给web应用程序,我想向他/她显示:您的请求已提交。完成此请求的爬网后,我希望更新web表单中的请求状态。实现此场景的最佳方法是什么?
发布于 2020-10-22 12:39:43
如果在您的URL提交之后,您向客户端返回一个令牌,因此从客户端可以使用令牌随时(例如每分钟)调用REST接口,以请求爬行的状态,该怎么办?
https://stackoverflow.com/questions/64475298
复制相似问题