对于使用新版本id生成的文档，我应该如何处理旧URL？Robots.txt，301个重定向，还是创建永久URL？

Question

我正在工作的网站有大约800个产品，其中一些可以有多达2000 PDF和CAD图纸每个。

指向这些PDF和CAD文件的链接被组合成一个对象，然后链接到一个具有url结构的产品页面：

$domain/downloads/download/product/$combination_id

由于有这么多的图纸，我们已经创建了一个系统，它将完全删除组合并重新生成它们(在此过程中生成新的组合_id)。

我已经要求谷歌不要索引这些URL，它们不会出现在有机搜索结果中。

然而，Google网站管理员工具最近对该站点进行了索引，并为已删除的旧组合ids提供了大量404。

我的问题是，我是否应该：

1. 用下载/下载/产品robots.txt规则阻止这些urls？
2. 创建301重定向的每一个旧组合，然后必须更新，每当一个新版本的绘图被添加？
3. "Slugify“的组合_id，以便它们不会改变时，图纸被更新，并创建301重定向的所有现有组合。

Answer 1

听起来，这实际上只是(许多)正在更新的页面(包括PDF和CAD文件)，而不是一个全新的页面--尽管这似乎就是您目前实现这一功能的方式。

因此，我认为URL应该保持一致，而不是改变。因此，这与您的选项#3有关："Slugify的组合_id，这样它们就不会改变“。您需要为所有“旧”URL(组合ID)实现301重定向。

如果您用robots.txt阻止了旧的URL，那么URL本身仍然可以保留索引很长一段时间，因为重定向不会被看到。当然，除非你的意图是阻止所有的产品URL(但我不认为你真的是在暗示)？