domain.com/index.html之类的urls来自何处，以及如何修复404

Question

因此，出于某种原因，爬虫会在现有URL和报告404的末尾使用"/index.html"获取URL。

示例：

domain.com/index.html 
domain.com/pricing/index.html 
domain.com/solutions/index.html 
domain.com/solutions/project-management/index.html

问题是，在我们的网站上，我们有例如"domain.com/pricing"。但我们没有真正的"domain.com/pricing/index.html"。

我想知道：

1. 是什么原因导致这些URL首先出现在搜索引擎上呢？
2. 有没有快速修复方法将类似"domain.com/whatever/index.html"的内容重定向到"domain.com/whatever"？

这件事已经困扰我一段时间了！

Answer 1

在我看来，不允许Google索引页面的最佳选择是添加meta：

<meta name="robots" content="noindex">
<meta name="googlebot" content="noindex">

要重定向，必须通过cPanel完成