为需要在查看任何内容之前登录的网站制作搜索引擎爬虫的站点地图

Question

我有一个php mysql网站，它要求用户在第一页(主页)注册，然后只有他们可以浏览网站的内容。如果用户没有登录，并且仅在登录时显示内容，则每个页面都会生成一个登录表单。唯一能注册的IP是我们学院的无线网络。

因此，我需要一个网站地图或其他方式，以便爬虫(每个搜索引擎)可以查看网站的内容，这需要登录。请只发布接受的或合乎道德的方式。

我目前在我的网站内没有搜索，所以用户将无法通过它找到内容，所以我希望他们能够轻松地通过搜索引擎使用“搜索文本mydomain.com”。

我读过这个this stackoverflow question，但没有找到解决方案。

Answer 1

也许Google自定义/站点/企业搜索是一种选择：

gss.html

它可以访问安全内容：

http://support.google.com/gsa/bin/answer.py?hl=en&answer=15855

Answer 2

我相信你指的是内部网。为仅供特定用户查看的域创建XML、meta标记或robots.txt文件是完全多余的。你根本不需要。如果他们有一个登录帐户，他们必须知道网站的存在。

这就像给你想象中的朋友起了个名字。;)

Answer 3

只有授权用户才能看到的内容，不应该被任何人看到，包括搜索引擎。

如果你想让你的用户搜索你的网站，你应该在你的用户区域添加搜索功能。这与Goodle或任何搜索引擎无关。