blocks|key|124971|text|这将适用于所有行为良好的搜索引擎，只需将其添加到<head>中即可。|type|unstyled|depth|inlineStyleRanges|offset|length|style|CODE|entityRanges|data|124972|<meta+name="robots"+content="noindex,+nofollow"+/>|code-block|syntax|javascript|124973|entityMap^0|O|6|0|0^^$0|@$1|2|3|4|5|6|7|M|8|@$9|N|A|O|B|C]]|D|@]|E|$]]|$1|F|3|G|5|H|7|P|8|@]|D|@]|E|$I|J]]|$1|K|3|-4|5|6|7|Q|8|@]|D|@]|E|$]]]|L|$]]

This will work for all well-behaving search engines, just add it to the <code>&lt;head&gt;</code>:

<pre><code>&lt;meta name="robots" content="noindex, nofollow" /&gt;
</code></pre>

blocks|key|1124147|text|如果使用Apache，我将使用mod-重写别名robots.txt到能够动态生成所需内容的脚本。|type|unstyled|depth|inlineStyleRanges|entityRanges|data|1124148|编辑:如果使用IIS，您可以使用ISAPIrewrite进行同样的操作。|offset|length|1124149|entityMap|0|LINK|mutability|MUTABLE|url|http://www.isapirewrite.com/^0|0|G|C|0|0^^$0|@$1|2|3|4|5|6|7|N|8|@]|9|@]|A|$]]|$1|B|3|C|5|6|7|O|8|@]|9|@$D|P|E|Q|1|R]]|A|$]]|$1|F|3|-4|5|6|7|S|8|@]|9|@]|A|$]]]|G|$H|$5|I|J|K|A|$L|M]]]]

If using Apache I'd use mod-rewrite to alias robots.txt to a script that could dynamically generate the necessary content.

Edit: If using IIS you could use <a href="http://www.isapirewrite.com/" rel="nofollow noreferrer">ISAPIrewrite</a> to do the same.

blocks|key|125023|text|您可以通过用生成输出的动态脚本替换robots.txt来实现它。使用Apache，您可以制定简单的.htaccess规则来实现这一点。|type|unstyled|depth|inlineStyleRanges|entityRanges|data|125024|RewriteRule++%5Erobots\.txt$+/robots.php+[NC,L]|code-block|syntax|javascript|125025|entityMap^0|0|0^^$0|@$1|2|3|4|5|6|7|I|8|@]|9|@]|A|$]]|$1|B|3|C|5|D|7|J|8|@]|9|@]|A|$E|F]]|$1|G|3|-4|5|6|7|K|8|@]|9|@]|A|$]]]|H|$]]

You can implement it by substituting robots.txt with dynamic script generating the output. 
With Apache You could make simple .htaccess rule to acheive that.

<pre><code>RewriteRule ^robots\.txt$ /robots.php [NC,L]
</code></pre>

blocks|key|124981|text|简单地说，@James的建议--在ASP.NET中，您可以使用HttpHandler将对robots.txt的调用重定向到生成内容的脚本。|type|unstyled|depth|inlineStyleRanges|entityRanges|data|124982|entityMap^0|0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]|A|$]]|$1|B|3|-4|5|6|7|E|8|@]|9|@]|A|$]]]|C|$]]

Simlarly to @James Marshall's suggestion - in ASP.NET you could use an HttpHandler to redirect calls to robots.txt to a script which generated the content.

blocks|key|825251|text|只是为了这个线程，确保你的头包含一个noindex元标签。这是告诉搜索引擎除了在robots.txt中阻塞之外不要爬行页面的另一种方式。|type|unstyled|depth|inlineStyleRanges|entityRanges|data|825252|entityMap^0|0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]|A|$]]|$1|B|3|-4|5|6|7|E|8|@]|9|@]|A|$]]]|C|$]]

Just for that thread , make sure your head contains a noindex meta tag. Thats one more way to tell search engines not to crawl your page other than blocking in robots.txt

blocks|key|1124419|text|请记住，robots.txt的不允许不会阻止谷歌为具有外部站点链接的页面建立索引，它所做的只是防止内部爬行。见http://www.webmasterworld.com/google/4490125.htm或http://www.stonetemple.com/articles/interview-matt-cutts.shtml。|type|unstyled|depth|inlineStyleRanges|entityRanges|offset|length|data|1124420|entityMap|0|LINK|mutability|MUTABLE|url|http://www.webmasterworld.com/google/4490125.htm|1|http://www.stonetemple.com/articles/interview-matt-cutts.shtml^0|1J|1C|0|2W|1Q|1|0^^$0|@$1|2|3|4|5|6|7|N|8|@]|9|@$A|O|B|P|1|Q]|$A|R|B|S|1|T]]|C|$]]|$1|D|3|-4|5|6|7|U|8|@]|9|@]|C|$]]]|E|$F|$5|G|H|I|C|$J|K]]|L|$5|G|H|I|C|$J|M]]]]

Just keep in mind that a robots.txt disallow will NOT prevent Google from indexing pages that have links from external sites, all it does is prevent crawling internally. See <a href="http://www.webmasterworld.com/google/4490125.htm" rel="nofollow">http://www.webmasterworld.com/google/4490125.htm</a> or <a href="http://www.stonetemple.com/articles/interview-matt-cutts.shtml" rel="nofollow">http://www.stonetemple.com/articles/interview-matt-cutts.shtml</a>.

blocks|key|829336|text|您可以不允许搜索引擎读取或索引您的内容，限制机器人元标签。这样，蜘蛛就会考虑你的指令，并且只对你想要的页面进行索引。|type|unstyled|depth|inlineStyleRanges|entityRanges|data|829337|entityMap^0|0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]|A|$]]|$1|B|3|-4|5|6|7|E|8|@]|9|@]|A|$]]]|C|$]]

You can disallow search engines to read or index your content by restricting robot meta tags. In this way, spider will consider your instructions and will index only such pages that you want.

blocks|key|125062|text|使用此代码通过robots.txt阻止动态网页|type|unstyled|depth|inlineStyleRanges|entityRanges|data|125063|用户代理：*|125064|不允许:+/setnewsprefs？|125065|不允许:+/index.html？|125066|不允许:+/？|125067|允许:+/?hl=|125068|不允许:+/?hl=*&|125069|entityMap^0|0|0|0|0|0|0|0^^$0|@$1|2|3|4|5|6|7|P|8|@]|9|@]|A|$]]|$1|B|3|C|5|6|7|Q|8|@]|9|@]|A|$]]|$1|D|3|E|5|6|7|R|8|@]|9|@]|A|$]]|$1|F|3|G|5|6|7|S|8|@]|9|@]|A|$]]|$1|H|3|I|5|6|7|T|8|@]|9|@]|A|$]]|$1|J|3|K|5|6|7|U|8|@]|9|@]|A|$]]|$1|L|3|M|5|6|7|V|8|@]|9|@]|A|$]]|$1|N|3|-4|5|6|7|W|8|@]|9|@]|A|$]]]|O|$]]

block dynamic webpage by robots.txt use this code 

<hr>

User-agent: *

Disallow: /setnewsprefs?

Disallow: /index.html?

Disallow: /?

Allow: /?hl=

Disallow: /?hl=*&amp;

Let's say I have a web site for hosting community generated content that targets a very specific set of users. Now, let's say in the interest of fostering a better community I have an off-topic area where community members can post or talk about anything they want, regardless of the site's main theme.

Now, I want most of the content to get indexed by Google. The notable exception is the off-topic content. Each thread has it's own page, but all the threads are listed in the same folder so I can't just exclude search engines from a folder somewhere. It has to be per-page. A traditional robots.txt file would get huge, so how else could I accomplish this?

Dynamic robots.txt

翻译质量差，导致语言生硬或混乱。

没有提供实际的解决方法或示例。

解答不清晰，无法理解或解决问题。

页面排版不美观，阅读体验差。

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云AI代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

功能1上新10个字符

功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符。

功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符。

功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符

功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符

功能4上新

文章&问答评论现已支持表情

全新交互，全新视觉，新增快捷键、悬浮工具栏、高亮块等功能并同时优化现有功能，全面提升创作效率和体验

社区富文本编辑器全新改版！诚邀体验～ 

精选全网热门MCP server，让你的AI更好用 🚀

💥开发者 MCP广场重磅上线！

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

假设我有一个用于托管社区生成的内容的网站，该网站针对的是一组非常特定的用户。现在，让我们说，为了促进一个更好的社区，我有一个非主题的领域，社区成员可以张贴或谈论任何他们想要的，无论网站的主题。现在，我希望大部分内容被谷歌索引。值得注意的例外是非主题内容。每个线程都有自己的页面，但是所有的线程都列在同一个文件夹中，所以我不能将搜索引擎排除在某个文件夹之外。必须是每页。一个传统的robots.txt文

问动态robots.txt
EN

回答 8

Stack Overflow用户

Stack Overflow用户

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问动态robots.txtEN

回答 8

Stack Overflow用户

Stack Overflow用户

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问动态robots.txt
EN