考虑到我有一些网页的静态模块(部分)。有没有一种方法可以在CDN中缓存它们,只缓存那些而不缓存动态部分?
使用javascript加载这些静态部分(向可以缓存在CDN中的特定URL发送ajax请求)将是一种解决方案,但是搜索引擎爬虫将无法读取它们,没有启用javascript的用户也是如此。
您是否遇到过这种情况?如果遇到过,您将如何解决页面上静态模块的缓存问题?
发布于 2013-08-29 21:40:21
当然,假设我的问题是正确的,您可以使用缓存头来创建特定于对象的规则(http://www.mobify.com/blog/beginners-guide-to-http-cache-headers/)
我实际上在一家安全CDN公司工作,我们有行为学习算法,可以为你做这项工作。还有其他解决方案,最常见的是您将拥有一个GUI,您可以在其中指定缓存行为。
尽管如此,头文件仍然是最标准的(尽管技术含量较低)的解决方案。
发布于 2013-08-29 15:01:47
我会想一个解决方案,在服务器上读取请求头,检查它是否包含来自爬虫程序的元素(例如:https://support.google.com/webmasters/answer/1061943?hl=en ),并以不同的方式呈现内容。总而言之,我可以告诉用户:嘿,只能在启用javascript的情况下访问我的网站,但我真的不能告诉爬虫。
https://stackoverflow.com/questions/18504261
复制相似问题