从

Question

我有100个网站，有RSS源暴露在不同的位置。这些位置有几个RSS提要链接，指向不同的提要。它与BBC Rss提要页面http://www.bbc.com/news/10628494几乎相同。

站点1: domain1.com/rss站点2: domain2.com/enviroments/rss

是否有任何方法提取到每个提要xml的rss链接。

有些类似于这个自动从网页中提取提要链接(原子、rss等)，但我只想给网站。这样我就可以得到特定站点的所有可能的rss提要。

我想有一个从100个网站的所有rss源的列表。这样我就可以在仪表盘上监视他们了。哦，提要aee混合了位、原子和rss。

我所做的一切。我研究过apache和解析提要插件。刮痕是下一个选择，但我仍然不确定我在寻找什么。

Answer 1

一般来说，提供RSS提要的网站至少在首页的标题中指明了这一点，其中有些是每一个页面。

有一个RSS提要的例子：

<link href="http://snapwebsites.org/rss.xml"
      title="Snap! A C++ Open Source CMS RSS"
      type="application/rss+xml"
      rel="alternate">

请注意，类型将略有不同的网站。例如，一些网站可能使用text而不是application (这是错误的，但XML是文本.)还有application/atom+xml。您也可以使用这两种格式。

如果这是不可用的，那么您必须检查主页或其他页面，以获得指向RSS提要的锚链接，这意味着：

• 解析HTML
• 寻找锚
• 读取href属性
• 检查目标是否返回XML文件。
• 如果您得到一个xml文件(以<?xml ...开头)，那么检查根标记：

1. ' RSS‘-- RSS格式(版本是一个属性)
2. ‘'feed’--原子格式

下面的页面中有一个示例，其中在标题中包含了<link ...>标记：

http://snapwebsites.org/implementation/feature-requirements/feed-feature-core-atom-rss-20-etc

我不得不说，如果没有这个链接，就很难找到RSS提要了。尽管如此，在许多网站上，提要文件使用的是扩展名(.rss、.atom、.xml)，可以用来简化搜索。然而，越来越多的提要看起来像目录名(.../blah或.../foo无法与标准的HTML页面或提要区分开来，因此唯一的方法是在目的地读取文件并检查文件格式；HTTP的Content-Type也应该是application/rss+xml或application/atom+xml .类似于头链接type=...属性)

顺便提一句，虽然不太可能(我还没有在现场网站上看到)，但可以使用HTTP报头来表示.链接就像在header中找到的<link ...>标记一样。如果您可以访问header (下面是如何在PHP中执行此操作)，那么值得查找这些标头，看看其中一个是否是RSS。