无法找到我博客的确切源代码

Question

我参与了一个项目，在那里我处理网页的HTML解析。于是，我拿起我的博客 (博客博客-动态模板)，试着阅读它的内容。不幸的是，我没有看到博客网页的“实际”来源。

以下是我观察到的情况：

1. 我点击了view source在我的博客上的一篇随机文章，并试图找到其中的内容。我什么也找不到。都是JavaScript干的。
2. 所以，我把网页保存到我的笔记本电脑，并再次检查源代码，这一次我找到了内容。
3. 我还在浏览器中使用developers tools检查了源代码，并再次找到了其中的内容。
4. 现在，我试着用蟒蛇的方式 从bs4导入urllib = BeautifulSoup( urllib.urlopen(“my urllib.urlopen”))打印soup.prettify() 我甚至没有在里面找到HTML代码中的内容。

最后，为什么我无法在case1 4的源代码中找到内容。

我应该如何获得实际的HTML代码？我希望听到任何能够完成这项工作的python库。

Answer 1

内容通过JavaScript (AJAX)加载。不是在“来源”里。

在步骤2中，您保存的是结果页，而不是原始源。在步骤3中，您将看到浏览器呈现的内容。

步骤1和步骤4“不工作”，因为您正在获取页面的源(它不包含内容)。您需要实际运行JavaScript，这对于屏幕刮板来说并不容易。