blocks|key|2336370|text|如果您熟悉Python，那么刮痕是可用的。有一个学习曲线，因为它是一个完整的爬行和屏幕抓取框架。它应该能做你想做的事。以下是模拟用户登录的文档链接。它还支持用户代理欺骗，因此它可以看起来是一个浏览器。它将遇到的一件事是与动态内容(即JavaScript)交互。|type|unstyled|depth|inlineStyleRanges|entityRanges|offset|length|data|2336371|如果您想要一些非常简单的东西，请尝试刮伤。我已经在几个项目中使用过它，它已经能够完成这项工作。它更像是一个刮刀器，所以你必须自己添加爬行逻辑。|2336372|entityMap|0|LINK|mutability|MUTABLE|url|http://scrapy.org/|1|http://doc.scrapy.org/topics/request-response.html#topics-request-response-ref-request-userlogin|2|http://zesty.ca/scrape/^0|E|2|0|1Q|6|1|0|I|2|2|0^^$0|@$1|2|3|4|5|6|7|R|8|@]|9|@$A|S|B|T|1|U]|$A|V|B|W|1|X]]|C|$]]|$1|D|3|E|5|6|7|Y|8|@]|9|@$A|Z|B|10|1|11]]|C|$]]|$1|F|3|-4|5|6|7|12|8|@]|9|@]|C|$]]]|G|$H|$5|I|J|K|C|$L|M]]|N|$5|I|J|K|C|$L|O]]|P|$5|I|J|K|C|$L|Q]]]]

If you're familiar with Python then <a href="http://scrapy.org/" rel="nofollow">Scrapy</a> is available. 
There is a learning curve involved because it's a full crawling and screen scraping framework.
It should be capable of doing what you require. Here is a documentation link for <a href="http://doc.scrapy.org/topics/request-response.html#topics-request-response-ref-request-userlogin" rel="nofollow">simulating user logins</a>. It also supports user-agent spoofing so it can appear to be a browser. One thing it will have trouble with is interacting with dynamic content (i.e. JavaScript).

If you want something really simple try <a href="http://zesty.ca/scrape/" rel="nofollow">scrape</a>. I've used it on a few projects and it's been able to do the job. It's more of a scraper so you'd have to add the crawling logic yourself.

blocks|key|2336440|text|惠特支持身份验证和其他大多数支持web的技术。因为该软件在控制台上工作，所以可以使用您选择的语言包装它(输入/输出)。|type|unstyled|depth|inlineStyleRanges|entityRanges|offset|length|data|2336441|您也可以使用它作为一个实用程序，就像现在一样，不需要任何额外的编程，以获得您认为需要的几个页面。例如，医生们显示了在HTTP服务器上进行身份验证的行选项--http-user=user和--http-password=password。|style|CODE|2336442|事实上，该网站指出：|2336443|它是一个非交互式的命令行工具，因此可以很容易地从脚本、cron作业、没有terminals支持的终端调用它。|blockquote|2336444|它可以在大多数平台上运行。|2336445|entityMap|0|LINK|mutability|MUTABLE|url|http://www.gnu.org/software/wget/|1|http://www.gnu.org/software/wget/manual/wget.html|2|http://wget.addictivecode.org/FrequentlyAskedQuestions?action=show&redirect=Faq#download^0|0|2|0|0|24|G|2L|O|1F|3|1|0|0|0|4|5|2|0^^$0|@$1|2|3|4|5|6|7|10|8|@]|9|@$A|11|B|12|1|13]]|C|$]]|$1|D|3|E|5|6|7|14|8|@$A|15|B|16|F|G]|$A|17|B|18|F|G]]|9|@$A|19|B|1A|1|1B]]|C|$]]|$1|H|3|I|5|6|7|1C|8|@]|9|@]|C|$]]|$1|J|3|K|5|L|7|1D|8|@]|9|@]|C|$]]|$1|M|3|N|5|6|7|1E|8|@]|9|@$A|1F|B|1G|1|1H]]|C|$]]|$1|O|3|-4|5|6|7|1I|8|@]|9|@]|C|$]]]|P|$Q|$5|R|S|T|C|$U|V]]|W|$5|R|S|T|C|$U|X]]|Y|$5|R|S|T|C|$U|Z]]]]

<a href="http://www.gnu.org/software/wget/" rel="nofollow">Wget</a> supports authentication and most other web-enabling technologies. Because the software works on the Console you can wrap it (input/output) using your language of choice.

You can also use it as a utility, as is, without any additional programming, to get the few pages you said you need. For example <a href="http://www.gnu.org/software/wget/manual/wget.html" rel="nofollow">the docs</a> show the command the line options <code>--http-user=user</code> and <code>--http-password=password</code> to authenticate on an HTTP server.

In fact the website states:

<blockquote>
 It is a non-interactive commandline
 tool, so it may easily be called from
 scripts, cron jobs, terminals without
 X-Windows support, etc.
</blockquote>

It's available to run on <a href="http://wget.addictivecode.org/FrequentlyAskedQuestions?action=show&amp;redirect=Faq#download" rel="nofollow">most platforms</a>.

blocks|key|1139735|text|一个著名的工具是BeautifulSoup+(在Python中)。这里有一个例子：|type|unstyled|depth|inlineStyleRanges|entityRanges|data|1139736|http://lethain.com/entry/2008/aug/10/an-introduction-to-compassionate-screenscraping/和这里：|offset|length|1139737|我在哪里可以找到一些“你好世界”-simple美丽汤的例子？|1139738|entityMap|0|LINK|mutability|MUTABLE|url|http://lethain.com/entry/2008/aug/10/an-introduction-to-compassionate-screenscraping/|1|https://stackoverflow.com/questions/821173/where-can-i-find-some-hello-world-simple-beautiful-soup-examples^0|0|0|2D|0|0|0|U|1|0^^$0|@$1|2|3|4|5|6|7|R|8|@]|9|@]|A|$]]|$1|B|3|C|5|6|7|S|8|@]|9|@$D|T|E|U|1|V]]|A|$]]|$1|F|3|G|5|6|7|W|8|@]|9|@$D|X|E|Y|1|Z]]|A|$]]|$1|H|3|-4|5|6|7|10|8|@]|9|@]|A|$]]]|I|$J|$5|K|L|M|A|$N|O]]|P|$5|K|L|M|A|$N|Q]]]]

A well known tool is BeautifulSoup (in Python).
An example here : 
 <a href="http://lethain.com/entry/2008/aug/10/an-introduction-to-compassionate-screenscraping/" rel="nofollow noreferrer">http://lethain.com/entry/2008/aug/10/an-introduction-to-compassionate-screenscraping/</a>
and here : 
<a href="https://stackoverflow.com/questions/821173/where-can-i-find-some-hello-world-simple-beautiful-soup-examples">Where can I find some &quot;hello world&quot;-simple Beautiful Soup examples?</a>

blocks|key|2336516|text|我用机械化写我的。它又好又简单，甚至内置了对跟踪robots.txt的支持，我认为这对爬虫很重要。|type|unstyled|depth|inlineStyleRanges|entityRanges|offset|length|data|2336517|下面是如何提取链接：|2336518|b+=+mechanize.Browser()
b.open('some-url')
links+=+b.links()|code-block|syntax|javascript|2336519|当然，您必须为实际的爬行编写代码，并处理递归的深度。|2336520|entityMap|0|LINK|mutability|MUTABLE|url|http://wwwsearch.sourceforge.net/mechanize/^0|2|3|0|0|0|0|0^^$0|@$1|2|3|4|5|6|7|U|8|@]|9|@$A|V|B|W|1|X]]|C|$]]|$1|D|3|E|5|6|7|Y|8|@]|9|@]|C|$]]|$1|F|3|G|5|H|7|Z|8|@]|9|@]|C|$I|J]]|$1|K|3|L|5|6|7|10|8|@]|9|@]|C|$]]|$1|M|3|-4|5|6|7|11|8|@]|9|@]|C|$]]]|N|$O|$5|P|Q|R|C|$S|T]]]]

I wrote mine using <a href="http://wwwsearch.sourceforge.net/mechanize/" rel="nofollow">mechanize</a>. Its nice and simple, and even has built-in support for following robots.txt, which I find important for crawlers.

Here is how you'd extract links:

<pre><code>b = mechanize.Browser()
b.open('some-url')
links = b.links()
</code></pre>

Of course, you'd have to write the code for the actual crawling, and also handle the depth of recursion.

I need a tool that

<ol>
<li>logs in a website (inserting name and password in a form)</li>
<li>once logged in downloads a few HTML pages I need</li>
</ol>

Such tool will need to run on Linux, and it would be great if such tool looks like a common browser to HTTP server.

What tools/libraries could I use?

What tools/libraries to write a crawler

翻译质量差，导致语言生硬或混乱。

没有提供实际的解决方法或示例。

解答不清晰，无法理解或解决问题。

页面排版不美观，阅读体验差。

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云AI代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

功能1上新10个字符

功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符。

功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符。

功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符

功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符

功能4上新

文章&问答评论现已支持表情

全新交互，全新视觉，新增快捷键、悬浮工具栏、高亮块等功能并同时优化现有功能，全面提升创作效率和体验

社区富文本编辑器全新改版！诚邀体验～ 

精选全网热门MCP server，让你的AI更好用 🚀

💥开发者 MCP广场重磅上线！

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

我需要一个工具登录网站(在表单中插入名称和密码)一旦登录下载我需要的几个HTML页面这样的工具需要在Linux上运行，如果这种工具看起来像HTTP服务器上的通用浏览器，那就太好了。我可以使用哪些工具/库？

问写爬虫的工具/库是什么？
EN

回答 4

Stack Overflow用户

Stack Overflow用户

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问写爬虫的工具/库是什么？EN

回答 4

Stack Overflow用户

Stack Overflow用户

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问写爬虫的工具/库是什么？
EN