国产网络爬虫的问题
国产网络爬虫的问题
提问于 2009-01-02 09:00:04
我已经在C++中建立了一个网络爬虫。我正在使用一个名为URLdownloadToFile()的API。
- 还有其他可以使用的API吗？
- API
URLdownloadToFile()对于某些URL运行良好，而对于其他URL却不能正常工作吗？请提出一些我能克服这个问题的方法？
谢谢，Dnyaneshwari C.
回答 3
Stack Overflow用户
发布于 2009-01-02 09:58:27
您可能需要查看libcurl，它应该允许您使用各种协议来提取内容。这也应该支持代理等，这可能是给您带来问题的特定urls。也见；http://curl.haxx.se/
Stack Overflow用户
发布于 2009-01-02 10:29:29
您可能想看看WinINet，它是一个简单的用于与HTTP的高级接口的want。另一种选择是WinHttp，它更容易编译，并要求您处理COM。
Stack Overflow用户
发布于 2009-01-02 12:03:25
除非有特别的理由坚持使用c++，否则最好切换到Python并使用BeautifulSoup。我用过卷发，它很好，但是我所有的网络东西现在都是用Python做的
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/406341
复制相关文章
相似问题
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号