blocks|key|2302455|text|美汤是专门为web爬行和抓取而设计的，但它是为python而不是为R编写的。|type|unstyled|depth|inlineStyleRanges|entityRanges|offset|length|data|entityMap|0|LINK|mutability|MUTABLE|url|http://www.crummy.com/software/BeautifulSoup/bs4/doc/^0|0|2|0^^$0|@$1|2|3|4|5|6|7|K|8|@]|9|@$A|L|B|M|1|N]]|C|$]]]|D|$E|$5|F|G|H|C|$I|J]]]]

<a href="http://www.crummy.com/software/BeautifulSoup/bs4/doc/" rel="nofollow noreferrer">Beautiful Soup</a> is specifically designed for web crawling and scraping, but is written for python and not R

blocks|key|1157466|text|刮痕是一个很好的Python库，它可以帮助您更快地抓取不同的站点，并使您的代码结构更好。并不是所有的站点都可以使用经典工具进行解析，因为它们可以使用动态的JS内容构建。对于这个任务，最好使用硒+(这是一个用于网站的测试框架，但也是一个很棒的web抓取工具)。还有一个Python包装器可以用于这个库。在谷歌中，您可以找到一些技巧，这些技巧可以帮助您在刮痕中使用Selenium，并使您的代码清晰、有条理，您还可以为刮痕库使用一些很好的工具。|type|unstyled|depth|inlineStyleRanges|entityRanges|offset|length|data|1157467|我认为Selenium会比传统工具更适合Linkedin。这里有大量的javascript和动态内容。另外，如果您想要在您的帐户中进行身份验证并刮取所有可用的内容，那么使用简单的库(如请求或乌尔利卜+)就会遇到许多问题。|entityMap|0|LINK|mutability|MUTABLE|url|http://scrapy.org/|1|http://www.seleniumhq.org/|2|http://selenium-python.readthedocs.org/|3|4|5|http://docs.python-requests.org/en/latest/|6|https://docs.python.org/2/library/urllib.html^0|0|2|0|2N|1|1|3P|9|2|4V|2|3|5R|2|4|0|2K|2|5|2N|4|6^^$0|@$1|2|3|4|5|6|7|W|8|@]|9|@$A|X|B|Y|1|Z]|$A|10|B|11|1|12]|$A|13|B|14|1|15]|$A|16|B|17|1|18]|$A|19|B|1A|1|1B]]|C|$]]|$1|D|3|E|5|6|7|1C|8|@]|9|@$A|1D|B|1E|1|1F]|$A|1G|B|1H|1|1I]]|C|$]]]|F|$G|$5|H|I|J|C|$K|L]]|M|$5|H|I|J|C|$K|N]]|O|$5|H|I|J|C|$K|P]]|Q|$5|H|I|J|C|$K|L]]|R|$5|H|I|J|C|$K|L]]|S|$5|H|I|J|C|$K|T]]|U|$5|H|I|J|C|$K|V]]]]

<a href="http://scrapy.org/" rel="nofollow">Scrapy</a> is a great Python library which can help you scrape different sites faster and make your code structure better. Not all sites can be parsed with classic tools, because they can use dynamic JS content building. For this task it is better to use <a href="http://www.seleniumhq.org/" rel="nofollow">Selenium</a> (This is a test framework for web sites, but it also a great web scraping tool). There's also a <a href="http://selenium-python.readthedocs.org/" rel="nofollow">Python wrapper</a> available for this library. In Google you can find a few tricks which can help you use Selenium inside <a href="http://scrapy.org/" rel="nofollow">Scrapy</a> and make your code clear, organized, and you can use some great tools for <a href="http://scrapy.org/" rel="nofollow">Scrapy</a> library.

I think that Selenium would be a better scraper for Linkedin than classic tools. There is a lot of javascript and dynamic content. Also, if you want to make authentication in your account and scrape all available content, you will get a lot of problems with classic authentication using simple libraries like <a href="http://docs.python-requests.org/en/latest/" rel="nofollow">requests</a> or <a href="https://docs.python.org/2/library/urllib.html" rel="nofollow">urllib</a>.

blocks|key|1157369|text|我喜欢红背心与SelectorGadget铬插件相结合来选择相关的部分.|type|unstyled|depth|inlineStyleRanges|entityRanges|offset|length|data|1157370|通过以下方式，我使用了rvest并构建了一些小脚本来在论坛中分页：|1157371|查找“m的页n”对象|ordered-list-item|1157372|萃取m|1157373|根据页面结构，构建从1到m的链接列表(例如:www.sample.com/+page+1)|1157374|通过完整的链接列表迭代刮刀|entityMap|0|LINK|mutability|MUTABLE|url|http://blog.rstudio.org/2014/11/24/rvest-easy-web-scraping-with-r/^0|3|3|0|0|0|0|0|0^^$0|@$1|2|3|4|5|6|7|V|8|@]|9|@$A|W|B|X|1|Y]]|C|$]]|$1|D|3|E|5|6|7|Z|8|@]|9|@]|C|$]]|$1|F|3|G|5|H|7|10|8|@]|9|@]|C|$]]|$1|I|3|J|5|H|7|11|8|@]|9|@]|C|$]]|$1|K|3|L|5|H|7|12|8|@]|9|@]|C|$]]|$1|M|3|N|5|H|7|13|8|@]|9|@]|C|$]]]|O|$P|$5|Q|R|S|C|$T|U]]]]

I like <a href="http://blog.rstudio.org/2014/11/24/rvest-easy-web-scraping-with-r/" rel="nofollow">rvest</a> in combination with the SelectorGadget chrome plug-in for selecting relevant sections.

I've used rvest and built small scripts to paginate through forums by:

<ol>
<li>Look for the "Page n Of m" object </li>
<li>Extract m </li>
<li>Based on the page structure, build a list of links from 1 to m (e.g.
 www.sample.com/page1) </li>
<li>Iterate the scraper through the full list of
 links</li>
</ol>

blocks|key|1157529|text|如果你知道蟒蛇的话，我也会喝点漂亮的汤。如果您更愿意编写javascript/JQuery+(而且您熟悉node.js)，您可能希望签出CoffeeScript+(签出教程)+--我已经多次成功地使用它来抓取网页。|type|unstyled|depth|inlineStyleRanges|entityRanges|offset|length|data|entityMap|0|LINK|mutability|MUTABLE|url|http://coffeescript.org/|1|http://blog.teamtreehouse.com/the-absolute-beginners-guide-to-coffeescript^0|1W|C|0|2C|2|1^^$0|@$1|2|3|4|5|6|7|M|8|@]|9|@$A|N|B|O|1|P]|$A|Q|B|R|1|S]]|C|$]]]|D|$E|$5|F|G|H|C|$I|J]]|K|$5|F|G|H|C|$I|L]]]]

I would also go with beautifulsoup, if you know python. In case you rather code javascript/JQuery (and you are familiar with node.js), you may want to checkout <a href="http://coffeescript.org/" rel="nofollow">CoffeeScript</a> (Check out the <a href="http://blog.teamtreehouse.com/the-absolute-beginners-guide-to-coffeescript" rel="nofollow">Tutorial</a>) I already used it successfully on several occasions for scraping web pages.

blocks|key|1157556|text|lxml是Python中一个不错的web报废库。美妙的汤是lxml的包装器。因此，lxml比刮擦和漂亮的汤都快，并且有一个更容易学习的曲线。|type|unstyled|depth|inlineStyleRanges|entityRanges|offset|length|data|1157557|这是我为个人项目构建的刮刀器的一个例子，它可以在网页上迭代。|entityMap|0|LINK|mutability|MUTABLE|url|http://lxml.de/|1|https://github.com/Dawny33/Cricket-Analytics/blob/master/Crawler.py^0|0|4|0|0|0|1|1^^$0|@$1|2|3|4|5|6|7|O|8|@]|9|@$A|P|B|Q|1|R]]|C|$]]|$1|D|3|E|5|6|7|S|8|@]|9|@$A|T|B|U|1|V]]|C|$]]]|F|$G|$5|H|I|J|C|$K|L]]|M|$5|H|I|J|C|$K|N]]]]

<a href="http://lxml.de/" rel="nofollow">lxml</a> is a nice web scrapping library in Python. Beautiful Soup is a wrapper over lxml. So, lxml is faster than both scrapy and beautiful soup and has a much easier learning curve.

<a href="https://github.com/Dawny33/Cricket-Analytics/blob/master/Crawler.py" rel="nofollow">This</a> is an example of a scraper which I built with it for a personal project, which can iterate over web pages.

I recently discovered a <a href="http://www.r-bloggers.com/analyze-linkedin-with-r/">new R package</a> for connecting to the LinkedIn API. Unfortunately the LinkedIn API seems pretty limited to begin with; for example, you can only get basic data on companies, and this is detached from data on individuals. I'd like to get data on all employees of a given company, which you can do <a href="https://www.linkedin.com/vsearch/p?keywords=stack%20exchange&amp;f_CC=974353&amp;sb=People%20who%20work%20at%20Stack%20Exchange&amp;trk=tyah&amp;trkInfo=clickedVertical%3Asuggestion%2Cidx%3A1-1-1%2CtarId%3A1431584515143%2Ctas%3Astack%20exchange">manually on the site</a> but is not possible through the API.

<a href="https://import.io/">import.io</a> would be perfect if it <a href="http://blog.import.io/post/tips-tricks">recognised the LinkedIn pagination</a> (see end of page).

Does anyone know any web scraping tools or techniques applicable to the current format of the LinkedIn site, or ways of bending the API to carry out more flexible analysis? Preferably in R or web based, but certainly open to other approaches.

LinkedIn web scraping

翻译质量差，导致语言生硬或混乱。

没有提供实际的解决方法或示例。

解答不清晰，无法理解或解决问题。

页面排版不美观，阅读体验差。

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云AI代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

功能1上新10个字符

功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符。

功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符。

功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符

功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符

功能4上新

文章&问答评论现已支持表情

全新交互，全新视觉，新增快捷键、悬浮工具栏、高亮块等功能并同时优化现有功能，全面提升创作效率和体验

社区富文本编辑器全新改版！诚邀体验～ 

精选全网热门MCP server，让你的AI更好用 🚀

💥开发者 MCP广场重磅上线！

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

最近，我发现了一个用于连接到新R包 API的LinkedIn。不幸的是，从一开始，LinkedIn API似乎是非常有限的；例如，您只能获得公司的基本数据，这与个人的数据是不同的。我想获取某一公司所有员工的数据，您可以使用在现场手动操作，但是通过API是不可能的。如果import.io是识别LinkedIn分页，那么它将是完美的(参见页面末尾)。是否有人知道适用于LinkedIn站点当前格式的任何

问LinkedIn网络抓取
EN

回答 5

Data Science用户

Data Science用户

Data Science用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问LinkedIn网络抓取EN

回答 5

Data Science用户

Data Science用户

Data Science用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问LinkedIn网络抓取
EN