- 综合排序
- 最热优先
- 最新优先
- 来自专栏python3
Python-爬虫03：urllib.r
浏览器 就是互联网世界上公认被允许的身份，如果我们希望我们的爬虫程序更像一个真实用户，那我们第一步就是需要伪装成一个被浏览器。
84320发布于 2020-01-19 - 来自专栏机器学习养成记
R语言爬虫与文本分析
之前用python做过简单的爬虫与分析，今天尝试一下用R完成相应的功能。首先用R爬取了《了不起的麦瑟尔夫人》豆瓣短评作为语料，然后进行了词云绘制、关键词提取的基本操作。 代码实现 R语言中，有两种进行数据获取的方式。一种是RCurl包+XML包，过程与python中的urllib与bs4相似，先读取网页代码再对html代码进行解析。 用wordcloud2绘制词云的方法在十九大讲话文本分析（R语言）中也有介绍，本次我们用自定义图片的方式设置词云形状，即设置figPath参数，注意，图片需要存放在wordcloud2中默认的文件夹下，
2.3K140发布于 2018-04-10 - 来自专栏机器学习AI算法工程
python爬虫+R数据可视化 实例
Python 和 r语言这对黄金搭档，在数据获取，分析和可视化展示方面，各具特色，相互配合，当之无愧成为数据分析领域的两把利剑。 该项目分为两个模块： 1，数据准备阶段 采用python网络爬虫，实现所需数据的抓取； 2，数据处理和数据可视化，采用r语言作为分析工具并作可视化展示。 login_url = post_url 以下即可采用正则表达式，提取 今日发帖数，会员人数，在线人数 代码如下： #正则获取列表页 user_num,topic_num,online_num 这种广度搜索爬虫都会涉及到需要补全链接的坑 第二，数据处理和数据可视化 主要采用r语言读取数据，进行频数统计和图表展示 简单贴几段代码： 读取剪切板数据 并采用table()函数求频数 data3<-read.table("clipboard r语言版 ?
1.9K40发布于 2018-03-14 - 来自专栏深度学习之tensorflow实战篇
网页爬虫-R语言实现基本函数
#*************网页爬虫-R语言实现，函数库文件*******# #****作者：H***************************************# #****版本：v0.1
80140发布于 2019-02-14 - 来自专栏菜鸟学数据分析之R语言
【R语言】文本挖掘| 网页爬虫新闻内容
图4 网页爬虫结果
2K10发布于 2021-01-28 - 来自专栏深度学习之tensorflow实战篇
网页爬虫-R语言实现基本函数
#*************网页爬虫-R语言实现，函数库文件*******# #****作者：H***************************************# #****版本：v0.1
94970发布于 2018-03-16 - 来自专栏R语言交流中心
R语言网络爬虫之Pubmed API的使用
今天我来给大家介绍一下Pubmed API是如何在R语言中运用自如的。 1. 我们需要安装R语言实现网络爬虫的两个关键包： XML，RCurl。 安装R包大家都熟悉了： install.packages('XML'); install.packages('RCurl'); 或者你如果觉得写代码麻烦，你也可以通过R语言菜单实现： ? 2. R包安装成功后，在进行网络爬虫时需要加载这两个包：XML，RCurl。 R代码： library(XML) library(RCurl) 完成R包的加载。 3. R语言调用Pubmed API代码实例（获取基因SI和cancer相关的文献）： path='https://eutils.ncbi.nlm.nih.gov/entrez/eutils/esearch.fcgi
7K40发布于 2019-07-31 - 来自专栏小徐学爬虫
告别低效：构建健壮R爬虫的工程思维
这些教训让我明白，熟练不等于精通，R爬虫的艺术不在于写出能跑的代码，而在于构建健壮、高效且礼貌的工程。今天，我想分享这些用教训换来的经验，希望你无需重蹈我的覆辙。 R语言爬虫老手，尤其是在从其他语言（如Python）转过来，或者习惯了小规模、一次性脚本的数据分析师，常常会陷入一些特定的思维定式和误区。这些误区会导致代码脆弱、效率低下，甚至引发法律风险。 以下是一些R语言爬虫老手都会犯的误区及其详细的解决方案：误区一：过度依赖 rvest + SelectorGadget 的“万能”组合表现： 认为所有网站都可以用 rvest::html_nodes() 根源： 低估了反爬虫机制的敏感性。默认的R User-Agent（例如 libcurl/... 或 r-curl/...）非常显眼。解决方案：模拟真实浏览器： 总是设置合理的HTTP请求头。 回顾这些坎坷，我的核心领悟是：强大的R爬虫绝非一堆函数调用，而是一个精心设计的系统。它需要我用侦探的眼光去发现隐藏API，用工程师的思维去处理错误与重试，用外交官的姿态去管理会话与延迟。
22110编辑于 2025-09-08 - 来自专栏机器学习AI算法工程
R语言爬虫初尝试-基于RVEST包学习
在学完coursera的getting and Cleaning data后，继续学习用R弄爬虫网络爬虫。主要用的还是Hadley Wickham开发的rvest包。 再次给这位矜矜业业开发各种好用的R包的大神奉上膝盖。。。 言归正传，拿了几个网页练手。 包括对拉勾网爬了一下虫，还尝试了对国外某黄页爬虫，对ebay用户评价爬虫分析其卖家卖的东西主要在哪个价格段（我查的那个卖家，卖8.99和39.99最多，鞋子类），做了一下文本挖掘，还有爬了一下股票数据， 不过这个研究让我深刻体会到了爬虫的有效性！好玩！实用！ 受张丹老师的两条均线与R语言)鼓舞好大！我觉得学R嘛，用到实处才是重要的！玩爬虫玩的太开心都没跟JHU的课了。。。。 以后可以尝试按照自己和老爸的看股票习惯开发出类似的选股模型来~~
1.9K30发布于 2018-03-12 - 来自专栏小徐学爬虫
R语言初学者爬虫简单模板
习惯使用python做爬虫的，反过来使用R语言可能有点不太习惯，正常来说R语言好不好学完全取决于你的学习背景以及任务复杂情况。 对于入门学者来说，R语言使用rvest+httr组合，几行代码就能完成简单爬取（比Python的Scrapy简单得多），R语言数据处理优势明显，爬取后可直接用dplyr/tidyr清洗，小打小闹用R语言完全没问题 以下是一个适合初学者的R语言爬虫通用模板，使用rvest和httr包实现。 (Windows NT 10.0; Win64; x64; rv:107.0) Gecko/20100101 Firefox/107.0")# ======================# 核心爬虫函数 ，常见的还是python爬虫，因为起特性可能经常遇到一些问题，例如：乱码问题、动态内容、登录验证、分页爬取，分别总结了对应的处理方法，如有更多问题可以留言咨询我。
26210编辑于 2025-07-03 - 来自专栏小徐学爬虫
R语言爬虫程序自动爬取图片并下载
R语言本身并不适合用来爬取数据，它更适合进行统计分析和数据可视化。而Python的requests，BeautifulSoup，Scrapy等库则更适合用来爬取网页数据。 如果你想要在R中获取网页内容，你可以使用rvest包。 另外，使用爬虫ip是爬虫的常见做法，以避免被目标网站封IP。 在Python中，你可以使用requests.get(url, proxies={‘duoip_proxy_host:your_proxy_port’})来设置爬虫ip。 在R中，我不清楚是否可以直接设置爬虫ip，但你可以在requests库的文档中查找相关信息。
45710编辑于 2023-11-14 - 来自专栏小徐学爬虫
R语言中的rvest库写个视频爬虫通用代码
朋友让我用R语言的rvest库写一个通用的视频爬虫代码示例。首先，我需要回忆一下rvest库的主要功能，它主要是用来做网页抓取和解析的，类似于Python的BeautifulSoup。 但是视频爬虫的话，可能需要处理动态加载的内容，或者找到视频的直链地址，这可能有点挑战性，但是总体来说还是需要点水平的。 以下是一个使用 R 语言 rvest 库编写的通用视频爬虫代码示例，包含详细注释和注意事项：# 加载必要库library(rvest) # 网页抓取library(httr) # 处理HTTP请求 library(tools) # 处理文件扩展名# 设置通用视频爬虫函数video_crawler <- function( url, # 目标页面URL video_selector browserName = "chrome")remDr$open()remDr$navigate(url)page <- remDr$getPageSource()[[1]] %>% read_html()反爬虫策略
47610编辑于 2025-04-09 - 来自专栏PPV课数据科学社区
从0到1掌握R语言网络爬虫
本文我将带你领略利用R做网络数据采集的全过程，通读文章后你将掌握如何来使用因特网上各位数据的技能。 这是在做网络爬虫时最常遇到的问题之一。 如果你更喜欢用python编程，我建议你看这篇指南来学习如何用python做爬虫。 2. 前提条件 利用R实现网络爬虫的前提条件有两大块： 要写R语言爬虫，你对R必须有一定了解。如果你还是个新手，我强烈建议参照这个学习路径来学习。 开发的“rvest”包来实现爬虫。你可以从这里获得这个包的文档。如果你没有安装这个包，请执行以下代码。 结语 我相信本文会让你对利用R爬取网页有一定了解，你对采集数据过程中可能遇到的问题也有所涉猎了。由于网页上的大部分数据是非结构化的，爬虫真的是非常重要的一项技能。 End.
2.3K51发布于 2018-04-24 - 来自专栏小徐学爬虫
使用R和curl库编写一段爬虫代码
以下是一个使用R和curl库的下载器程序，用于下载企鹅网站的内容。此程序使用了/get_proxy的代码。 # 引入必要的库 library(curl) library(jsonlite) # 获取爬虫ip proxy_url <- "/get_proxy" proxy_response <- curl_fetch_memory (proxy_url, handle = curl_handle()) proxy_data <- json_decode(proxy_response$content) # 检查爬虫ip是否获取成功 if (length(proxy_data$proxy) == 0) { stop("无法获取爬虫ip") } # 选择第一个爬虫ip proxy_ip <- proxy_data$proxy[ 接着，它使用get_proxy获取爬虫ip，并检查是否获取成功。然后，它选择第一个爬虫ip并设置代理选项。最后，程序使用curl下载内容，并将下载的内容打印出来。
28810编辑于 2023-10-24 R语言爬虫实战：如何爬取分页链接并批量保存
引言在数据采集和分析过程中，爬虫技术（Web Scraping）是一项非常重要的技能。R语言虽然以统计分析和数据可视化闻名，但其强大的网络爬虫能力同样不容忽视。 本文将介绍如何使用R语言爬取分页网页的链接，并将数据批量保存到本地文件（如CSV或TXT），适用于新闻聚合、电商数据抓取、学术研究等场景。2. 准备工作在开始之前，确保已安装以下R包：rvest：用于HTML解析和数据提取httr：用于HTTP请求（处理GET/POST请求）dplyr：用于数据清洗和整理stringr：用于字符串处理3. 总结本文介绍了如何使用R语言爬取分页网站数据，并保存到本地CSV文件。 关键步骤包括：单页数据抓取（rvest + httr）循环爬取多页（for/while 循环）数据清洗与存储（dplyr + write.csv）进阶优化（并行爬取、反爬虫策略）
32300编辑于 2025-07-07- 来自专栏庄闪闪的R语言手册
R 爬虫｜手把手带你爬取 800 条文献信息
开始 今天学习了一些关于 R 爬虫的知识，后续会陆续写一些笔记，当然对于爬虫有更好的一些工具来进行爬取数据，作为入门小白，我自己先从 R 语言尝试开始吧。 我们在浏览器中看到的网页很多都是有 HTML（Hyper Text Markup Language）超文本标记语言构成的树形结构，包括一系列标签，HTML 是一类标记语言而不是编程语言，当然要爬虫的话最好去了解一些最基本的 语言爬虫确实慢，哈哈： # 4、爬取文章摘要 abstract <- list() for (i in web_link) { # 根据节点相对路径提取 # abstract[[i]] <- read_html Rmarkdown视频新增两节视频（写轮眼幻灯片制作）需要视频内的文档，可在公众号回复【rmarkdown】 R沟通｜Rmarkdown教程（4） R沟通｜Rmarkdown教程（3） R沟通｜ Rmarkdown教程（2） R沟通｜Rmarkdown教程（1）
6.9K20发布于 2021-08-20 - 来自专栏数据小魔方
R语言爬虫实战——知乎live课程数据爬取实战
本文是一篇R语言爬虫实战练习篇，同样使用httr包来完成，结合cookies登录、表单提交、json数据包来完成整个数据爬取过程，无需书写复杂的xpath、css路径甚至繁琐的正则表达式（尽管这三个技能对于数据爬取而言意义非凡 第三步：单步尝试查看输出内容结构： baseurl<-"https://api.zhihu.com/lives/homefeed" r <- GET(baseurl,add_headers(.headers =headers),query =payload, encode="json",verbose()) myresult<-r %>% content() ? 完美，网页响应没有任何问题，接下来查看输出内容结构： myresult<-r %>% content() %>% `[[`(2) ? ? <- GET(baseurl,add_headers(.headers =headers),query =payload, encode="json",verbose()) myresult<-r %>
1.7K60发布于 2018-04-11 - 来自专栏生物信息云
生信人的R语言视频教程-语法篇-第十一章：R中的网络爬虫
这一章的内容是：R中的网络爬虫 用任何语言做爬虫必须要了解的就是网页语法，网页语言无非就是HTML，XML，JSON等，因为正是通过这些我们才能在网页中提取数据，过多的就不再描述，大家可以自行参考大量的资料 用R语言制作爬虫无非就是三个主要的包。XML,RCurl,rvest，这三个包都有不同的主要函数，是R语言最牛的网络爬虫包。 rvest是R语言一个用来做网页数据抓取的包，包的介绍就是“更容易地收割（抓取）网页”。其中html_nodes()函数查找标签的功能非常好用。 节点文本； html_attrs(): 提取所有属性名称及内容； html_attr(): 提取指定属性名称及内容； html_tag():提取标签名称； html_table():解析网页数据表的数据到R的数据框中
2.1K20发布于 2020-06-10 - 来自专栏python进阶学习
利用R语言和curl库实现网页爬虫的技术要点解析
R语言技术优势 丰富的数据处理功能： R语言拥有众多数据处理和分析包，如dplyr、tidyr等，可以方便地对数据进行清洗、转换和分析。 强大的统计分析能力： R语言提供了各种统计分析函数和方法，包括描述统计、回归分析、聚类分析等，满足了数据科学家对统计分析的各种需求。 可视化功能： R语言通过ggplot2等包提供了丰富多样的数据可视化功能，可以制作出美观、清晰的图表，帮助用户更好地理解数据。 网页爬虫的注意事项 在进行网页爬虫时，需要遵守网站的使用协议，并注意以下几点： 尊重网站的robots.txt文件，避免访问禁止爬取的页面。 控制爬取速度，避免给服务器带来过大压力。 实现数据爬取和解析 接下来，我们使用R语言和curl库实现数据的爬取和解析。
35410编辑于 2024-06-08 - 来自专栏python学习教程
python爬虫学习：爬虫与反爬虫
二．爬虫分类 网络爬虫按照实现的技术和结构一般分为通用网络爬虫、聚焦网络爬虫。从特性上也有增量式网络爬虫和深层网络爬虫等类别，在实际的网络爬虫中，通常是这几类爬虫的组合体。 通用网络爬虫 通用网络爬虫（General Purpose Web Crawler）。通用网络爬虫又叫作全网爬虫，顾名思义，通用网络爬虫爬取的目标资源在全互联网中。 聚焦网络爬虫 聚焦网络爬虫（Focused Crawler）也叫主题网络爬虫，顾名思义，聚焦网络爬虫是按照预先定义好的主题有选择地进行网页爬取的一种爬虫，聚焦网络爬虫不像通用网络爬虫一样将目标资源定位在全互联网中 一般反爬虫策略多数用在比较低级的爬虫上，这类爬虫多为简单粗暴的不顾服务器压力不停访问，再一种为失控的或被人遗忘的爬虫，这类爬虫一般需要在第一时间封锁掉。 越是高级的爬虫，越难被封锁，相应高级爬虫的开发成本也越高。 在对高级爬虫进行封锁时，如果成本高到一定程度，并且爬虫不会给自己带来大的性能压力和数据威胁时，这时就无需继续提升成本和爬虫对抗了。
4.8K62发布于 2019-07-10
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号