首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏木下学Python

    爬取历史,武汉到底上了几次

    这次小编带大家从技术的角度看一看,自从疫情爆发以来,探索一下武汉到底上了微博多少次。 数据获取 小编选取了 “微博神器” 作为爬取目标: ? 我们得到权限后,向下滑,发现是 ajax 加载的,我们的目标是爬取 2020 年 1 月至 2 月中旬以来武汉的历史数据,发现有 20 页数据: ? 我们查看请求方式为 post 请求: ? 走势 得到数据后,我们对历史次数做一个日历图: ? 从日历图中看出,武汉 1月 20 号以前上次数较少,大概从 20 号左右以后次数突然变多了,走势图如下: ? 从走势图看出 1 月 20 号以后,武汉上次数突然激增,这是由于疫情突然爆发了,全国的焦点都时刻关注着武汉,导致微博,武汉上的次数变多。

    2K10发布于 2020-02-24
  • 来自专栏数据技术

    2021年度微博回顾,暨开年分析

    2 最高热度日 通过上面的热度日历图,可以看到,2021 年度的热度值最高的是七月份,表示七月份的最密集。其中,热度最高的一天是 7 月 29 日。 【结果】 图2:2021 年度热度最高日前 15 大话题 【分析】 将热度最高日的数据提取后,按当天的话题进行热度值汇总,并排序,可以得到当日的最热话题。 1 月:薇娅年货打响开年第一炮;乘风破浪的姐姐第二季开播引2 月:围绕着两位娱乐圈重量级人物去世的消息:吴孟达、赵英俊;牛年新春齐庆贺 3 月:新能源汽车造车势力讨论;三部长期占据的电视剧开播 to_list() value_year_hot = sum_hot_year_top["hotNumber"].head(15).to_list() # 数据可视化输出 bars_non_slider2( 15).to_list() value_fenlei_hot = sum_fenlei["hotNumber"].head(15).to_list() # 数据可视化输出 bars_non_slider2(

    2.5K41编辑于 2022-02-14
  • 来自专栏网站源码分享

    聚合榜PHP接口API源码

    聚合榜 PHP 源码 本源码接口均抓取采集各大官网数据 使用说明; 解压压缩包里面的 hotlist.php 文件到网站目录 PHP 环境为 5.6 或以上 然后输入参数输入? type 参数内容; zhihu(知乎榜) weibo(微博) baidu(百度热点) history(历史上的今天) bilihot(哔哩哔哩) biliall(哔哩哔哩全站日榜) sspai (少数派头条) douyin(抖音) csdn(CSDN 头条榜) 使用方法; 访问你的域名地址 /hotlist.php?

    89310编辑于 2023-04-21
  • 来自专栏傲绝

    聚合榜PHP接口API源码

    聚合榜 PHP 源码本源码接口均抓取采集各大官网数据使用说明;解压压缩包里面的 hotlist.php 文件到网站目录PHP 环境为 5.6 或以上然后输入参数输入? type参数内容;zhihu(知乎榜) weibo(微博) baidu(百度热点) history(历史上的今天) bilihot(哔哩哔哩) biliall(哔哩哔哩全站日榜) sspai( 少数派头条) douyin(抖音) csdn(CSDN 头条榜) 使用方法;访问你的域名地址 /hotlist.php?

    1.1K40编辑于 2023-03-08
  • 来自专栏博文视点Broadview

    微博:公布算法!

    算法是怎样构成的 根据微博的介绍,数据的逻辑是根据用户的真实行为计算得来的。  微博平台实时关注平台内正在受到用户广泛关注的热点内容,并据此形成榜单。 根据微博的声明,自2021年以来,关于的揣测和谣言甚嚣尘上,社会各界对给予了更多的关注。正因如此,微博发布公告,公开了微博的产品规则和 算法机制。 “买“是指想要让自己的话题登上榜单的主体,通过向第三方机构付费,利用刷数据的方式使话题登上榜,以此实现加强事件曝光或营销的目的。过去几年,质疑部分话题买的声音频频出现。 除了公开算法,微博也公开了算法之外的许多规则,比如一系列维护纯洁性的措施。 “买“实际上与我们大部分人印象中的“给钱就能上榜单“ “随便上 哪个榜单位置都可以“ “可以买也能撤“并不一样。

    4.1K10编辑于 2023-04-04
  • 来自专栏博客屋

    新版微博api

    以前拿的别人的接口,但是失效了,然后有人说失效了,叫我更新下,其实花几分钟看看也就写出来了,没有一点难度,于是就下手开始做了,浏览了下微博榜。

    1.4K20编辑于 2022-11-14
  • 来自专栏Python编程与实战

    js逆向之mytoken

    币圈的同学应该都听说过MyToken,其中最有价值的就是他的榜。与其每天盯盘炒币,不如写一个脚本抓取它榜数据。 阅读流程 效果图 项目地址 反爬知识点 js重写 思考问题 效果图 ? 效果图 项目地址 MyToken榜 https://github.com/justcodedroid/spider_js/tree/master/my_token 反爬知识点 本次研究的站点地址 , p = h(p, s = h(s, f, l, p, n[d + 0], 7, -680876936), f, l, n[d + 1], 12, -389564586), s, f, n[d + 2] + 8], 20, 1163531501), l = v(l, p = v(p, s = v(s, f, l, p, n[d + 13], 5, -1444681467), f, l, n[d + 2] 9], 4, -640364487), f, l, n[d + 12], 11, -421815835), s, f, n[d + 15], 16, 530742520), p, s, n[d + 2]

    84020发布于 2019-12-04
  • 来自专栏python进阶学习

    python爬取评论数据

    图片 关于粉丝们的各种评论我想大家肯定都比较感兴趣,这里我们可以使用python爬取微博上有关tvb艺人直播下得各种评论数据。 首先是微博内容网址:https://s.weibo.com/weibo? q=TV 经分析,微博数据就在网页中,可以直接requests请求,然后BeautifulSoup解析获取内容,但是微博一直都有很严的反爬机制,特别是对IP的限制都很严格,所以在爬取过程中我们可以使用

    94940编辑于 2023-03-08
  • 来自专栏python进阶学习

    python如何抓取微博定时

    不知道大家在工作无聊时,是不是总想掏出手机,刷刷微博看下在讨论什么有趣的话题,但又不方便直接打开微博浏览,今天就和大家分享一个有趣的小爬虫,那就是如何定时采集微博榜&评,下具体的实现方法我们接下来慢慢讲 首页链接https://weibo.com/hot/search我们通过这个链接获取500条数据,榜采集代码, 然后发起请求,简单的代码如下<? 关于Python定时爬取微博示例介绍的文章就介绍到这了,更多相关Python爬取微博内容我们下次分享学习。​若有收获,就点个赞吧

    49310编辑于 2024-06-08
  • 来自专栏目的地-Destination

    APP榜接口提供 --- 微博

    提供:抖音、知乎、微博、百度、哔哩哔哩、少数派、CSDN头条榜接口 调用方法 https://blog.chrison.cn/hotlist.php? type=weibo 调用结果 { "success": true, "title": "微博", "subtitle": "榜", "update_time": "2024-01- q=庆余年2&Refer=index", "mobilUrl": "https://s.weibo.com/weibo? q=庆余年2全阵容预告&Refer=index", "mobilUrl": "https://s.weibo.com/weibo? q=纽约人的精神状态&Refer=index" } ], "copyright": "聚合榜" } APP对比

    72110编辑于 2024-01-21
  • 来自专栏目的地-Destination

    APP榜接口提供 --- 知乎

    type=zhihu 调用结果 ♾️ text 代码: { "success": true, "title": "知乎榜", "subtitle": "热度", "update_time 642109655", "mobilUrl": "https://www.zhihu.com/question/642109655" }, { "index": 2, https://www.zhihu.com/question/641790814" }, { "index": 39, "title": "浙江省发现一例 H3N2 : "https://www.zhihu.com/question/633314946" }, { "index": 44, "title": "小米汽车计划 2 632305510", "mobilUrl": "https://www.zhihu.com/question/632305510" } ], "copyright": "聚合

    59910编辑于 2024-08-07
  • 来自专栏用户2910674的专栏

    微博数据探索与处理

    channel=wechat 二、专栏概要 直接来:一行代码爬取微博数据 做准备:将爬取到的数据存入csv和mysql、其他数据库 搞事情(上):读取mysql数据并进行数据探索与处理 搞事情(下 ,所以我们需要先自己列下有哪些维度可以拆分、可以进行分析可视化,如下是我自己的简单思考: 自己拆分了 基于上面的内容,需要提前拆分的只有标题,从里面我们可以拆分出相关地理位置、相关人名、相关年龄段等数据 那么接下来我们就想办法来拆分标题吧~ 这里我想到的是直接用现成的命名实体识别库来对标题进行拆分,最先想到的就是之前毕设用过的Stanford CoreNLP,不过由于这个是Java写的,使用需要安装 import time # 新增五列 位置 姓名 组织 公司 年龄段 t1 = time.time() # 时间戳 单位秒 print(f'标题处理开始时间:{t1}') # 从wb_title中解析出新增列 pd_test = pd_read_sql['wb_title'].apply(get_key_word) t2 = time.time() # 时间戳 单位秒 print(f'标题解析结束时间

    94010编辑于 2021-12-27
  • 来自专栏Python研究者

    粉丝让我爬取话题,结果做成了实时『跑马灯』可视化

    PS:(这里跟读者说一下,以后本公众号推文更新时间段是13:00~14:00,默认是13:00) 之前有粉丝让我爬取网上话题,根据粉丝的这个提议,我想到了爬取不同平台的话题并做成了一个:全网实时话题 特点:实时、可视化浏览 这里的数据来源主要是:微博和知乎,选择这两个平台的目的:1.用户流量大、2.直接的数据Api接口。 先看一下效果: ? 动图版: ? 2.采集知乎数据 知乎api接口如下: https://api.zhihu.com/topstory/hot-list?limit=10&reverse_order=0 ? 数据在data里面,每一条数据的标题和链接都在target下,标题是title,标题链接是url ###爬取知乎数据 def get_zhihu(): headers = {'User-Agent 2 Flask后端 为了将采集和可视化网页结合,这里选择使用Flask框架去搭建网站。

    1.1K40发布于 2021-05-13
  • 来自专栏纯洁的微笑

    西安又上,这次是因为城管。。。

    就是我们西安本地人都不知道咋回事,就直接给整上了,关键一看愣是一点小事吵吵的。 相比某一线城市的舆论能力,西安在这方面的能力确实不太行。 我们还是回到,这次西安又上的内容来,看下面的问题: 2 被迫停止营业 有一家西安的咖啡馆,在网上吐槽因为城管让其改外立面风格,协商无果后被迫选择永久停业。 4 常客 我一直在思考,为什么西安总爱上呢?就像微博上一个哥们吐槽,这都阅读1.9亿,很神奇吧! 这能是西安太有名了吗? 曾看到某位本地媒体说,跟人讨论过“西安为什么容易上”这个问题,我认为,很大原因是因为西安有足够多的大学和大学生。 于是,西安就接二连三“了”。 写在最后 我的知识星球正在做活动,感兴趣的小伙伴不要错过。

    1K30编辑于 2022-04-12
  • 来自专栏对线JAVA面试

    Redis统计网站搜索的

    对于经常逛这个网站的用户,当然也会想知道在这里比较“火”的东西是什么,这个时候我们搜索框上的词就起作用了。其实我觉得这一块的完善会对这个网站带来许多益处。 } tran.ExecuteAsync(); return View(); } 这里是在加载这个页面的时候就把这些词存进 到这里,我们做的这个词可以说是大功告成了。当然这可以说是最最最简单的一个雏形。我们还可以适当的添加一些东西让这个功能变得更加完善。比如我可以在搜索展示的时候显示一下搜索的次数等。

    1.7K20编辑于 2022-10-27
  • 来自专栏花猪的学习记录

    Hexo侧边栏添加微博

    前言 无意中浏览到了Lucifer三思而后行的博客,看到了首页侧边栏的微博板块,比较感兴趣,自己尝试做一个(样式一致)。 card-widget.card-weibo .card-content .item-headline i.fab.fa-weibo span 微博 style>' html += '

    ' let hotness = { '爆': 'weibo-boom', ''

    90910编辑于 2022-06-27
  • 来自专栏新智元

    杜克大学2年前研究喜提

    ---- 新智元报道   编辑:好困 Aeneas 【新智元导读】微博上说,「单身的人老得快」。杜克大学的一项研究表明,比起高质量的亲密关系,单身(太久)的确会加速人的衰老。 最近,一篇杜克大学2年前的研究,登上了。 一看这标题,正在愉快冲浪的单身狗们心里一惊。 不过很快,机智的网友们在的文章里发现了华点:优质陪伴>快乐单身>痛苦关系。 (某网友圈出的重点) 网友表示,看到标题心里一颤,看到评论区满意离开。 但,真的是这样么? 2. 面部老化 面部衰老被列为衰老的次要指标。 当你看着老的时候,你就是真的老了啊。。。 答案有0(几乎从不)、1(有时)或 2(几乎总是)。 国外的某个亲密关系测评表(并非论文中的测试) 问题包括「我们在困难时期互相支持」、「我们感觉彼此非常亲近」和「我有困难时,可以依靠我的伴侣」。

    28810编辑于 2022-08-26
  • 来自专栏贾志刚-OpenCV学堂

    杜克大学2年前研究喜提

    ---- 点击上方↑↑↑“OpenCV学堂”关注我来源:公众号 新智元 授权 【导读】微博上说,「单身的人老得快」。 最近,一篇杜克大学2年前的研究,登上了。 一看这标题,正在愉快冲浪的单身狗们心里一惊。 不过很快,机智的网友们在的文章里发现了华点:优质陪伴>快乐单身>痛苦关系。 (某网友圈出的重点) 网友表示,看到标题心里一颤,看到评论区满意离开。 但,真的是这样么? 2. 面部老化 面部衰老被列为衰老的次要指标。 当你看着老的时候,你就是真的老了啊。。。 答案有0(几乎从不)、1(有时)或 2(几乎总是)。 国外的某个亲密关系测评表(并非论文中的测试) 问题包括「我们在困难时期互相支持」、「我们感觉彼此非常亲近」和「我有困难时,可以依靠我的伴侣」。

    27040编辑于 2022-08-29
  • 来自专栏千帆企业应用连接器

    如何自动获取、播报微博榜?

    对于一些新媒体运营或内容运营,微博榜是一个需要时刻关注的平台。而微博榜上的内容又会经常变化,不可能一直关注。能否通过一个工具,能自动帮我关注微博榜,播报当前前十的内容? 图片使用腾讯云HiFlow,可以每小时自动获取微博榜,并在社群内公布。Step1:触发应用我们选择定时启动,可以根据实际需要配置,例如我们选择每小时查询一次。 Step2:我们执行应用选择【ALAPI-微博榜】,根据页面指引填写账号token,直接点击测试预览即可。 Step3:我们获取到的微博榜是一个全部的数组,我们接下来需要将榜的标题和链接进行分隔处理。请注意,标题和链接需要用2个节点分别处理。 Step4:最后,在【企业微信群机器人-发送富文本消息】中,选择前10条微博榜内容进行编辑。图片我们整个流程是这样的。图片

    99830编辑于 2023-03-16
  • 来自专栏编程技术宇宙

    雷军写的代码上了!

    今天,“雷军写的代码”一词突然上了微博: 一瞬间,我想起了这张图: 到底发生了什么,好奇的我点进去一看,原来是因为雷军预告年度演讲的微博里配了一张海报: 这张海报信息量非常大,一眼就能看到有很多代码元素 在这个微博下,我还看到了稚晖君的一条微博,我觉得说的真好: 确实是这样,学习的越多,我越佩服二三十年前的那一代计算机工程师,请注意,我说的是计算机工程师,而不是程序员。

    30820编辑于 2023-09-05
领券