首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏木下学Python

    爬取历史,武汉到底上了几次

    这次小编带大家从技术的角度看一看,自从疫情爆发以来,探索一下武汉到底上了微博多少次。 数据获取 小编选取了 “微博神器” 作为爬取目标: ? 我们得到权限后,向下滑,发现是 ajax 加载的,我们的目标是爬取 2020 年 1 月至 2 月中旬以来武汉的历史数据,发现有 20 页数据: ? 我们查看请求方式为 post 请求: ? 走势 得到数据后,我们对历史次数做一个日历图: ? 从日历图中看出,武汉 1月 20 号以前上次数较少,大概从 20 号左右以后次数突然变多了,走势图如下: ? 从走势图看出 1 月 20 号以后,武汉上次数突然激增,这是由于疫情突然爆发了,全国的焦点都时刻关注着武汉,导致微博,武汉上的次数变多。

    2K10发布于 2020-02-24
  • 来自专栏数据技术

    2021年度微博回顾,暨开年分析

    1 年度日历热度分布 获取去年所有的数据,按日期汇总热度值,通过日历的形式,可视化输出年度日历热度分布图。 ", "2021年日历分布图") 【结果】 图1:2021 年度日历热度分布情况 【分析】 日历中,七月下旬到八月上旬的热度值分布最为集中,可能是由于暑假及东京奥运会举办的缘故;一月份及年末的热度最低 2 最高热度日 通过上面的热度日历图,可以看到,2021 年度的热度值最高的是七月份,表示七月份的最密集。其中,热度最高的一天是 7 月 29 日。 3 月度十大 获取去年所有的数据,按月份及话题汇总热度值,通过饼图的形式,可视化输出月度前十大话题。 4 年度话题 获取去年所有的数据,按话题汇总热度值,通过柱状图的形式,可视化输出年度前 15 大话题。

    2.5K41编辑于 2022-02-14
  • 来自专栏傲绝

    聚合榜PHP接口API源码

    聚合榜 PHP 源码本源码接口均抓取采集各大官网数据使用说明;解压压缩包里面的 hotlist.php 文件到网站目录PHP 环境为 5.6 或以上然后输入参数输入? type参数内容;zhihu(知乎榜) weibo(微博) baidu(百度热点) history(历史上的今天) bilihot(哔哩哔哩) biliall(哔哩哔哩全站日榜) sspai( 少数派头条) douyin(抖音) csdn(CSDN 头条榜) 使用方法;访问你的域名地址 /hotlist.php?

    1.1K40编辑于 2023-03-08
  • 来自专栏网站源码分享

    聚合榜PHP接口API源码

    聚合榜 PHP 源码 本源码接口均抓取采集各大官网数据 使用说明; 解压压缩包里面的 hotlist.php 文件到网站目录 PHP 环境为 5.6 或以上 然后输入参数输入? type 参数内容; zhihu(知乎榜) weibo(微博) baidu(百度热点) history(历史上的今天) bilihot(哔哩哔哩) biliall(哔哩哔哩全站日榜) sspai (少数派头条) douyin(抖音) csdn(CSDN 头条榜) 使用方法; 访问你的域名地址 /hotlist.php?

    88810编辑于 2023-04-21
  • 来自专栏博文视点Broadview

    微博:公布算法!

    算法是怎样构成的 根据微博的介绍,数据的逻辑是根据用户的真实行为计算得来的。  微博平台实时关注平台内正在受到用户广泛关注的热点内容,并据此形成榜单。 根据微博的声明,自2021年以来,关于的揣测和谣言甚嚣尘上,社会各界对给予了更多的关注。正因如此,微博发布公告,公开了微博的产品规则和 算法机制。 “买“是指想要让自己的话题登上榜单的主体,通过向第三方机构付费,利用刷数据的方式使话题登上榜,以此实现加强事件曝光或营销的目的。过去几年,质疑部分话题买的声音频频出现。 除了公开算法,微博也公开了算法之外的许多规则,比如一系列维护纯洁性的措施。 “买“实际上与我们大部分人印象中的“给钱就能上榜单“ “随便上 哪个榜单位置都可以“ “可以买也能撤“并不一样。

    4K10编辑于 2023-04-04
  • 来自专栏博客屋

    新版微博api

    以前拿的别人的接口,但是失效了,然后有人说失效了,叫我更新下,其实花几分钟看看也就写出来了,没有一点难度,于是就下手开始做了,浏览了下微博榜。

    1.4K20编辑于 2022-11-14
  • 来自专栏Python编程与实战

    js逆向之mytoken

    币圈的同学应该都听说过MyToken,其中最有价值的就是他的榜。与其每天盯盘炒币,不如写一个脚本抓取它榜数据。 阅读流程 效果图 项目地址 反爬知识点 js重写 思考问题 效果图 ? 效果图 项目地址 MyToken榜 https://github.com/justcodedroid/spider_js/tree/master/my_token 反爬知识点 本次研究的站点地址

    83820发布于 2019-12-04
  • 来自专栏python进阶学习

    python爬取评论数据

    图片 关于粉丝们的各种评论我想大家肯定都比较感兴趣,这里我们可以使用python爬取微博上有关tvb艺人直播下得各种评论数据。 首先是微博内容网址:https://s.weibo.com/weibo? q=TV 经分析,微博数据就在网页中,可以直接requests请求,然后BeautifulSoup解析获取内容,但是微博一直都有很严的反爬机制,特别是对IP的限制都很严格,所以在爬取过程中我们可以使用

    94840编辑于 2023-03-08
  • 来自专栏目的地-Destination

    APP榜接口提供 --- 微博

    提供:抖音、知乎、微博、百度、哔哩哔哩、少数派、CSDN头条榜接口 调用方法 https://blog.chrison.cn/hotlist.php? type=weibo 调用结果 { "success": true, "title": "微博", "subtitle": "榜", "update_time": "2024-01- q=纽约人的精神状态&Refer=index" } ], "copyright": "聚合榜" } APP对比

    71510编辑于 2024-01-21
  • 来自专栏python进阶学习

    python如何抓取微博定时

    不知道大家在工作无聊时,是不是总想掏出手机,刷刷微博看下在讨论什么有趣的话题,但又不方便直接打开微博浏览,今天就和大家分享一个有趣的小爬虫,那就是如何定时采集微博榜&评,下具体的实现方法我们接下来慢慢讲 首页链接https://weibo.com/hot/search我们通过这个链接获取500条数据,榜采集代码, 然后发起请求,简单的代码如下<? 关于Python定时爬取微博示例介绍的文章就介绍到这了,更多相关Python爬取微博内容我们下次分享学习。​若有收获,就点个赞吧

    49110编辑于 2024-06-08
  • 来自专栏Python研究者

    粉丝让我爬取话题,结果做成了实时『跑马灯』可视化

    PS:(这里跟读者说一下,以后本公众号推文更新时间段是13:00~14:00,默认是13:00) 之前有粉丝让我爬取网上话题,根据粉丝的这个提议,我想到了爬取不同平台的话题并做成了一个:全网实时话题 特点:实时、可视化浏览 这里的数据来源主要是:微博和知乎,选择这两个平台的目的:1.用户流量大、2.直接的数据Api接口。 先看一下效果: ? 动图版: ? 提取数据 这里直接返回的就是json数据,因此不需要进行网页分析,只需要知道json数据中,标题和对应的标题链接的key即可 ? 数据在data里面,每一条数据的标题和链接都在target下,标题是title,标题链接是url ###爬取知乎数据 def get_zhihu(): headers = {'User-Agent 5 小结 本文也是应粉丝要求,爬取话题,最后我制作出来了实时『跑马灯』可视化效果。 特点:实时、可视化浏览 最后说一声:原创不易,求给个赞 ? 、在看 ? 、评论 ?

    1.1K40发布于 2021-05-13
  • 来自专栏用户2910674的专栏

    微博数据探索与处理

    channel=wechat 二、专栏概要 直接来:一行代码爬取微博数据 做准备:将爬取到的数据存入csv和mysql、其他数据库 搞事情(上):读取mysql数据并进行数据探索与处理 搞事情(下 ,所以我们需要先自己列下有哪些维度可以拆分、可以进行分析可视化,如下是我自己的简单思考: 自己拆分了 基于上面的内容,需要提前拆分的只有标题,从里面我们可以拆分出相关地理位置、相关人名、相关年龄段等数据 那么接下来我们就想办法来拆分标题吧~ 这里我想到的是直接用现成的命名实体识别库来对标题进行拆分,最先想到的就是之前毕设用过的Stanford CoreNLP,不过由于这个是Java写的,使用需要安装 import time # 新增五列 位置 姓名 组织 公司 年龄段 t1 = time.time() # 时间戳 单位秒 print(f'标题处理开始时间:{t1}') # 从wb_title中解析出新增列 pd_test = pd_read_sql['wb_title'].apply(get_key_word) t2 = time.time() # 时间戳 单位秒 print(f'标题解析结束时间

    93610编辑于 2021-12-27
  • 来自专栏目的地-Destination

    APP榜接口提供 --- 知乎

    type=zhihu 调用结果 ♾️ text 代码: { "success": true, "title": "知乎榜", "subtitle": "热度", "update_time 632305510", "mobilUrl": "https://www.zhihu.com/question/632305510" } ], "copyright": "聚合

    58010编辑于 2024-08-07
  • 来自专栏纯洁的微笑

    西安又上,这次是因为城管。。。

    就是我们西安本地人都不知道咋回事,就直接给整上了,关键一看愣是一点小事吵吵的。 相比某一线城市的舆论能力,西安在这方面的能力确实不太行。 我们还是回到,这次西安又上的内容来,看下面的问题: 2 被迫停止营业 有一家西安的咖啡馆,在网上吐槽因为城管让其改外立面风格,协商无果后被迫选择永久停业。 4 常客 我一直在思考,为什么西安总爱上呢?就像微博上一个哥们吐槽,这都阅读1.9亿,很神奇吧! 这能是西安太有名了吗? 曾看到某位本地媒体说,跟人讨论过“西安为什么容易上”这个问题,我认为,很大原因是因为西安有足够多的大学和大学生。 于是,西安就接二连三“了”。 写在最后 我的知识星球正在做活动,感兴趣的小伙伴不要错过。

    99730编辑于 2022-04-12
  • 来自专栏对线JAVA面试

    Redis统计网站搜索的

    对于经常逛这个网站的用户,当然也会想知道在这里比较“火”的东西是什么,这个时候我们搜索框上的词就起作用了。其实我觉得这一块的完善会对这个网站带来许多益处。 } tran.ExecuteAsync(); return View(); } 这里是在加载这个页面的时候就把这些词存进 到这里,我们做的这个词可以说是大功告成了。当然这可以说是最最最简单的一个雏形。我们还可以适当的添加一些东西让这个功能变得更加完善。比如我可以在搜索展示的时候显示一下搜索的次数等。

    1.7K20编辑于 2022-10-27
  • 来自专栏花猪的学习记录

    Hexo侧边栏添加微博

    前言 无意中浏览到了Lucifer三思而后行的博客,看到了首页侧边栏的微博板块,比较感兴趣,自己尝试做一个(样式一致)。 card-widget.card-weibo .card-content .item-headline i.fab.fa-weibo span 微博 style>' html += '

    ' let hotness = { '爆': 'weibo-boom', ''

    90210编辑于 2022-06-27
  • 来自专栏千帆企业应用连接器

    如何自动获取、播报微博榜?

    对于一些新媒体运营或内容运营,微博榜是一个需要时刻关注的平台。而微博榜上的内容又会经常变化,不可能一直关注。能否通过一个工具,能自动帮我关注微博榜,播报当前前十的内容? 图片使用腾讯云HiFlow,可以每小时自动获取微博榜,并在社群内公布。Step1:触发应用我们选择定时启动,可以根据实际需要配置,例如我们选择每小时查询一次。 Step2:我们执行应用选择【ALAPI-微博榜】,根据页面指引填写账号token,直接点击测试预览即可。 Step3:我们获取到的微博榜是一个全部的数组,我们接下来需要将榜的标题和链接进行分隔处理。请注意,标题和链接需要用2个节点分别处理。 Step4:最后,在【企业微信群机器人-发送富文本消息】中,选择前10条微博榜内容进行编辑。图片我们整个流程是这样的。图片

    99030编辑于 2023-03-16
  • 抖音实时榜数据采集实践

    在内容运营、舆情监控或竞品分析等场景中,获取抖音实时榜是掌握流量风向的关键。通过API自动化抓取数据,我们可以快速分析当前大众关注的焦点,判断热度趋势,甚至为短视频选题提供数据支撑。 本文将演示如何通过接口获取包含热度值、排名及标签的完整数据,并提供多种语言的处理案例。业务场景与需求热点追踪:实时监控榜单变化,捕捉突发新闻或娱乐事件。 此示例展示了如何定义结构体映射接口返回的JSON数据,并解析列表。 ="

    抖音

    ";if($result['code']==0&&isset($result['data'])){$html. >总结通过以上Python、Node.js、Go和PHP的代码示例,我们可以看到集成抖音API非常简单。

    77210编辑于 2026-01-20
  • 来自专栏Chuanrui 初见之旅

    获取百度实时热点 API

    getbaiduhot/ 传入参数:无 请求方法:GET/POST 返回类型:json 本api返回百度实时热点共30条,每3分钟更新一次 返回json数据共2项,url、word url为百度该项目百度的访问地址 word为标题 欢迎大家使用!

    3.4K50编辑于 2022-11-14
  • 来自专栏编程技术宇宙

    雷军写的代码上了!

    今天,“雷军写的代码”一词突然上了微博: 一瞬间,我想起了这张图: 到底发生了什么,好奇的我点进去一看,原来是因为雷军预告年度演讲的微博里配了一张海报: 这张海报信息量非常大,一眼就能看到有很多代码元素 在这个微博下,我还看到了稚晖君的一条微博,我觉得说的真好: 确实是这样,学习的越多,我越佩服二三十年前的那一代计算机工程师,请注意,我说的是计算机工程师,而不是程序员。

    30620编辑于 2023-09-05
领券