一:获取app-key 和 app-secret 使用自己的微博账号登录微博开放平台,在微博开放中心下“创建应用”创建一个应用,应用信息那些随便填,填写完毕后,不需要提交审核,需要的只是那个app-key 在“微博开放平台”的“管理中心”找到刚才创建的应用,点开这个应用,点开左边“应用信息”栏,会看见“App key”和“App Secret”的字样,这两个东西是要在后面程序中使用的。 三:安装微博 python SDK 有两种安装方式: 1:http://github.liaoxuefeng.com/sinaweibopy/下载新浪微博SDK 2:python有个简单的安装方式:直接在命令行下键入 : sudo pip install sinaweibopy 四:实例验证,获取当前登录用户及其所关注(授权)用户的最新微博 这里需要注意的是在浏览器弹出一个页面,要先点击“授权”(这里进行的OAuth 以下为我的关注用户的微博: ? ? ? ? 拿上边代码为例,这里我们获取的信息有: ?
全文简介 本文是用Python爬取微博移动端的数据。可以看一下Robots协议。另外尽量不要爬取太快。如果你毫无节制的去爬取别人数据,别人网站当然会反爬越来越严厉。 环境介绍 Python3 Windows-10-64位 微博移动端 网页分析 以获取评论信息为例(你可以以自己的喜好获得其他数据)。 id=4160547165300149&page=3 将网址在火狐里面打开如下图: 上面的网址其实pages=3就代表第三页,所以只需模拟网址即可,pages=4,5,6。。。。
想用nodejs写个微博客户端发微博,无奈新浪微博的nodejs sdk是OAuth1.0的。 只能自己根据OAuth1.0 改了改。 ", passwd = "微博密码"; var baseurl = "https://api.weibo.com/2/"; var weibo = module.exports = function //statuses/destroy 删除微博信息 //statuses/update 发布一条微博信息 //statuses/upload 上传图片并发布一条微博 //statuses /* args参数: * id : 微博id * status : 转发文本 * is_comment 0-不发评论 1-发评论给当前微博 2-发评论给原微博 3-都发 */ if (!
function int10to62($int10) { static $str62keys; $str62keys = array("0","1","2","3"
下饭:微博子域名跳转到腾讯 如图所示: ? 新浪微博子域名 help.weibo.com 解析到 1.1.1.1 并且设置跳转 t.qq.com(腾讯微博)。 起因: 今天找回新浪微博密码时候访问到 help.weibo.com,结果是如下页面。 ? (发现时是不能访问的,至于跳转到腾讯微博,是后面help.weibo.com做了一些操作。) ? 为什么会这样? 当然最终的锅还是在微博上,(也许他的内网在用1.1.1.1?) 就等同于此人拥有了help.weibo.com的解析权,于是这位就带来了今天的下饭操作:跳转到腾讯微博。可能微博会找实习生背锅吧。 我们应该如何避免? 当然,这种行为是不恰当的。
接下来就是新浪微博的抓取,一般的http访问新浪微博网站得到的html都是很简略的,因为新浪微博主页是用js动态生成的并且要进过多次的http请求与验证才能访问成功,所以为了数据抓取的简便,我们走一个后门 ,也就是访问新浪微博的手机端,weibo.cn进行抓取,但随之而来的一个问题是,新浪微博的访问不管哪一端都需要强制的登陆验证,所以我们需要在http请求的时候附带一个cookie进行用户验证。 weibo.cn的cookie * @author hu */ public class WeiboCN { /** * 获取新浪微博的cookie,这个方法针对weibo.cn 有效,对weibo.com无效 * weibo.cn以明文形式传输数据,请使用小号 * @param username 新浪微博用户名 * @param password WeiboCrawler crawler = new WeiboCrawler("weibo_crawler", false); crawler.setThreads(3)
这个界面正常填写信息就可以,但是微博申请应用需要提供一个网站主页地址,里面需要包含微博组件。这个很简单,随便写一个界面加入微博组件扔到服务器,然后把界面url填写到应用地址,给微博进行审核。 我们现在来讲讲如何在你界面引入一个微博组件,我这里以关注组件为例: ? 微博申请应用需要界面有微博组件,所以到这里我们就可以把界面扔到服务器然后完善信息提交给微博审核。 操作步骤 注册好应用后,其实就可以开始代码实现了。其实只需要三步就可以实现微博第三方登录了。 前端获取到code传给后端获取access_token与uid; 3.根据access_token与uid获取用户信息保存到数据库并并返回用户信息给前端; 授权并获取code 首先,我们在登录界面login.html 可以看到我们已经成功获取到登录的微博账号的个人信息了。到这里实现微博第三方登录。其实整套逻辑其实前端只需要一个简单的登录按钮,后端实现两个接口。就可以实现微博第三方登录。
参考:http://open.weibo.com/wiki/%E7%A4%BA%E4%BE%8B%E4%BB%A3%E7%A0%81 微博开放平台给出的代码有很多bug,在此纠正 如乱码问题的解决: String org.apache.commons.httpclient.MultiThreadedHttpConnectionManager; import org.apache.commons.httpclient.methods.GetMethod; import org.apache.commons.lang3.
首先感谢新浪微博提供的免费图床(对外链无限制),以及吊炸天的cdn图片加速服务,从此妈妈再也不用担心我的图床不能用了 微博图床原理: 访问 http://weibo.com/minipublish 使用新浪微博账号登陆 进入到发微博的界面: ? 不需要发布微博,图片只要上传就会存在于图床中 实用微博图床推荐 新浪微博图床 - Chrome 网上应用店 围脖是个好图床 - Chrome 网上应用店 实用云图床推荐 https网页一建生产图床
使用node.js爬虫每天从「新浪微博」上爬取一定数量的微博。主要实现登录,抓取发布微博,抓取关注人和粉丝的功能,暂时把数据存放在MongoDB中。 weibo_crawler 第一部分是准备数据,随机爬取50w左右的微博用户,然后每天爬取他们前一天发布的微博作为本项目的数据源。 由于新浪微博对爬虫有限制,因此爬取用户微博的时候采用定时器的方式。 由于只有登录了才能获取某个用户的个人信息和关注粉丝信息,而微博爬虫的难点就在于用户登录。 可能是新浪限制 3. 关注和粉丝不一定是“人” 采用的解决方案: 1. 对抓取微博失败的,Retry 5次 2. 放弃非人类 什么是非人类呢? 情感强度分为1,3,5,7,9五档,9表示强度最大,1为强度最小。
h5 https://m.weibo.cn/ ,这个扩展也是基于h5微博接口来备份微博的。 之前文章 一键备份微博并导出生成PDF,顺便用Python分析微博账号数据 分析过李健的微博词云图,他的微博关键词为音乐,北京,朋友,歌手,电影,居然还提到了周杰伦。 ? 每个月转发评论点赞总数图,可以看到2016-2018年的微博数据是高峰期。 ? 原创微博和转发微博数据比例。 ? 李健发微博的工具主要为pc网页和iPad。 ? 麋鹿微博工具箱 如果你不想微博哪天被人挖坟,可以将微博批量删除、设置仅自己可见、仅好友可见,这里推荐一个工具麋鹿微博工具箱。 开始扫描你的微博,微博多的话可能慢点。 ? ? 选择时间段,可以对微博删除,恢复公开,仅自己可见,仅粉丝可见,仅好友圈可见。 ?
首先感谢新浪微博提供的免费图床(对外链无限制),以及吊炸天的cdn图片加速服务,从此妈妈再也不用担心我的图床不能用了 微博图床原理: 访问 http://weibo.com/minipublish 使用新浪微博账号登陆 进入到发微博的界面: ? 不需要发布微博,图片只要上传就会存在于图床中 实用微博图床推荐 新浪微博图床 - Chrome 网上应用店 围脖是个好图床 - Chrome 网上应用店 实用云图床推荐 https网页一建生产图床
最近几天做了一下新浪微博的sdkdemo。其实也就是把管网上给的demo下下来运行一下。顺便看了一些bug。 首先要了解Oauth2.0授权认证,和SSO 登录功能。 选择Custom debug keystore的路径,注意是weibosdkdemo的keystore路径 3.修改参数 选择WeiboSDKDemo工程,com.sina.weibo.sdk.demo ,3次以后就不能用了 ------微博分享------ 主要是下面两个Activity <activity android:name=".WBShareMainActivity" /> <activity openapi.WBUserAPIActivity" />------获取<1>用户昵称<2>用户信息(粉丝数) <activity android:name=".openapi.WBStatusAPIActivity" />------获取微博状态 <activity android:name=".openapi.WBCommentAPIActivity" />------获取某条微博的评论列表 <activity android:name=".
(Python) PC 登录新浪微博时, 在客户端用js预先对用户名、密码都进行了加密, 而且在POST之前会GET 一组参数,这也将作为POST_DATA 的一部分。 由于要用的一部分微博数据用API获取不方便, 所以还是要自己写个小爬虫, 模拟登录是必不可少的。琢磨了一下这个东西,最终登录成功。 接下来再请求这个URL,这样就成功登录到微博了。 记得要提前build 缓存。 下面是完整代码(没加注释,凑合看吧): #! 很多豆友反馈有模拟登录新浪微博抓取数据的需求,其实对于一般的微博数据获取,如用户信息、微博内容等,使用微博开放平台API是更明智的选择:速度更快,而且节省许多网页处理的功夫。 熟悉Web的朋友只要定期维护模拟登录的代码就可以一直成功登录微博。如果不那么熟悉的话,其实可以采用更naive的思路来解决:直接将Cookie发送给新浪微博以实现模拟登录。
微博经历了6年的发展,已经成为了国内社交媒体的中坚力量。本文从微博的角度出发,对微博中用户模型的目的、维度和建模任务进行描述,并作为后续微博用户模型相关文章的总述。 从微博自身的角度来讲,构建用户模型的目的包括: (1) 完善及扩充微博用户信息 用户模型的首要动机就是了解用户,这样才能够提供更优质的服务。 (3) 支撑微博业务 在微博中的各项业务都与用户模型有着直接与间接的关系,无论是基于兴趣的推荐提升用户价值,精准的广告投放提升商业价值,还是针对特定群体的内容运营,用户模型都是其必不可少的基础支撑。 接下来主要介绍一下微博画像中兴趣维度的构建方法。 2. 微博用户兴趣分析 (1) 标签来源 用户自标签、达人或认证标签、公司、学校、微群标签、星座、微博关键词……这些来源都可能成为用户的标签。 小结 用户画像的目的是将用户信息标签化,本文中介绍针对微博本身的特点介绍微博用户画像的构建,该用户画像主要还是从微博的业务出发,完善用户信息和发掘用户兴趣,区分兴趣和能力,并形式化结构化表达出来。
; weibolist.add(webo2); weibo webo3=new weibo("失心症",R.drawable.p3,"人总是害怕改变,因为改变会带来一份陌生。 ; weibolist.add(webo3); weibo webo4=new weibo("夏末",R.drawable.p4,"总盯着你了不起的过去,你就不会有了不起的未来。") imageId; } public String getSay() { return say; } public void setSay(String say) { this.say = say; } } 3.
图2推荐的链路 在上述整体流程的基础上,微博推荐架构经历了如图3所示的三个阶段: ? 图3 微博推荐架构的三个阶段 通常架构的产生都会来自于团队和业务环境,源于环境因素而致力于解决环境中的问题,架构形成会带着较为强烈的特点,在其实施中会产生交给针对性的效果。 当时的外部环境因素包括: 1) 项目需求很多,在当时一个5人团队并行开发的项目平均在3-5个左右,当然最重要的因素是当时的微博产品正处于高速发展期,很多地方都需要微博推荐的支撑。 图4 微博推荐1.0架构简图 3) 架构特点 将架构特点划分为优点和缺点进行描述。 图7 微博推荐3.0的架构示意图 3) 特点 主要描述其优势: 继承了原有2.0的特点,保留了其优势 对于推荐理解更为深入,结合更为紧密 解决了推荐候选/排序/训练的算法最重要问题 3.3 成果 微博推荐
4月4日消息,今日晚间微博管理员发消息称,为了增强用户对自己账号内容的自主性和处理能力,站方新增了“仅半年内微博可见”的用户功能。 ? 据悉,用户开启该设置后,发布时间超过6个月的微博将被设置为“仅博主可见”,其他用户无法查看。该设置在信息流、个人主页、搜索场景生效。 设置入口如下并见图: 打开微博客户端-我-隐私设置-微博可见时间范围中,勾选最近半年选项即可成功设置。 如何恢复成内容全部可见: 在微博客户端-我-隐私设置-微博可见时间范围中,勾选全部,即可变为全部内容对用户可见。 ? ? ?
前几天看到一篇爬取微博热搜并语音播报的文章,觉得很好玩,就试着自己写了一下,我写的是简单版的代码,为了便于理解,做完熬夜做了一个小视频讲解。 主要思路: 1、获取热搜页面的返回数据 2、筛选热搜页面中的热搜名称、排行等信息 3、百度语音播报 ? 微博热搜页面:https://s.weibo.com/top/summary 这个页面不需要用户登录,就能获取页面数据,所以我们不需要考虑登录时获取token的问题,这个下次会单独做个视频讲解。 获取微博热搜内容: (由于语音识别只能支持1024个字节,所以我只爬取了前十的排行榜) url = 'https://s.weibo.com/top/summary' header = { ' # 识别正确返回语音二进制 错误则返回dict 参照下面错误码 if not isinstance(result, dict): with open('auido.mp3'
3个月后,腾讯对网络媒体事业群进行调整,微博团队与新闻团队被合二为一,办公大厦“腾讯微博”标志被“腾讯视频”取而代之,这被外界视作是腾讯放弃微博业务的标志事件。 在此之前,腾讯微博与新浪微博缠斗多年,在搜狐、网易早已事实上放弃微博业务之后,腾讯战略放弃微博业务,让“新浪微博”一夜之间缩短为“微博”——因为,微博类玩家,就只剩新浪一家了,新浪在这场为期五年的大战中胜出了 不过,微博并没有享受“找不到对手”的状态太久,最近一年它开始大刀阔斧地改变自己。今天的微博与昔日的微博,与美国的Twitter已经大不一样。这些改变让它从没有对手,变成对手云集。 内容从生产到消费的过程,内容生产方和内容消费者,与微信公众账号并没有本质差别。 不久之前火爆全网的张小龙“饭否”语录中,曾有不少关于微博的评价,2012年3月的一条是这样的: 人是环境的反应器。 过去一年多都找不到对手的微博,正在面临越来越多的强悍对手,这让微博与许多App构成用户争抢关系,有了更多新用户和新注意力的来源,也让微博面临更大的压力。