- 综合排序
- 最热优先
- 最新优先
- 来自专栏马拉松程序员的专栏
11月上海租房类豆瓣小组的相关数据分析
上个月大体写了一下10月份的数据分析，比较笼统，11月已经过去，我顺便统计一下这个月的情况，大体情况跟上个月份相差无几，有几个地方做了细化分析。废话不多说，直奔主题。 1.总概 11月份总计采集有效数据量为：46767 发布者人数共计：10528 采集日期：2019年11月01日-11月30日 2.发布者情况 num是一月内发布帖子数，count是人数 从上面数据看出 直接跟他说那里那里，就算他手上没有房源，也会把你推荐个同行，只要是钱到位） 统计如下： 发布6次以下的人数：8649 上述id发布的帖数：16556 人数占比约82.2%，贴数占比约35.4%，得出一个结论在豆瓣小组里找一些准确信息挺难的
58020编辑于 2022-04-26 - 来自专栏用户5305560的专栏
模拟豆瓣登录
import requests # url = 'https://www.douban.com/accounts/login' # params = { # 'source':'index_nav', # 'form_email':'xxxxx', # 'form_password':'xxxx' # } # html = requests.post(url,params) # print(html.text) url = 'https://www.douban.com/' head
1.1K20发布于 2021-08-11 - 来自专栏技术社区
豆瓣电影api系列
豆瓣电影api 1、获取正在热映的电影： 接口：https://api.douban.com/v2/movie/in_theaters?
4.2K30编辑于 2022-06-16 - 来自专栏测试游记
爬虫练习-豆瓣读书
昨晚使用不熟悉的xpath语法解析百度新闻页面碰到了好多坑，今天继续通过简单的豆瓣图书进行练习 1.分析页面 ? 进入豆瓣首页https://www.douban.com/在第一行导航栏找到读书：https://book.douban.com/ 进入页面之后发现有很多内容，由于豆瓣没有反爬措施，所以多抓取些数据 大致浏览后发现应该能通过标签查找到全部图书 11因男友身患绝... ('//[@id="content"]/div/div[1]/div[2]/div/table/tbody/tr/td/a') 10 for tag in tags_list: 11 s,%s,%s,%s,%s,%s);" 8 #尝试插入数据 9 try: 10 with db.cursor() as cursor:#创建游标 11
76940发布于 2019-07-17 - 来自专栏python学习路
十、豆瓣读书爬虫
我的过程是：（python3） 1、先将豆瓣读书的所有标签以每行七个打印到页面上。 2、输入要爬取标签的名字，可以输入多个。 3、输入你想要爬取多少页。
1.5K50发布于 2018-04-16 - 来自专栏用户5305560的专栏
【爬虫】下载豆瓣图书
from lxml import etree import requests import csv fp = open('C://Users/LP/Desktop/doubanbook.csv','wt',newline='',encoding='utf-8') writer = csv.writer(fp) writer.writerow(('name', 'url', 'author', 'publisher', 'date', 'price', 'rate', 'comment')) urls
55920发布于 2021-08-11 - 来自专栏python爬虫与js逆向
豆瓣登录滑块分析
打开豆瓣的登录。 连续点击登录大约10次，才会触发滑动。。。。 这个风控有点。。。额。。 可以作为滑块练习的网站。 这里，先从图片入手，。 分析图片是从哪里来的！！ 然后。。。
1.8K40编辑于 2022-06-02 - 来自专栏毛利学Python
豆瓣电影推荐系统
豆瓣电影推荐系统——通过爬取电影数据和用户数据，再利用所爬取的数据设计并实现相关推荐算法对用户进行电影推荐。
1.2K10编辑于 2022-12-20 - 来自专栏睡不着所以学编程
爬取豆瓣电影
嗯，今天还是挑战了爬取电影，因为我发现从别的页面进去就不是Ajax的页面了，步骤和书单差不多hhh
1K10编辑于 2022-09-20 - 来自专栏默认分类
豆瓣top250
`import requests import re url = "https://movie.douban.com/top250" headers = {
67910编辑于 2023-02-14 - 来自专栏北京马哥教育
豆瓣的基础架构
本文根据InfoQ中文站对豆瓣洪强宁（@hongqn）的沟通交流整理而成。洪强宁介绍了豆瓣的架构和组件，并分享了豆瓣基础平台部的一些团队经验。文中截图来自洪强宁在2013年CTO俱乐部中的分享。 豆瓣整个基础架构可以粗略的分为在线和离线两大块。 跟豆瓣其他工程团队一样，平台部也强制大家做code review。 最后，对于新技术的引入上，豆瓣整体是比较偏激进的，我们鼓励大家去看看新的技术。 这也是为什么豆瓣不太可能在重要的地方引入Java的原因，除非别无选择，我们一般都是Python、C和Go。
1.3K80发布于 2018-05-02 - 来自专栏罗超频道
豆瓣6.0来了！回归初心，豆瓣格局却变大了？
豆瓣正在回归初心。 作为Web2.0时代的代表，豆瓣如何抓住移动互联网，一直是行业津津乐道的话题。在一度同时维护超过10个移动端豆瓣系App后，豆瓣最终改变策略聚焦到“豆瓣App”这款旗舰上。 豆瓣在帮助用户发现感兴趣的书影音内容上做得更多，上线豆瓣榜单、豆瓣片单、豆瓣书单、个性化电影图书提醒功能等，整合为“豆瓣书影音助手”，用户会收到类似于“豆瓣又有8分以上的新电影了” “豆瓣电影TOP250 豆瓣1.0强调工具，主要是对书影音的评价；豆瓣2.0强调内容，整合了豆列、影视、旅行、时尚、科技宅等兴趣内容；豆瓣3.0强化社交；豆瓣4.0将工具、内容和社交更好地整合起来；豆瓣5.0则上线了豆瓣时间、 当然，豆瓣此前也知道这种割裂给用户带来的困扰，它尝试推出过豆瓣FM和豆瓣阅读，来满足用户对音乐和书籍的需求。在版权大战的环境下，豆瓣这两个业务未能突破巨头的围堵。 豆瓣，作为泛娱乐赛道的骨灰级玩家，自然不甘看着市场全部被后来者收割。 ? 剥离豆瓣音乐、豆瓣阅读独立发展，回归书影音的豆瓣，正在回归泛娱乐赛道。
65920发布于 2018-07-23 - 来自专栏Hank’s Blog
豆瓣数据分析
6 辛德勒的名单 7 盗梦空间 8 忠犬八公的故事 9 机器人总动员 10 三傻大闹宝莱坞 11
57540发布于 2020-09-17 - 来自专栏IT架构圈
RN请求豆瓣数据
项目中使用豆瓣网提供的开放数据接口 http://www.jianshu.com/p/c5160fda1d38 Util工具类封装 Util工具类封装了获取设备屏幕宽高、网络请求成功或者失败回调函数、数据请求成功前的等待效果
1.3K30发布于 2018-05-31 - 来自专栏程序萌部落
重写Hexo豆瓣影评插件
不知道从什么时候开始，习惯于在豆瓣找电影看，到了后来，就偶尔写个电影观后感，随着看电影看的越来越多，可比较的东西就越来愈多，所以现在看完一部新电影，写写自己的感想就成了固定环节了，作为一种“动态”，能够搬到博客上与他人共享那是再好不过的了 基于HEXO豆瓣插件 hexo-douban 的二次开发插，强烈建议先试用原插件，如果您觉得以下特性更能满足您的需要，那么再使用本插件。 原插件 hexo-douban 的不足： 书影音、大部分人就想放影评 样式不好看，字体大小的一致性即颜色 渲染全部观影记录，几百部电影会导致有几十页翻页，臃肿 单纯的构造豆瓣原页面，在“已看”列表中，只会出现短评内容 user: 你的豆瓣ID.打开豆瓣，登入账户，然后在右上角点击 “个人主页” ，这时候地址栏的URL大概是这样：“https://www.douban.com/people/xxxxxx/” ，其中的" 去掉了影评页跳转的菜单按钮 去掉了以上项目涉及的配置开关 异常 如果构建页面为空或404，且日志输出为 INFO 0 movies have been loaded in xx ms，这时怀疑您的IP由于多次请求豆瓣的页面而被豆瓣封禁了
1K00发布于 2020-12-22 - 来自专栏python3
爬取豆瓣电影信息
昨天写了一个小爬虫，爬取了豆瓣上2017年中国大陆的电影信息，网址为豆瓣选影视，爬取了电影的名称、导演、编剧、主演、类型、上映时间、片长、评分和链接，并保存到MongoDB中。
1.6K20发布于 2020-01-20 - 来自专栏我是思聪
豆瓣电影数据分析
； 3.比起网上能搜到的其他豆瓣电影数据分析，它更为详细，可视化效果也不错； 概述 本篇报告旨在针对豆瓣电影1990-2020的电影数据进行分析，首先通过编写Python网络爬虫爬取了51375条电影数据 由于其他国家电影数目不及中国、美国，且相关性也较弱，在此我们推断是由中美两国的豆瓣电影数据引起了评分下降。 3.2 电影类型对整体均分的影响 根据类型对电影数据进行聚合，整理得到各类型电影评分的时间序列，计算它们与整体均分时间序列的相关性，可得表格4与图11，可以看到剧情，喜剧，悬疑这三种类型片与总分趋势变化相关性最强 表格 4 各类型电影时间序列相关性 图 11部分类型电影均分与全部均分关系 3.3 中美两国各类型电影的均分变化 前面已经得知，中美两国电影占比最高，且对于均分时间序列的影响最大。 总结 本篇报告采集了1990-2020年间豆瓣电影29033组有效数据，从豆瓣电影的评分、时长、地区、类型、演员、导演以及票房等信息进行分析评价，主要有以下结论： 豆瓣电影影片时长主要集中在90-120
4.4K30编辑于 2022-05-13 - 来自专栏萝卜大杂烩
爬取豆瓣海王评论
“ 最近海王大火，今天就来看看豆瓣上对于海王这个大片的评论吧” Just Do It By Yourself 01.分析页面 豆瓣的评论区如下 可以看到这里需要进行翻页处理，通过观察发现，评论的URL 02.分别获取评论 豆瓣的评论是分为三个等级的，这里分别获取，方便后面的继续分析 其实可以看到，这里的三段区别主要在请求URL那里，分别对应豆瓣的好评，一般和差评。 效果 好评 一般 差评 感觉爬取豆瓣还是比较简单的，毕竟并没有设置什么反爬手段，小伙伴们也可以一起动手试试
62820发布于 2019-07-17 - 来自专栏小锋学长生活大爆炸
豆瓣自动批量点赞
- [电脑端] 豆瓣自动顶贴 下载：http://xfxuezhang.cn/WEB/SHARE/ => [电脑版]豆瓣自动顶贴 - [安卓端] 豆瓣自动顶贴 下载：http://xfxuezhang.cn /WEB/SHARE/ [安卓版]豆瓣自动顶贴 - 自动顶贴 教程：http://xfxuezhang.cn/index.php/archives/213/ - [电脑端] 豆瓣小组回帖机器人 下载： http://xfxuezhang.cn/WEB/SHARE/ => [电脑版]豆瓣小组回帖机器人 - [安卓端] 豆瓣小组回帖机器人 下载：http://xfxuezhang.cn/WEB/SHARE / => [安卓版]豆瓣小组回帖机器人 - 回帖机器人 教程：http://xfxuezhang.cn/index.php/archives/137/ - [电脑端] 自动给指定评论点赞 下载：http :param headers: 请求头 :param ck: :param start: :param cid: 评论的id :return: """ 11
3.8K30发布于 2021-06-11 - 来自专栏罗超频道
嫁了点评，剩了豆瓣
十年豆瓣，长得太慢 在用户数和产品线增长的同时，豆瓣团队并未随之大幅扩张。据豆瓣同学介绍，公司现有380多名员工，算中型互联网公司。但从用户规模来看，豆瓣又是大型互联网公司。 豆瓣却依然特立独行，并没有太大改变。在商业化和资本运作上豆瓣还在打盹儿。 2012年豆瓣营收8000万，接近盈利。 围绕“书”的豆瓣阅读，以及一上线就有的购书链接为豆瓣带来不菲收入；依托电影有在线选座购票，豆瓣同城也可以购票；依托音乐则有豆瓣FM PRO，会员付费之后可以获得更高质量的音乐。 这是豆瓣目前仍不盈利、离钱很远的根源所在。豆瓣阅读、豆瓣FM Pro、豆瓣电影做了一些离钱很近的事情，但杨勃说这并非刻意追求，而是自然而然，几个产品刚好到了这个时间点。 过去几年，豆瓣对广告商有自己的要求，要求广告内容与豆瓣气质相符，且对每个页面的广告位数量严格控制。在大多数人看来，豆瓣在自断财路。
80650发布于 2018-04-28
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号