最近发现一个可以看图的地方,一张张翻有点累,毕竟只有一只手(难道鼠标还能两只手翻?)。能不能下到电脑上看呢,毕竟不用等网速,还可以预览多张,总之很方便,想怎么就怎么,是吧?
html = requests.get(url, headers=headers) #没错,就是这么简单 urllib2以我爬取淘宝的妹子例子来说明: ?
本来呢,一开始想爬取的是这个网站,http://www.mzitu.com/,但是呢?问题发现比较多,所以先爬取了http://www.meizitu.com/这个网站,下一步再去爬取第一个。 Gi
超文本传输协议(HTTP,HyperText Transfer Protocol)是互联网上应用最为广泛的一种网络协议。所有的WWW文件都必须遵守这个标准。设计HTTP最初的目的是为了提供一种发布和接收HTML页面的方法。
这里也差不多,用python写了个小爬虫,爬妹子图的"照片".感觉效率好慢,应该是代码的问题, 在此献丑了!!! fd.write(chunk) print ("You have download %d photos" %PhotoName) #在放一个以前用shell写的下载煎蛋妹子图片的代码吧 页码自己嵌套一个for 就可以下载多点妹子图了~懒得弄了! #!
然后我为了省事,我直接告诉妹子,你直接 git add -A 就行,换句话说,我们把这两个文件都纳入到管理中。此时如果再执行 git status,可以看到两个文件变绿色了。 ?
春节到了,老板都回去过新年了,咱们打工人也忙了一年了,这几天就抓点妹子图,摸摸鱼吧。 导入模块 首先把用到的模块贴进来。
因为妹子学编程的意愿不强了,我也不能逼迫她去学。不过后来收到部分人的私信说希望继续更新下去,所以紧接上文继续萌妹子Python入门指北(一)。
这次我们来谈谈python中的函数,首先说一点,这里的函数和数学中的函数完全没有任何关系。在数学中,函数可能代表这一个数学公式,哎呀! 想想就头疼,但在程序猿的世界,函数就是实现某个功能的一段代码,比起for循环、if判断来说好理解多了。
前两篇网站我简单介绍了python环境的安装和基本的变量及运算。到目前为止,我们没办法用python做任何事,所以这篇文章我会介绍python的判断和循环语句,据说顺序、判断、循环可以解决计算机中的任何问题。 我为什么不介绍顺序呢!因为很简单,其实就是python的每行代码按顺序执行。 其实python预发是相当容易看懂的,本文我会将示例代码翻译成汉语方便大家理解(翻译后的代码是不能执行的哦)。
这个系列其实是想给非计算机专业的人一个python的入门指导,已经写了3篇,这篇拖了好久了。我开始觉得学编程真的很难,计算机有些方面的知识真是常人所不能理解的,仅仅靠这几篇文章肯定是做不到入门的,如果各位真想学python,还是希望各位能去看更多python的例子,当然我这个系列的文章还是会继续写下去的,我尽自己可能不让本系列变成《python从入门到放弃》。 在上一篇文章中我们讲到了选择和循环,这次我来讲下选择和循环语句更高级的用法。提前剧透下,本次课程没有新内容,只是对上篇文章的回顾和进阶,选择和循环语句的嵌套使用。
今天回忆廖大的多线程的时候,看到下面有人写了个多线程的爬虫http://www.tendcode.com/article/jiandan-meizi-spider-2/,点进去看了下,分析的很仔细,写了接近200行代码吧
《萌妹子Python入门指导》系列,以下简称萌妹子系列是教没有任何编程基础的妹子如何去写python代码,最终实现一些小工具的开发,请Python大牛们直接绕道。 首先我要做的就是下载python的安装包,这里主要以windows的为例,因为本人的萌妹子用的是windows系统。
来自:知乎:https://www.zhihu.com/question/43631775/answer/714762356
获取图片的地址 16 for i in range(1,10): 17 #herf 为访问的地址 18 herf = url +'/'+ str(i) 19 #在次解析新的url(这个url就是妹子的连接 html = requests.get(herf,headers=headers) 21 beautiful = BeautifulSoup(html.text,'lxml') 22 #获取妹子的图片连接
目录 好的标准是什么 - 可读性 = 清晰 - 复用性 = 没脾气 - 扩展性 = 有所为、有所不为 代码实例讲解 - 变量 - 函数 好的标准是什么 在人类中,好妹子一般都具有什么特征呢? 就像好脾气的妹子,和什么样的人都能聊得来,大家都喜欢她;脾气不大好的妹子,只能和一部分人聊得来,只愿意和一部分人交朋友,为什么? 因为她有个人好恶,不能平等地看待芸芸众生;脾气特差的妹子,是不能和任何人交朋友的,像李莫愁李师姐,她逢人就送一枚毒针,尤其是遇到性陆的人,脾气爆的很,为什么? 先秦宋玉在《登徒子好色赋》中形容邻家妹子的美,说“增之一分则太长,减之一分则太短”。对比于此处,代码中描述的对象,信息即不要缺失,也不要冗余,刚刚好,就是好。 就像一个易相处的妹子,每次和她相处,都不会留下社交阴影,即副作用;反之,如果每次和妹子相处,她都发些小脾气,产生一些副作用,也就称不上易相处了。这种情况在代码中就是复用性差。
最近看到知乎上有人提问:程序员如何追妹子。接着看就知道楼主就是个程序员,看上心仪的妹子了,来征求大家的意见。 看到大家积极回复,不免感慨:“世上还是好人多!”此处省略几个字。 我觉得最靠谱的追妹子的方法就是: 1.真心 真心的对她好,以实际行动来打动她。 2.自信 无论自己长得多丑,多没钱,都要自信。 3.大方 无论言行举止,还是请客吃饭,都要大方得体。 4.安全感 妹子如果说跟你在一块有安全感,那么你九成已经成功了。 5.实际行动 例如: 她没时间吃饭的时候给她带饭; 生病的时候帮她拿药; 她的电脑出问题的时候能给她修好; 适当的时候知道给她买花(说实话,妹子最喜欢花了) ?
最近突然发现之前写的妹子图的爬虫不能用了,估计是网站又加了新的反爬虫机制,本着追求真理的精神我只好又来爬一遍了! 效果 ? 文件夹 ? 妹子图 思路整理 页面地址:http://www.meizitu.com/ 获取首页分类标签地址,传入下一步 ? soup.select('body span a') return channel ##获取分类地址 保存图片 这里需要注意的是保存图片的时候需要加上header,应该是网站更新了验证,去年爬妹子图直接保存就可以的 channel_title = (channel.get('title')) print '***开始查找 '+channel_title.encode('utf-8') +' 分类下的妹子图
这链接还是比较好获取的,直接 F12 审核元素,或者右键查看代码,手机上chrome和firefox在url前面加上 "view-source"
前情提要: 一:scrapy 爬取妹子网 全站 知识点: scrapy回调函数的使用 二: scrapy的各个组件之间的关系解析Scrapy 框架Scrapy是用纯Python实现一个为了爬取网站数据 可以把这个网站妹子图片爬取下来。我正在参与2023腾讯技术创作特训营第三期有奖征文,组队打卡瓜分大奖!