urllib.request.Request(url=root, headers=headers) with urllib.request.urlopen(req, timeout=1) as response: # 大部分的涉及小说的网页都有 ) # 创建文件流,将各个章节读入内存 with open('E:\一念永恒.txt', 'w') as f: for dir in dirs: # 组合链接地址,即各个章节的地址 response.read().decode('gbk') break except: # 对于抓取到的异常 title_req.findall(html)[0] # 获取内容 content_test = content_req.findall(html)[0] # 筛除不需要的的
我还希望该应用程序可以独立包含在一个二进制文件中,以便于分发和安装。我下载了 Go,对它的易学性和在短时间内获得的生产力感到惊讶。 Windows & Linux Go 的官网有每种操作系统的下载资源,包括针对 Windows 系统的「下一步下一步」的安装器。 开始 在 Go 里面,所有工程的源代码都保存在一个目录:GOPATH。 与 PHP 的主要区别 现在您已经设置了一个项目,您可以开始探索不同的 go 功能。你会注意到的第一件事是 Go 中不需要分号。语句的结尾由新行检测。 如果你的 Go 代码中有一个名为 controllers 的文件夹,在这个文件夹下的所有文件都需要以 package controllers 开头。 Go 中的一个单引号值代表一个 rune (一个 Unicode 字符)。习惯性的,我会使用单引号声明字符串,因为这是 PHP 中的常见做法。使用双引号声明字符串会需要一段时间调整。
我还希望该应用程序可以独立包含在一个二进制文件中,以便于分发和安装。我下载了 Go,对它的易学性和在短时间内获得的生产力感到惊讶。 Windows & Linux Go 的官网有每种操作系统的下载资源,包括针对 Windows 系统的「下一步下一步」的安装器。 开始在 Go 里面,所有工程的源代码都保存在一个目录:GOPATH。 与 PHP 的主要区别 现在您已经设置了一个项目,您可以开始探索不同的 go 功能。你会注意到的第一件事是 Go 中不需要分号。语句的结尾由新行检测。 如果你的 Go 代码中有一个名为 controllers 的文件夹,在这个文件夹下的所有文件都需要以 package controllers 开头。 Go 中的一个单引号值代表一个 rune (一个 Unicode 字符)。习惯性的,我会使用单引号声明字符串,因为这是 PHP 中的常见做法。使用双引号声明字符串会需要一段时间调整。
今天又是待在家里的一整天,闲着没事干,写写爬虫打发时间, 注释什么的都在下面了,不想写了,慢慢看吧 from multiprocessing import Pool import requests from /497ddbfe3e702ea73920fb839aa61862/1538820486/film_0%04d.ts' % i # 设置视频碎片下载地址 设置占位符 %04d 4个字符串 tmd 坑爹的% s 浪费我几个小时 html=requests.get(url,headers=headers) print(url) ret=html.content # 将获取到的链接 p=Pool(25) # 设置25个进程下载 for i in range(1192): # 设定循环次数,i用于给前面定义的占位符提供参数 p.apply_async(download , args=(i, )) # 开启进程池 开启下载 p.close() # 线程关闭 p.join() # 线程阻塞 # 最后是在本地的cmd下面操作 # 切换到ts的保存盘符下
爬取豆瓣电影脚本 # 波哥首发 import time import requests import json from lxml import etree def getPage(url):
前言 首先需要说明的一点,本人只是一个毕业一年,只有一年工作经验的普通PHPer,能力有限,这篇文章只是将我这几周来的感受和体验分享出来,希望能给许多像我一样,或者互联网行业的新手带来一些收获,当然哪里说的不对或不足还是希望大神们可以加以点评补充 主要是第一轮面试: 第一个问题:Redis的5种数据类型,只答了一个String。 第二个问题:你知道Redis怎么做到数据落地,同步数据库吗?连数据类型都不知道,我只能说不清楚,没用过。 接着是一个头发相对稀疏,经验应该更加老道的人来面试我: 我的简历有提到一个JWT相关的知识,所以他让我描述具体的东西,和session的区别等。 其实有关JWT的问题,面试官应该是没用过,服务器这边其实有一个私钥Secret字符串用来签名,从而达到前后加密解密验证的效果 第二个问题应该是还有一个spl_autoload_register可以用来注册多个文件 第二天回公司第一件事就是找我们总监要辞职,要一个星期后走,结果被告知要走一个月的交接流程,其实那时候我东西基本交接的差不多了,项目也不大,但是公司给的理由是,如果你没有工作交接说明你平时没做事,工作不饱和
阅读可是一件很有趣的事呢。 即便一个月只能读完一本书,日积月累后,当你把读过的书放满整个书架的时候,一定会非常享受这份喜悦。 本期,「知晓程序」就给爱看书的你,推荐一款可以收集、记录藏书的小程序「口袋书架」,它能帮你整理藏书,记录读书的快乐,与书友分享读书心得。 塞满你的电子书架 打开「口袋书架」,你能看到一个电子书架。点击右上角的「+」,便可以把你的藏书装进去啦。 两个有意思的小功能:「卡片」和「基因」 谈到「卡片」,不得不说说「口袋书架」第一个有意思的小功能了,点击底部的第二个标签「卡片」就能体验。 ? 他人的卡片的内容和底部的「Up」次数,也能给你选择想读的书一个重要参考,再也不用担心无书可读了。 另一个有意思的小功能就是底部第三个标签「基因」,个人最喜欢这一部分,绝对是这个小程序的加分项。 ?
作为一个PHPer,在做新项目的时候,配权限系统、调接口加密、搞菜单路由... 这些代码就像 开发者的家务活——技术含量不高,但总得有人干。 像是后台,直接从以前做完的项目拷的话还要删不少东西,而如果直接从比较成熟的像是BuildAdmin或者Vue Naive Admin之类的项目直接开始的话,又免不了要做很多配置,而且后台总会涉及到角色管理啊 于是我把这些年攒的 “重复代码包” 提炼成了两个开箱即用的仓库:vue-admin-essentials —— 删繁就简的后台模板php-webman-essentials —— 即插即用的PHP脚手架一 后台管理三大件不用重写用户权限(RBAC四件套:用户+角色+菜单+权限)接口规范(统一响应格式/错误码/数据加解密)基础配置(前后端的.env文件藏着90%的配置项)消灭联调时的经典对话undefined ,或者说需要更多内置服务的大型项目比较好,而我这边大部分项目都称不上造火箭,Webman开启协程后HyPerf也没有特别大的性能优势,所以选择了相对比较轻量的webman我的配置习惯可能和你不同undefined
或许你离漂亮的代码,就差一个标签^_^ 项目工程地址: https://github.com/yinggaozhen/doc-demo/tree/master/php _ @deprecated @deprecated yinggaozhen/doc-demo/tree/master/php/deprecated 语法 @deprecated [<version>] [<description>] 描述 @deprecated 可以填写一个版本号 yinggaozhen/doc-demo/tree/master/php/internal 语法 @internal [description] 使用场景 此标签通常可使用在单元测试中,比如在单元测试中定义了一个测试用的类 √ √ 内部程序 √ X _ @var @var : 定义一个数据的类型. _ @throws @throws : 抛出一个异常,告诉调用方需要做好处理异常相关工作.
今天看到一个笔试题,是这种:给定一个文件(m.dat)。里面保存了各个电影票房统计。 要求敲代码统计票房排名前10的电影。并把统计结果存入还有一个文件。自己试着用C++实现一下,代码分享例如以下:(linux下gcc 编译) gcc编译,运行时要传入两个命令行參数,比方:. li.dat 为存放前10的文件) #include <iostream> #include <fstream> #include <vector> #include <algorithm> using $"和"," string::npos) str.erase (pos, 1); return atof (str.c_str ()); } string m_title; //电影名 ifs) { perror ("打开票房文件失败"); return false; } Movie movie; while (ifs >> movie) //调用重载的>>操作符
广告少; 刨开政治敏感,本篇带来本瓜最爱看的几个 Youtuber Channel(截至2021/10/30),排名不分先后;如果你也看过,或者有其它推荐的频道,欢迎留言~ 老高與小茉 Mr & Mrs 今天简单吃一点,再作小诗一首,挺好~ 马小跳生活记 讲的是:马小跳将一个个网吧大神带出网吧的故事。这真的挺了不起! 作为一个很朴实的普通人,能以正能量反馈给到正在社会中挣扎的网吧少年,把他们带出网吧,是一种积德、修善,这比佛学普渡众生来的更有现实意义; 小钟Johnny 小钟Johnny,一名环球背包旅行者,走过28 超小厨 大美食博主,超小厨超有趣~ 陈半仙儿 塔吊司机,踏实、真诚;塔吊司机,完全不一样的工作,有着完全不一样的视角! 越哥说电影 越哥说电影,专注好电影!这句 slogan 没说错! 小东vlog 打工仔小东小兰,同心协力支撑着一个共同的小家; 小A辣 为小A辣的“勇敢”点赞 20岁了还没去过星巴克 想看点“玩尬的”,锁定老马!
看到有很多,的总结一下,比较适合有一定经验的PHPer 平时喜欢哪些php书籍及博客?CSDN、虎嗅、猎云 js闭包是什么,原型链了不了解? for与foreach哪个更快? php鸟哥是谁? apc、xcache.....能不能讲一下它的加速原理,与现在的O+有什么差别? Node.js能彻底代替php+apache 吗? 怎样判断一个值是否存在于数组中? 一个php文件的解释过程是? 一般加速php有哪些? 提高php整体性能会用到哪些技术? redis 分布式设计,如何设计? mongo 集群架构是怎样的? 一个10G的表,你用php程序统计某个字段出现的次数,思路是? 会告诉你一个nginx日志例子,用你认为最佳的编程语言统计一下http响应时间超过1秒的前10个url? 给你一个mysql配置文件,用你认为最佳的编程语言解析该文件? 给你两个路径a和b,写一个算法或思路计算a和b差距几层并显示a和b的交集?
有趣的电影 某城市开了一家新的电影院,吸引了很多人过来看电影。该电影院特别注意用户体验,专门有个 LED显示板做电影推荐,上面公布着影评和相关电影描述。 作为该电影院的信息部主管,您需要编写一个 SQL查询,找出所有影片描述为非boring(不无聊) 的并且 id 为奇数 的影片,结果请按等级 rating 排列。 House card| Interesting| 9.1 | +---------+-----------+--------------+-----------+ 对于上面的例子,则正确的输出是为 1 | War | great 3D | 8.9 | +---------+-----------+--------------+-----------+ 我的代码
——莎士比亚 Express是一个基于Node.js平台的极简、灵活的Web应用开发框架,它通过了一系列强大的特性,帮助开发人员创建各种Web和移动设备应用。 是作为Node.js中一个网站服务构建框架而存在,所以其本身是基于Node.js的,Node.js的安装在这里就不做说明。 我们在本节开发一个Express HelloWorld。 2.1、首先使用一下命令创建npm项目,或者直接使用右键快捷菜单中的“新建文件”,建立一个package.json文件 npm init 如果使用命令行创建,则该命令会要求输入几个参数:项目名称,版本号 Express框架的安装与简单介绍到这来就结束了,接下来我们会用Express框架结合vue来实践一个简单的应用。 ?等风
kafka简介 官网 https://kafka.apache.org/ Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流数据。 ? zookeeper.properties bin\windows\kafka-server-start config\server.properties kafka基础知识 Topic 每条发布到Kafka集群的消息都有一个类别 类似于缓存Key 生产者 生产者即数据的发布者,该角色将消息发布到Kafka的topic中 消费者 消费者从kafka中读取数据 安装kafka的PhP SDK
二、迎难而上,积累解决问题能力 曾经有位程序开发的同事在QQ签名中写到:每解决一个bug,就给自己一个提升。的确,没有真正解决过无数的bug或问题的程序员,谈不上专家,谈不上高级程序员。 而一个高级程序员正是从这种解决问题的过程中不断地历练自己,形成一套烂熟于心的问题解决思路,让自己强大的。 4、熟悉web方面的其他程序,因为PHP不是一个完全独立的东西,他是一个和其他语言和要素配合来完成一个项目的,如果对其他语言和要素不太熟悉,在团队协作过程中会非常吃力。 选型不是随口就能定的,需要一个PHP程序员用于良好的储备,个人觉得至少需要以下储备,才具备选型能力。 熟练应用至少一个PHP框架,两到三个PHP开源系统; 拥有自己的一套应用系统。 ? 代码安全性好:做一名警惕的程序员,任何有用户输入和上传文件的地方都得额外谨慎,也许一个程序员一时的疏忽就会导致一个系统顷刻间崩溃。
Scrapy 是一个用 Python 编写的开源框架,它可以帮助你快速地创建和运行爬虫项目,从网页中提取结构化的数据。 下面我们来看一个简单的 Scrapy 爬虫项目的案例,它的目标是从 豆瓣电影 网站上爬取电影信息,并保存为 JSON 文件。 首先,我们需要安装 Scrapy 框架。 movies = response.css('.grid_view li') # 遍历每部电影 for movie in movies: # 创建一个 (scrapy.Item): # 定义一个名为 title 的字段,用于存储电影标题 title = scrapy.Field() # 定义一个名为 rating 的字段,用于存储电影评分 ,我们可以在当前目录下找到一个名为 movies.json 的文件,它包含了从豆瓣电影网站上爬取的电影信息。
我们为了保证爬取的电影信息不重复, 所以要确定一个爬取方向。目前这情况真让人无从下手。但是,我们点击主页中的【最新电影】选项,跳进一个新的页面。蓦然有种柳暗花明又一村的感觉。 ? 由图可知道,电影天堂有 5 个电影栏目,分别为最新电影、日韩电影、欧美电影、国内电影、综合电影。每个栏目又有一定数量的分页,每个分页有 25 条电影信息。那么程序的入口可以有 5 个 url 地址。 Xpath 解析并提取所需的电影信息; 7)将爬取到的电影信息存到名为 contentQueue 队列中; 8)从 contentQueue 队列中依次取出电影信息,然后存到数据库中。 2.4 代码实现 主要阐述几个重要的类的代码 main 类 主要工作两个:第一,实例化出一个dytt8Moive对象,然后开始爬取信息。第二,等爬取结束,将数据插入到数据库中。 选择字典类型作为存储电影信息的数据结构,也是自己爬坑之后才决定的。这算是该站点另一个坑人的地方。电影详情页中有些内容节点是没有,例如类型、豆瓣评分,所以无法使用列表按顺序保存。
笔记内容:最后一个页面:构建电影详情页面 笔记日期:2018-02-02 ---- 电影搜索页面构建 我们想要有一个搜索电影的功能,需要在电影资讯页面顶部编写一个搜索框,当我们的鼠标焦点位于该搜索框时 ,就会显示出电影搜索页面,而点击搜索框的关闭图标时,需要隐藏电影搜索页面。 所以这个电影搜索页面不是一个单独的页面文件,而是用隐/显的方式来做。 搜索框效果图: ? 要实现这个搜索框,我们首先需要一个表单组件:input,该组件的官方说明文档地址如下: https://mp.weixin.qq.com/debug/wxadoc/dev/component/input.html ---- 编写电影详情页面 以上我们已经完成了大部分的页面了,现在我们来完成最后一个影详情页面,我们希望在电影资讯页面上点击某一部电影时,要能跳转到该电影的详情页面,所以这是一个新的页面,我们首先要做的事情就是创建这个页面的目录及文件
WebGL加速并用于训练和部署机器学习模型的 js 库。 笔者评价:这个库是 google 让 TensorFlow 机器学习更加大众化的一个大招之一。 nginx-lua-module ,用于做微服务网关的神器,架构师必备,想晋升架构师的同学赶紧收藏并学习吧。 Bootstrap 4 开发,免费且开源的 HTML 仪表盘 UI套件 笔者评价:非常适合后端开发人员快速构建可用的前后端 web 网站。 linux 容器的工作坊:从草图中重建 Docker 笔者评价:一个不可多得的 Docker 重建工具。