首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏软件测试经验与教训

    爱看小说有福了......

    urllib.request.Request(url=root, headers=headers) with urllib.request.urlopen(req, timeout=1) as response: # 大部分涉及小说网页都有 ) # 创建文件流,将各个章节读入内存 with open('E:\一念永恒.txt', 'w') as f: for dir in dirs: # 组合链接地址,即各个章节地址 response.read().decode('gbk') break except: # 对于抓取到异常 title_req.findall(html)[0] # 获取内容 content_test = content_req.findall(html)[0] # 筛除不需要

    959100发布于 2018-05-15
  • 来自专栏全栈程序员必看

    PHPer 准备 Go 入门知识

    我还希望该应用程序可以独立包含在一个二进制文件中,以便于分发和安装。我下载了 Go,对它易学性和在短时间内获得生产力感到惊讶。 Windows & Linux Go 官网有每种操作系统下载资源,包括针对 Windows 系统「下一步下一步」安装器。 开始 在 Go 里面,所有工程源代码都保存在一个目录:GOPATH。 与 PHP 主要区别 现在您已经设置了一个项目,您可以开始探索不同 go 功能。你会注意到第一件事是 Go 中不需要分号。语句结尾由新行检测。 如果你 Go 代码中有一个名为 controllers 文件夹,在这个文件夹下所有文件都需要以 package controllers 开头。 Go 中一个单引号值代表一个 rune (一个 Unicode 字符)。习惯性,我会使用单引号声明字符串,因为这是 PHP 中常见做法。使用双引号声明字符串会需要一段时间调整。

    66110编辑于 2022-07-18
  • 来自专栏码农编程进阶笔记

    PHPer 准备 Go 入门知识

    我还希望该应用程序可以独立包含在一个二进制文件中,以便于分发和安装。我下载了 Go,对它易学性和在短时间内获得生产力感到惊讶。 Windows & Linux Go 官网有每种操作系统下载资源,包括针对 Windows 系统「下一步下一步」安装器。 开始在 Go 里面,所有工程源代码都保存在一个目录:GOPATH。 与 PHP 主要区别 现在您已经设置了一个项目,您可以开始探索不同 go 功能。你会注意到第一件事是 Go 中不需要分号。语句结尾由新行检测。 如果你 Go 代码中有一个名为 controllers 文件夹,在这个文件夹下所有文件都需要以 package controllers 开头。 Go 中一个单引号值代表一个 rune (一个 Unicode 字符)。习惯性,我会使用单引号声明字符串,因为这是 PHP 中常见做法。使用双引号声明字符串会需要一段时间调整。

    1.7K20发布于 2021-07-20
  • 来自专栏Kirin博客

    一个电影多进程爬虫

    今天又是待在家里一整天,闲着没事干,写写爬虫打发时间, 注释什么都在下面了,不想写了,慢慢看吧 from multiprocessing import Pool import requests from /497ddbfe3e702ea73920fb839aa61862/1538820486/film_0%04d.ts' % i # 设置视频碎片下载地址 设置占位符 %04d 4个字符串 tmd 坑爹% s 浪费我几个小时 html=requests.get(url,headers=headers) print(url) ret=html.content # 将获取到链接 p=Pool(25) # 设置25个进程下载 for i in range(1192): # 设定循环次数,i用于给前面定义占位符提供参数 p.apply_async(download , args=(i, )) # 开启进程池 开启下载 p.close() # 线程关闭 p.join() # 线程阻塞 # 最后是在本地cmd下面操作 # 切换到ts保存盘符下

    35120发布于 2020-05-09
  • 来自专栏IT运维技术圈

    开源一个爬取豆瓣电影脚本

    爬取豆瓣电影脚本 # 波哥首发 import time import requests import json from lxml import etree def getPage(url):

    77520编辑于 2022-06-27
  • 来自专栏Web技术布道师

    一个 1年工作经验 PHPer是如何被面试官虐

    前言 首先需要说明一点,本人只是一个毕业一年,只有一年工作经验普通PHPer,能力有限,这篇文章只是将我这几周来感受和体验分享出来,希望能给许多像我一样,或者互联网行业新手带来一些收获,当然哪里说不对或不足还是希望大神们可以加以点评补充 主要是第一轮面试: 第一个问题:Redis5种数据类型,只答了一个String。 第二个问题:你知道Redis怎么做到数据落地,同步数据库吗?连数据类型都不知道,我只能说不清楚,没用过。 接着是一个头发相对稀疏,经验应该更加老道的人来面试我: 我简历有提到一个JWT相关知识,所以他让我描述具体东西,和session区别等。 其实有关JWT问题,面试官应该是没用过,服务器这边其实有一个私钥Secret字符串用来签名,从而达到前后加密解密验证效果 第二个问题应该是还有一个spl_autoload_register可以用来注册多个文件 第二天回公司第一件事就是找我们总监要辞职,要一个星期后走,结果被告知要走一个交接流程,其实那时候我东西基本交接差不多了,项目也不大,但是公司给理由是,如果你没有工作交接说明你平时没做事,工作不饱和

    50210发布于 2019-04-24
  • 来自专栏知晓程序

    爱看你,一定会喜欢这款小程序

    阅读可是一件很有趣事呢。 即便一个月只能读完一本书,日积月累后,当你把读过书放满整个书架时候,一定会非常享受这份喜悦。 本期,「知晓程序」就给爱看你,推荐一款可以收集、记录藏书小程序「口袋书架」,它能帮你整理藏书,记录读书快乐,与书友分享读书心得。 塞满你电子书架 打开「口袋书架」,你能看到一个电子书架。点击右上角「+」,便可以把你的藏书装进去啦。 两个有意思小功能:「卡片」和「基因」 谈到「卡片」,不得不说说「口袋书架」第一个有意思小功能了,点击底部第二个标签「卡片」就能体验。 ? 他人的卡片内容和底部「Up」次数,也能给你选择想读的书一个重要参考,再也不用担心无书可读了。 另一个有意思小功能就是底部第三个标签「基因」,个人最喜欢这一部分,绝对是这个小程序加分项。 ?

    60410发布于 2018-08-01
  • 一个PHPer偷懒哲学:如何用两套模板跳过重复造轮子

    作为一个PHPer,在做新项目的时候,配权限系统、调接口加密、搞菜单路由... 这些代码就像 开发者家务活——技术含量不高,但总得有人干。 像是后台,直接从以前做完项目拷的话还要删不少东西,而如果直接从比较成熟像是BuildAdmin或者Vue Naive Admin之类项目直接开始的话,又免不了要做很多配置,而且后台总会涉及到角色管理啊 于是我把这些年攒 “重复代码包” 提炼成了两个开箱即用仓库:vue-admin-essentials —— 删繁就简后台模板php-webman-essentials —— 即插即用PHP脚手架一 后台管理三大件不用重写用户权限(RBAC四件套:用户+角色+菜单+权限)接口规范(统一响应格式/错误码/数据加解密)基础配置(前后端.env文件藏着90%配置项)消灭联调时经典对话undefined ,或者说需要更多内置服务大型项目比较好,而我这边大部分项目都称不上造火箭,Webman开启协程后HyPerf也没有特别大性能优势,所以选择了相对比较轻量webman我配置习惯可能和你不同undefined

    16600编辑于 2025-03-24
  • 来自专栏Web技术布道师

    每个 PHPer 都应当掌握注释标记

    或许你离漂亮代码,就差一个标签^_^ 项目工程地址: https://github.com/yinggaozhen/doc-demo/tree/master/php _ @deprecated @deprecated yinggaozhen/doc-demo/tree/master/php/deprecated 语法 @deprecated [<version>] [<description>] 描述 @deprecated 可以填写一个版本号 yinggaozhen/doc-demo/tree/master/php/internal 语法 @internal [description] 使用场景 此标签通常可使用在单元测试中,比如在单元测试中定义了一个测试用类 √ √ 内部程序 √ X _ @var @var : 定义一个数据类型. _ @throws @throws : 抛出一个异常,告诉调用方需要做好处理异常相关工作.

    1K30发布于 2019-07-10
  • 来自专栏全栈程序员必看

    统计电影票房排名前10电影并存入还有一个文件

    今天看到一个笔试题,是这种:给定一个文件(m.dat)。里面保存了各个电影票房统计。 要求敲代码统计票房排名前10电影。并把统计结果存入还有一个文件。自己试着用C++实现一下,代码分享例如以下:(linux下gcc 编译) gcc编译,运行时要传入两个命令行參数,比方:. li.dat 为存放前10文件) #include <iostream> #include <fstream> #include <vector> #include <algorithm> using $"和"," string::npos) str.erase (pos, 1); return atof (str.c_str ()); } string m_title; //电影名 ifs) { perror ("打开票房文件失败"); return false; } Movie movie; while (ifs >> movie) //调用重载>>操作符

    70710编辑于 2022-07-07
  • 来自专栏掘金安东尼

    记录一下我最爱看 13 个Youtuber

    广告少; 刨开政治敏感,本篇带来本瓜最爱看几个 Youtuber Channel(截至2021/10/30),排名不分先后;如果你也看过,或者有其它推荐频道,欢迎留言~ 老高與小茉 Mr & Mrs 今天简单吃一点,再作小诗一首,挺好~ 马小跳生活记 讲的是:马小跳将一个个网吧大神带出网吧故事。这真的挺了不起! 作为一个很朴实普通人,能以正能量反馈给到正在社会中挣扎网吧少年,把他们带出网吧,是一种积德、修善,这比佛学普渡众生来更有现实意义; 小钟Johnny 小钟Johnny,一名环球背包旅行者,走过28 超小厨 大美食博主,超小厨超有趣~ 陈半仙儿 塔吊司机,踏实、真诚;塔吊司机,完全不一样工作,有着完全不一样视角! 越哥说电影 越哥说电影,专注好电影!这句 slogan 没说错! 小东vlog 打工仔小东小兰,同心协力支撑着一个共同小家; 小A辣 为小A辣“勇敢”点赞 20岁了还没去过星巴克 想看点“玩尬”,锁定老马!

    1.2K30编辑于 2022-09-19
  • 来自专栏PHP实战技术

    3-5年PHPer常见面试题

    看到有很多,总结一下,比较适合有一定经验PHPer 平时喜欢哪些php书籍及博客?CSDN、虎嗅、猎云 js闭包是什么,原型链了不了解? for与foreach哪个更快? php鸟哥是谁? apc、xcache.....能不能讲一下它加速原理,与现在O+有什么差别? Node.js能彻底代替php+apache 吗? 怎样判断一个值是否存在于数组中? 一个php文件解释过程是? 一般加速php有哪些? 提高php整体性能会用到哪些技术? redis 分布式设计,如何设计? mongo 集群架构是怎样一个10G表,你用php程序统计某个字段出现次数,思路是? 会告诉你一个nginx日志例子,用你认为最佳编程语言统计一下http响应时间超过1秒前10个url? 给你一个mysql配置文件,用你认为最佳编程语言解析该文件? 给你两个路径a和b,写一个算法或思路计算a和b差距几层并显示a和b交集?

    1.5K100发布于 2018-03-09
  • 来自专栏Java

    有趣电影

    有趣电影 某城市开了一家新电影院,吸引了很多人过来看电影。该电影院特别注意用户体验,专门有个 LED显示板做电影推荐,上面公布着影评和相关电影描述。 作为该电影信息部主管,您需要编写一个 SQL查询,找出所有影片描述为非boring(不无聊) 并且 id 为奇数 影片,结果请按等级 rating 排列。 House card| Interesting| 9.1 | +---------+-----------+--------------+-----------+ 对于上面的例子,则正确输出是为 1 | War | great 3D | 8.9 | +---------+-----------+--------------+-----------+ 我代码

    35010编辑于 2025-01-21
  • 来自专栏Lemon黄

    基于Express一个电影网站--Express介绍

    ——莎士比亚 Express是一个基于Node.js平台极简、灵活Web应用开发框架,它通过了一系列强大特性,帮助开发人员创建各种Web和移动设备应用。 是作为Node.js中一个网站服务构建框架而存在,所以其本身是基于Node.js,Node.js安装在这里就不做说明。 我们在本节开发一个Express HelloWorld。 2.1、首先使用一下命令创建npm项目,或者直接使用右键快捷菜单中“新建文件”,建立一个package.json文件 npm init 如果使用命令行创建,则该命令会要求输入几个参数:项目名称,版本号 Express框架安装与简单介绍到这来就结束了,接下来我们会用Express框架结合vue来实践一个简单应用。 ?等风

    1.8K30发布于 2019-10-14
  • 来自专栏老雷PHP全栈开发

    老雷编程技术分享之PHPerkafka快速入门

    kafka简介 官网 https://kafka.apache.org/ Kafka是一种高吞吐量分布式发布订阅消息系统,它可以处理消费者在网站中所有动作流数据。 ? zookeeper.properties bin\windows\kafka-server-start config\server.properties kafka基础知识 Topic 每条发布到Kafka集群消息都有一个类别 类似于缓存Key 生产者 生产者即数据发布者,该角色将消息发布到Kafkatopic中 消费者 消费者从kafka中读取数据 安装kafkaPhP SDK

    97830发布于 2021-07-08
  • 来自专栏Web技术布道师

    10年开发经验PHPer老司机经验之谈

    二、迎难而上,积累解决问题能力 曾经有位程序开发同事在QQ签名中写到:每解决一个bug,就给自己一个提升。的确,没有真正解决过无数bug或问题程序员,谈不上专家,谈不上高级程序员。 而一个高级程序员正是从这种解决问题过程中不断地历练自己,形成一套烂熟于心问题解决思路,让自己强大。 4、熟悉web方面的其他程序,因为PHP不是一个完全独立东西,他是一个和其他语言和要素配合来完成一个项目的,如果对其他语言和要素不太熟悉,在团队协作过程中会非常吃力。 选型不是随口就能定,需要一个PHP程序员用于良好储备,个人觉得至少需要以下储备,才具备选型能力。 熟练应用至少一个PHP框架,两到三个PHP开源系统; 拥有自己一套应用系统。 ? 代码安全性好:做一名警惕程序员,任何有用户输入和上传文件地方都得额外谨慎,也许一个程序员一时疏忽就会导致一个系统顷刻间崩溃。

    83020发布于 2019-07-25
  • 来自专栏爬虫资料

    构建一个简单电影信息爬虫项目:使用Scrapy从豆瓣电影网站爬取数据

    Scrapy 是一个用 Python 编写开源框架,它可以帮助你快速地创建和运行爬虫项目,从网页中提取结构化数据。 下面我们来看一个简单 Scrapy 爬虫项目的案例,它目标是从 豆瓣电影 网站上爬取电影信息,并保存为 JSON 文件。 首先,我们需要安装 Scrapy 框架。 movies = response.css('.grid_view li') # 遍历每部电影 for movie in movies: # 创建一个 (scrapy.Item): # 定义一个名为 title 字段,用于存储电影标题 title = scrapy.Field() # 定义一个名为 rating 字段,用于存储电影评分 ,我们可以在当前目录下找到一个名为 movies.json 文件,它包含了从豆瓣电影网站上爬取电影信息。

    92630编辑于 2023-08-07
  • 来自专栏极客猴

    爬虫实战二:爬取电影天堂最新电影

    我们为了保证爬取电影信息不重复, 所以要确定一个爬取方向。目前这情况真让人无从下手。但是,我们点击主页中【最新电影】选项,跳进一个页面。蓦然有种柳暗花明又一村感觉。 ? 由图可知道,电影天堂有 5 个电影栏目,分别为最新电影、日韩电影、欧美电影、国内电影、综合电影。每个栏目又有一定数量分页,每个分页有 25 条电影信息。那么程序入口可以有 5 个 url 地址。 Xpath 解析并提取所需电影信息; 7)将爬取到电影信息存到名为 contentQueue 队列中; 8)从 contentQueue 队列中依次取出电影信息,然后存到数据库中。 2.4 代码实现 主要阐述几个重要代码 main 类 主要工作两个:第一,实例化出一个dytt8Moive对象,然后开始爬取信息。第二,等爬取结束,将数据插入到数据库中。 选择字典类型作为存储电影信息数据结构,也是自己爬坑之后才决定。这算是该站点另一个坑人地方。电影详情页中有些内容节点是没有,例如类型、豆瓣评分,所以无法使用列表按顺序保存。

    1.6K30发布于 2018-08-16
  • 来自专栏程序猿的大杂烩

    最后一个页面:构建电影详情页面

    笔记内容:最后一个页面:构建电影详情页面 笔记日期:2018-02-02 ---- 电影搜索页面构建 我们想要有一个搜索电影功能,需要在电影资讯页面顶部编写一个搜索框,当我们鼠标焦点位于该搜索框时 ,就会显示出电影搜索页面,而点击搜索框关闭图标时,需要隐藏电影搜索页面。 所以这个电影搜索页面不是一个单独页面文件,而是用隐/显方式来做。 搜索框效果图: ? 要实现这个搜索框,我们首先需要一个表单组件:input,该组件官方说明文档地址如下: https://mp.weixin.qq.com/debug/wxadoc/dev/component/input.html ---- 编写电影详情页面 以上我们已经完成了大部分页面了,现在我们来完成最后一个影详情页面,我们希望在电影资讯页面上点击某一部电影时,要能跳转到该电影详情页面,所以这是一个页面,我们首先要做事情就是创建这个页面的目录及文件

    90010发布于 2020-09-23
  • 来自专栏Web技术布道师

    2018年3月最值得 PHPer 关注开源推荐

    WebGL加速并用于训练和部署机器学习模型 js 库。 笔者评价:这个库是 google 让 TensorFlow 机器学习更加大众化一个大招之一。 nginx-lua-module ,用于做微服务网关神器,架构师必备,想晋升架构师同学赶紧收藏并学习吧。 Bootstrap 4 开发,免费且开源 HTML 仪表盘 UI套件 笔者评价:非常适合后端开发人员快速构建可用前后端 web 网站。 linux 容器工作坊:从草图中重建 Docker 笔者评价:一个不可多得 Docker 重建工具。

    49510发布于 2019-07-25
领券