本文主要学习了Python爬虫的基础,及常用的几个模块或库的使用,比如BeautifulSoup、request等。...学习目标 获取百度当天的热搜内容,并打印出来; 内容需要包含热搜的标题、热搜简介、以及热搜的指数。...预期内容 输入网址打开百度首页; 进入首页后,点击【百度热搜】,如图: 进入热搜首页后,点击【热搜】,即当前页面就是我们需要的数据: 从下图可以看出,一条热搜的内容包含了热搜标题、该热搜的简介,以及热搜的指数...,张庄村的老百姓把xx走过的一条路改名为“幸福路”,沿着“幸福路”奔向越来越好的日子......重点是学习Python正则表达式的应用,python的BeautifulSoup、request模块的使用等。
经常用到js取url的参数,记下来。...重要事项:与 slice() 和 substr() 方法不同的是,substring() 不接受负的参数。...参见http://www.w3school.com.cn/js/jsref_substring.asp 2、location.search.substring(1) ,location.search设置或返回从问号...太强大了,还不会用,参考http://www.w3school.com.cn/js/jsref_exec_regexp.asp 4、使用 decodeURIComponent() 对编码后的 URI 进行解码...参见http://www.w3school.com.cn/js/jsref_decodeURIComponent.asp
//根据当前时间加一周后 weekLater = date(’Y-m-d’,strtotime(" 也可以这样 date("Y-m-d",strtotime("-1 day")) ;直接获得前一天时间...用此方法date(“Y-m-d”, strtotime(“-1 month”))得到上个月的日期时是有问题存在的。...比如你在1月30号或1月31号时用此方法得到上月的月份会显示还是1月份。因此,采用这个函数自动获取上个月的记录则出错。
项目技术架构 后端服务 框架: NestJS (一个渐进式Node.js框架,完美支持TypeScript) 数据库: MySQL (关系型数据库存储核心数据) 缓存: Redis (用于高频访问数据缓存和会话管理...) ORM: TypeORM (强大的TypeScript ORM工具) 后台管理系统 前端框架: Vue.js (选择了熟悉的Vue作为管理后台基础) UI库: Ant Design Vue (企业级...静默授权的问题 使用的是微信静默授权其实是拿不到用户的相关详细信息、性别、图像、手机号等,这些属于用户的隐私信息。单纯的去看openid你是不知道是谁在操作,是不是可以给这个用户取一个别名呢。...以下就是取别名的js逻辑 /** * 随机生成名字 */ async function generateRandomNames(count = 1) {...const getRandomHanzi = () => { // 常用汉字Unicode范围: 0x4E00-0x9FA5 (20902个字符) // 这里取较常用的前
今天遇到一种服务端响应的参数,key是动态的 就像这样 我们一般静态key取值就是直接 data.data.id.username 但这种id是动态的 我们就只能用for in的方式取值了 var data
property_type", selector: "//dl[@class='xiangqing']/dd[4]" //默认使用XPath }, { // 写字楼的等级...gaode_lat" } ] }; configs.initCrawl = function(site) { var sourceId = 11164939; //此ID需要修改为您自己的数据源...[1]") page.contextData = JSON.stringify(pos) return page; }; /* 回调函数afterExtractField:对抽取出来的数据进行处理
moment().startOf(‘day’).format(‘YYYY-MM-DD HH:mm:ss’) // 当天0点的时间格式 moment().startOf(‘day’).format(‘X’...) // 当天0点的时间缀,以10位Unix时间戳输出(秒) moment().endOf(‘day’).format(‘YYYY-MM-DD HH:mm:ss’) // 当天23点59分59秒的时间格式...moment().endOf(‘day’).format(‘x’) //当天23点59分59秒以13位Unix时间戳输出(毫秒) moment(‘2020-06-30’).startOf(‘day’)....format(‘x’) // 2020-06-30当天0点的以13位Unix时间戳输出(毫秒) moment(‘2020-06-30’).endOf(‘day’).format(‘x’) // 2020...-06-30当天24点的以13位Unix时间戳输出(毫秒) let data = { startTime:moment(timeScope[0]).startOf(‘day’).format(‘x’)
function arrayIntersection ( a, b ) { var ai=0, bi=0; var result = new A...
/** * 获得指定日期的前一天的23:59:59 * * @param specifiedDay 指定日期 * @return 前一天日期 23:59:59 */ public
利用 Node.js 爬取一个网页,通过第三方模块 cheerio.js 分析这个网页的内容,最后将这个网页的图片保存在本地。...整体思路 通过第三方模块 request 请求网页地址,从而得到整个网页的DOM结构。...根据DOM结构利用 cheerio 模块分析出图片文件的地址,再次请求这个地址,最后将得到的图片数据储存在本地。 项目目录 image.png img 文件夹用来存储图片文件。...node_modules 文件夹是模块默认的保存位置。 index.js 文件是整个项目的入口地址。 config.js 文件是配置文件。 analyze.js 文件用来存储分析 DOM 的方法。...编程 作者:独木舟的木 链接:https://www.jianshu.com/p/5e99f514652b 来源:简书 著作权归作者所有。
Math.round()、Math.ceil()、Math.floor()分别代表取整,向上取整,向下取整。 Math.round四舍五入 参数:一个数值。...返回值:给定数值的四舍五入最接近的整数,需要注意负数的情况。 如果参数的小数部分小于5的话,则舍入到相邻的绝对值更大的整数。如果参数的小数部分小于5的话则舍入到相邻的绝对值的更小的整数。...Math.round(20.5);//返回结果为21 //特殊负数情况 x = Math.round(-20.5);//返回-20 x = Math.round(-20.51);//返回-21 向上取整...注:Math.ceil(null)返回0,而不是返回NaN错误,QAQ,js坑真多。 由于ceil是Math的静态方法,因此访问Math对象就可以直接调用了。...,Math.floor用于向下取整,Math.round用于四舍五入,对于这三种方法都需要特别注意为负数的情况,可能跟我们预想的不一样。
1.题目 有如下数据,记录每天每只股票的收盘价格,请查出每只股票的波峰和波谷的日期和价格; 波峰定义:股票价格高于前一天和后一天价格时为波峰 波谷定义:股票价格低于前一天和后一天价格是为波谷 2.数据准备...000002.SZ','20220114',20.7), ('000001.SZ','20220117',16.22), ('000002.SZ','20220117',20.87); 3.考点分析 需要比较当天价格与前一天...、后一天的价格进行比较,常规想法为进行关联,股票ID相等、日期为当天日期减1,为前一天价格,日期为当天价格加1,为后一天价格,然后进行计算;简化方法为使用lag和lead函数,可以避免进行表关联; lag...参数1为列名,参数2为往上第n行(可选,默认为1),参数3为默认值(当往上第n行为NULL时候,取默认值,如不指定,则为NULL) lead()函数 LEAD(col,n,DEFAULT) 用于统计窗口内往下第...参数1为列名,参数2为往下第n行(可选,默认为1),参数3为默认值(当往下第n行为NULL时候,取默认值,如不指定,则为NULL) 4.SQL select ts_code, trade_date
一、接口 基金实时信息:http://fundgz.1234567.com.cn/js/001186.js?...gszzl":"-2.28","gztime":"2016-05-18 15:00"}); 基金详细信息:http://fund.eastmoney.com/pingzhongdata/001186.js...v=20160518155842 数据量太大不贴了 还有两个 http://fund.eastmoney.com/js/fundcode_search.js 所有基金名称列表代码 http://fund.eastmoney.com.../js/jjjz_gs.js?...返回的数据格式不是标准的json数据,因此需要正则匹配出标准json数据。 得到标准json数据后,就可以取数据了。 注意:此接口是返回当天的数据,如果非工作日,返回前一天的数据。
总结一个非常实用的日期工具类moment.js,日期获取,格式化等。...varmoment=require('moment'); //import 方式importmomentfrom'moment'; 设定moment区域为中国 //require 方式 格式化时间类型 1.取当天时间...); 2.任意时间戳格式化,以YYYY-MM-DD HH:mm:ss形式显示 vart1=moment(1411641720000).format('YYYY-MM-DD HH:mm:ss'); 获取前一天日期...获取上周五日期,格式以YYYY-MM-DD形式显示 vart13=moment().weekday(-3).format('YYYY-MM-DD'); 可以简单理解为上周倒数第几天,上周倒数第三天就是上周五了,和当天日期无关...显示 vart19=moment().subtract(1,'months').format('YYYY-MM') 获取前一天日期,格式以YYYY-MM-DD显示 vart20 = moment().subtract
2F16JDNyMqEU7pGVemvQzjfAlOzh7nSOLPkJp3kxbTm8XtWrHp9K%2BmMClOmmhkbdjAyax5xLBWC6PJiD6o8H随便输入一些信息,触发登录,抓包找到接口图片全局搜索password,没有找到明显的有用信息...,使用xhr堆栈随便找个疑似位置打个断点跟进去图片 明显分析出a.encode就是加密方法,查看结构可以看出是webpack结构图片1.定位加载模块的方法(加载器)webpack必有一个加载模块的方法:...1 }; return t[s].call(n.exports, n, n.exports, e), }}()3.定位并扣除调用的加密方法在a.encode处下断点,跟进去找到最终的加密方法分析得知...jsencrypt.encrypt就是最终的加密方法图片将jsencrypt.encrypt的方法整段扣出来,然后作为参数填入自执行加载器中,然后在将调用jsencrypt.encrypt的方法也抠出来图片代码太长就不贴了...,最终的格式就是下面的样子,!
当天没进行交易,但是手上有股票(前一天的) b....当天买入了股票(说明前一天手里没有股票) dp[i][1] = max(dp[i-1][1], dp[i-1][0] - prices[i]); 取两者最大值 ②第i+1天交易完之后手里没有股票 a....当天没进行交易,手上又没有股票 b....当天把手里的股票买了 dp[i][0] = max(dp[i-1][0], dp[i-1][1] + prices[i]); 取两者最大值 边界条件 --- 第一天 如果买入:dp[0][1] = -prices...然后将所有的正值(代表相对前一天是涨的)累加即可。
JS逆向是指利用编程技术对网站上的JavaScript代码进行逆向分析,从而实现对网站数据的抓取和分析。...基础知识: JavaScript解析引擎是爬虫JS逆向技术中的核心之一,它能够解析网页中的JavaScript代码,获取生成的内容。...这些技术通常需要具备一定的JavaScript编程能力和对网页结构的深入理解。 实践应用示例: 以爬取京东为案例,我们可以利用爬虫JS逆向技术来获取京东网站上的商品信息,比如价格、评论等。...首先,我们将使用Python和Node.js来实现对京东网站的数据爬取,重点关注爬虫JS逆向的实践应用。...完整实现代码 最后,根据上述步骤,我们可以编写完整的爬虫JS逆向代码,实现对京东网站的数据提取和分析。
前言 查询今天的数据,或者查询某一天的数据 SQL DATE() function使我们能够从特定的历史或当前时间戳值访问日期值。...DATE() 函数 Date()函数返回从传递的datetime表达式中提取的日期。...= '2022-11-14' 获取今天的数据 方法一: 最原始的方法是给个开始时间和结束时间,用between start = datetime.strptime("2022-11-14 00:00:00...AS:用于分隔两个参数,在AS之前的是要处理的数据,在AS之后是要转换的数据类型。...data_type:目标系统所提供的数据类型,包括bigint和sql_variant,不能使用用户定义的数据类型。
一、题目 有如下数据,记录每天每只股票的收盘价格,请查出每只股票的波峰和波谷的日期和价格; 波峰:股票价格高于前一天和后一天价格时为波峰 波谷:股票价格低于前一天和后一天价格是为波谷 样例数据 +---...| 16.22 | | 000002.SZ | 20220117 | 20.87 | +------------+-------------+--------+ 二、分析 需要比较当天价格与前一天...、后一天的价格进行比较,常规想法为进行关联,股票ID相等、日期为当天日期减1,为前一天价格,日期为当天价格加1,为后一天价格,然后进行计算;简化方法为使用lag和lead函数,可以避免进行表关联; lag...业务常见度 ⭐️⭐️⭐️⭐️ 三、SQL 1.计算前一天和后一天的价格 我们使用lag函数和lead函数,对每支股票分组,开窗计算出每天股票记录的前一天和后一天记录中的价格。...,如果当天价格小于昨天价格和明天的价格则是波谷,不符合条件为其他 执行SQL select ts_code, trade_date, close, lastday_close
js 四舍五入函数 toFixed(),里面的参数 就是保留小数的位数。...注意 toFixed()方法只针对数字类型,如果是字符类型需要使用Number()等方法先转换数字类型再使用 document.write("JS保留两位小数例子");...var a=2.1512131231231321; document.write("原来的值:"+a+""); document.write("两位小数点:"+a.toFixed