首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏不温卜火

    爬虫入门经典(八) | 使用xpath_爬取

    所以本次博主任性的选择了用xpath爬取的相关信息。 一、lxml语法的简单回顾 ? ? ? ? 二、网页的简单分析 咳咳,爬取网站信息,没有网址可怎么行呢? 我们既然要爬取内容,就不可能只爬取一页内容对。 /span/a[2]"): item["title"] = li.xpath(". Mycsdn:https://buwenbuhuo.blog.csdn.net/ @contact: 459804692@qq.com @software: Pycharm @file: 爬 /.txt", "a", encoding="utf-8") as file: for item in self.items: file.write

    1K20发布于 2020-10-29
  • 来自专栏爬虫资料

    使用Go和JavaScript爬取动态信息的完整指南

    股市信息,特别是来自活跃交流平台如的实时数据,为投资者提供了一个独特的视角,帮助他们洞察市场趋势和投资者情绪。这些信息不仅能够揭示个股的动态,还能反映出整个行业或市场的广泛情况。 这篇文章将探讨如何利用Go和JavaScript这两种流行的编程语言,构建一个高效的网络爬虫,专门针对网站(https://guba.eastmoney.com)的动态信息进行采集。 您可以通过以下命令安装:go get github.com/got/got/browser代码实现以下是爬取东财动态信息的完整代码。 实例以下是代码运行时的示例输出:某某用户:今日股市分析某某用户:股票推荐某某用户:市场趋势预测...这些输出代表了从东财页面上提取的动态信息。 结论通过本指南,您已经了解了如何使用Go和JavaScript爬取东财上的动态信息。结合爬虫代理IP技术,不仅能确保爬虫的稳定性,还能提高隐私保护。

    60010编辑于 2024-05-14
  • 来自专栏编程教程

    金融爬虫实战:实时抓取雪球网讨论热度的技术解析

    金融爬虫实战:实时抓取雪球网讨论热度的技术解析在金融投资领域,投资者情绪是影响市场波动的重要变量。雪球网作为国内领先的投资者社区,其讨论热度数据能直观反映市场情绪变化。 本文将以实战视角,拆解如何用Python构建高效稳定的雪球热度爬虫,涵盖动态请求处理、反爬策略应对、数据存储优化等核心环节。一、技术选型:为什么选择Python+动态请求? Q2:如何获取有效的Cookie?A:手动登录雪球网后,从浏览器开发者工具(Application > Cookies)复制xq_a_token和xq_r_token。 可用print(json.dumps(data, indent=2))查看完整返回数据。 六、总结与展望本文通过实战案例,系统讲解了雪球热度爬虫的核心技术:从动态请求构造到反爬策略应对,从数据清洗到存储优化。

    2K20编辑于 2025-11-17
  • ​A Level-2 行情数据 API 实战指南

    本文将系统介绍 A Level-2 行情数据 API 的技术特点、接入方案及实战应用,帮助开发者在量化交易的道路上构建坚实的数据底座。 数据量方面,A Level-2 行情每日增量约 30-45GB,历史数据可达 10TB 级别。这意味着,处理 Level-2 数据不仅需要高效的 API 接入方案,更需要强大的数据存储与计算能力。 同花顺 iFinD:延迟在 100-200 毫秒,覆盖全市场 A 及港股数据。采用年费制,数据质量稳定,功能丰富,适合专业投资机构使用。 4.2 实时行情接入代码示例以下提供 iTick API 的完整接入示例,包括 REST API 和 WebSocket 两种方式,涵盖 A 、港股、美等市场。 七、结语A Level-2 行情数据 API 为量化开发者打开了一扇通往市场微观结构的大门。从十档盘口的深度分析到逐笔成交的资金流向追踪,Level-2 数据承载着比传统行情丰富十倍的信号价值。

    1.5K21编辑于 2026-03-21
  • 来自专栏悦思悦读

    开发一款A

    作者在自学机器学习的过程中,尝试开发了一个基于机器学习的A工具。本文是在赤兔的“数据挖掘”小组分享的此次开发过程和心得体会的整理。 A器开发过程 数据来源 就财经类的数据而言,现在各大门户网站都有专门的频道,信息很多,如果对实时要求高,通过爬虫取其中有用的部分应该是一个办法。 但是在我的实验中,基于人的经验来设计过滤器,准确率并不高,50%多一点,也就是比随机的选稍微好一点。 机器学习建模 接下来考虑选取合适的机器学习算法。 应该不难理解,对于选工具我们应该更关心准确率。 改进模型 为了提高准确率,在开发过程中,我做了下面这些改进尝试: 一个是扩大样本。 股灾日经常是“千跌停”,上涨的股票太少了…可以看出在这些“股灾日”的时候,模型也不太准确,出现了失真。 总结与心得 选工具利用机器学习算法,一般情况下比传统的算法(或者人为经验)的准确率高。

    3.3K80发布于 2018-03-15
  • 来自专栏全栈程序员必看

    live2d网页看板娘_live2d

    CSS,image,JS,Live2d所需的基本资源。 下面就来实现 开发工具idea+tomcat,如果没有的小伙伴们可以自己从网上分别安装这两个资源并配置,网上有很多,这里我不在赘述了。(如果有很多人需要我或许可以出个教程…认真脸)。 "duType" value="douqilai,l2d_caihong" type="hidden">

    召唤蕾姆
    < L2Dwidget.min.js"></script> <script> L2Dwidget.init({ // 引用的模型 "model": { // jsonPath: "https://unpkg.com 本地看板娘还有一些效果没有展示,喜欢的就自己去鼓捣

1.2K41编辑于 2022-11-03
  • 来自专栏镁客网

    遭血洗,科技大跌

    并且,隔夜美的暴跌态势已经蔓延到了亚太股市和欧洲股市。 今日早上,亚太市场开盘后随美一样暴跌。 其中,最早开盘的澳洲股指ASX200指数盘初跌2%,日日经225指数开盘跌2%,日本东证指数下跌3%,迈向3月以来最大跌幅,韩国KOSPI指数开盘下跌2.43%。 台加权指数开盘跌1.9%,目前跌幅扩大至逾4%。 在美惨遭血洗的时候,其中,科技巨头的股票也一路下跌。 券商Guggenheim Partner分析师Scott Minerd形容周三美的表示警告称美国经济正在全力加息以控制通胀与劳动力市场过热,它正在接近2020年的遥远财政困境。

    66940发布于 2018-10-18
  • 来自专栏未竟东方白

    【Unity】瞎做个宝石迷阵!(2)——砖块交换

    接上篇【Unity】瞎做个宝石迷阵!(1)——构建场景 我们在成功生成盘面后,来试试看让砖块交换。 首先我们在Bricks里加入这样几个变量 ?

    76430发布于 2020-07-29
  • 来自专栏子勰随笔

    — 来到摇,那就摇

    之前和一些人做了Android比较久的人聊天发现,自己在UI上或者整个APP的开发商一直有一些短板,因此从去年开始就陆陆续续自己倒腾个app来玩,历时半年多,断断续续也终于做出来个小玩意,分享一下。 摇简介 摇是子勰开发的一款基于手机摇一摇功能的小游戏或者游戏助手集合。目前摇已经支持骰子战争。摇中,所有游戏的使用方法都是摇一摇,打开手机摇一摇,体验摇带来的乐趣! APP页面系列2 ?

    2.5K50发布于 2018-05-22
  • 来自专栏小姚的后端记录

    浏览器输入网址到看到结果的全过程 ==首先是解析url,然后进行缓存判断,判断请求的资源在不在缓存中,如果在缓存中且没有失效,就直接使用,否则就要向服务器发起请求。 (2)缓存判断: 浏览器会判断所请求的资源是否在缓存里,如果请求的资源在缓存里并且没有失效,那么就直接使用,否则向服务器发起新的请求。 该状态会持续 2MSL(最大段生存期,指报文段在网络中生存的时间,超时会被抛弃) 时间,若该时间段内没有服务端的重发请求的话,就进入 CLOSED 状态。 接收到第四次挥手的一方进入TIME_WAIT状态,等待一段时间(通常为2倍的最大报文段寿命,以确保所有可能的数据包都已传递完毕),然后关闭连接。

    57740编辑于 2023-10-11
  • 来自专栏福大大架构师每日一题

    音视频八文(3)--ffmpeg常见命令(2

    f32le.pcm`,指定采样率为 48000 Hz,声道数为 2,格式为 32 位浮点型: ``` ffplay -ar 48000 -ac 2 -f f32le 48000_2_f32le.pcm `-af` 参数,指定了一个音频滤镜 `atempo=2`,表示将音频加快倍速为原来的 2 倍。 `-vf` 参数,指定了一个视频滤镜 `setpts=PTS/2`,表示将视频加快倍速为原来的 2 倍。 atempo=2 ``` 这里我们使用了 `-vf` 参数指定了一个视频滤镜 `setpts=PTS/2`,将视频加快倍速为原来的 2 倍,同时使用了 `-af` 参数指定了一个音频滤镜 `atempo =2`,将音频加快倍速为原来的 2 倍。

    2.6K10编辑于 2023-04-22
  • 来自专栏福大大架构师每日一题

    音视频八文(2)--ffmpeg常见命令(1)

    2.将下载得到的包中的执行文件ffmpeg.exe、ffplay.exe和ffprobe.exe拷贝到C:\Windows目录下。这样,在命令行窗口中便可以直接访问这些可执行文件。 2.高级信息:输入ffmpeg -h long命令可以查看更加详细的帮助信息,包括各种输入输出格式、编码器、滤镜等的详细说明。 2.-acodeccopy选项:表示复制音频流而不进行重新编码。 3.-vcodeclibx264选项:表示使用libx264编码器进行视频编码。 4. 2.解码:分别对音频流和视频流进行解码,得到原始的音频帧和视频帧数据。 3.编码:使用指定的编码器(libx264或libx265)对视频帧进行重新编码,以达到需求的分辨率和压缩质量要求。 例如,命令ffplay -ar 48000 -ac 2 -f f32le believe.pcm中的-f f32le表示将信号解码为32位浮点格式的小端字节序。

    1.7K20编辑于 2023-06-08
  • 来自专栏菩提树下的杨过

    让 http 2来得更猛烈些

    今早在公交车上,把http2的官方讲解文档(还在草案之中)看了一圈,发现相对http 1.1确实改进了不少,完整的文档可通过:://www.gitbook.com/book/ye11ow/http2-explained “流“,下面这二列火车好比二个流,传统方式下,要传输二个流,有可能要发送二次数据(或者创建2个连接)。 2、内容是二进制的,看起来不如以前直观,调试起来不如http 1.1方便 目前的支持情况: 1、浏览器方面,Firefox、Chrome最新版本已经实现了http 2,其它浏览器比如:Safari,IE ,Opera宣称也会跟进,所以浏览器方面的普及应该不是什么大问题  2、服务器方面,目前只有H2o支持了,Apache,Nginx目前还没有跟上。 另外,值得一提是Google的开源项目gRPC,就是在 protobuf + http2 实现的RPC框架。

    64370发布于 2018-01-19
  • 来自专栏养码场

    还是先看看手里的A怎么破

    是福是祸交给时间评判。 ? A,哎! A的股民们,对于上周的行情,场主只能说一句,保重... ? 不多说了,新的一周开始了,你们准备好了吗? 养码人A:先割肉,再追高的,可能想死的心都有了。 养码人C:A的股民,一到周五,都这样想:下周应该会好些! 岁月就在这一天一天的期盼中蹉跎了。 ? ? 老小区加装电梯 in不in? 养码人B: 换成我在1,2楼也不同意,3-6楼出钱吗? 养码人C:要是有住户不同意安装,那怎么控制他们不使用电梯呢? 养码人D: 如何防止门禁卡复制,快递怎么用? ?

    29330发布于 2018-08-10
  • 爬虫技术选:Python 自动化筛选潜力

    Pandas:高性能的数据处理与分析库,负责对提取的金融数据进行清洗、整理、指标计算与筛选,是实现选逻辑的关键支撑。2. Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36'}步骤 2: 处理缺失值:删除完全缺失的行,填充部分缺失值为0 df = df.dropna(how='all') df = df.fillna(0.0) # 2. 2. 这套流程不仅大幅提升了选效率,还避免了人工选的主观疏漏,为普通投资者和量化交易爱好者提供了可行的技术方案。

    87510编辑于 2026-01-14
  • 来自专栏福大大架构师每日一题

    音视频八文(3)--ffmpeg常见命令(2

    f32le.pcm,指定采样率为 48000 Hz,声道数为 2,格式为 32 位浮点型: ffplay -ar 48000 -ac 2 -f f32le 48000_2_f32le.pcm -ar atempo=2,表示将音频加快倍速为原来的 2 倍。 setpts=PTS/2,表示将视频加快倍速为原来的 2 倍。 音视频同时变速 将 test.mp4 视频文件中的音频和视频同时进行变速播放,加快倍速为原来的 2 倍: ffplay -i test.mp4 -vf setpts=PTS/2 -af atempo=2 这里我们使用了 -vf 参数指定了一个视频滤镜 setpts=PTS/2,将视频加快倍速为原来的 2 倍,同时使用了 -af 参数指定了一个音频滤镜 atempo=2,将音频加快倍速为原来的 2

    2K121编辑于 2023-06-09
  • 来自专栏码农小胖哥的码农生涯

    来试试R2DBC

    简介 三月份已经介绍过R2DBC,它是一种异步的、非阻塞的关系式数据库连接规范。 所以今天就尝尝鲜,试一下使用R2DBC连接MySQL。 2. 环境依赖 基于Spring Boot 2.3.1和Spring Data R2DBC,还有反应式 Web 框架Webflux,同时也要依赖r2dbc-mysql库,所有的Maven依赖为: >r2dbc-mysql</artifactId> </dependency> <! R2DBC 配置 所有的R2DBC自动配置都在org.springframework.boot.autoconfigure.data.r2dbc包下,如果要配置MySQL必须针对性的配置对应的连接工厂接口

    2.3K20发布于 2020-06-28
  • 来自专栏CSDN旧文

    快放弃你的管家软件! Part 2 强制删除

    在Windows系统中,难免会遇到用常规方法无法删除文件的情况。 经常有遇到过一些情况? 软件卸载了,有些文件夹就是删不掉,提示被占用,mmp,这时候你肯定想到了360文件粉碎机!

    76210发布于 2020-10-28
  • 强一份:1-2月营收暴涨158%!

    3月4日晚间,国产探针卡大厂强一份披露了2026年1-2月经营数据,其合并营收达16,365.92万元,同比暴涨157.9%。 强一份表示,2026年1-2月经营业绩显著提升,主要系受益于 AI 算力需求爆发与半导体行业景气周期,下游头部客户需求旺盛,公司高端 MEMS 探针卡业务增长迅猛。 足见投资人对强一份的看好。 值得一提的是,华为旗下旗下的全资控股的投资公司——哈勃科技还是强一份的第四大股东,目前持股比例为4.80%。 今年2月26日,强一份公布的2025年业绩快报显示,报告期内,公司实现营业总收入约10.12亿元,同比增长57.81%,实现营业利润约4.47亿元,同比增长 72.67%;实现归属于母公司所有者的净利润约 利润总额、归属于母公司所有者的净利润、归属于母公司所有者的扣除非经常性损益的净利润、基本每股收益大幅增长的主要原因系:半导体行业需求持续扩容,公司营收快速增长,贡献了业绩增量;产品结构持续优化,成熟 2D

    25410编辑于 2026-03-19
  • 来自专栏前端少年汪的博客

    放弃Redux,转投Zustand

    2. 集成和兼容性 Zustand 与 React 的集成非常紧密,它利用了 React 的上下文和钩子系统来提供状态管理功能。 可以通过 npm 或 yarn 来安装: npm install zustand # 或者 yarn add zustand 2. function Counter() { const { count, increment, decrement } = useStore() return (

    <h2> Counter: {count}</h2> <button onClick={increment}>Increment</button> <button onClick={decrement

    1.8K10编辑于 2024-04-01
  • 领券