首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏不温卜火

    爬虫入门经典(八) | 使用xpath_爬取

    所以本次博主任性的选择了用xpath爬取的相关信息。 一、lxml语法的简单回顾 ? ? ? ? 二、网页的简单分析 咳咳,爬取网站信息,没有网址可怎么行呢? 我们既然要爬取内容,就不可能只爬取一页内容对。 + next_url[0] print(next_url) 四、完整代码 # encoding: utf-8 ''' @author 李华鑫 @create 2020-10 Mycsdn:https://buwenbuhuo.blog.csdn.net/ @contact: 459804692@qq.com @software: Pycharm @file: 爬 /.txt", "a", encoding="utf-8") as file: for item in self.items: file.write

    1K20发布于 2020-10-29
  • 来自专栏量化投资与机器学习

    10年可视化:A春节效应

    A春节效应 综合各大研究报告,我们引用兴业金工定义的“春节月”:即包含春节假期在内的4周时间,即春节休市前的5个交易日和春节开市后的10个交易日。 根据WindQuant万矿统计显示,2010年至2019年的10年间,春节前后A大概率上涨,春节前5个交易日,有8次上涨,上涨概率80%,平均涨幅1.57%;春节后5个交易日,也有8次上涨,平均涨幅1.33% 接下来,我们再看看春节前后一周、两周内A各主要指数具体的涨跌情况。 ? 从2000年至2019年,深证成指在春节前后各时间段内的平均涨幅均超过2%。 就中小板指而言,节前5日的收益整体上要优于节前10日收益,说明越临近春节,表现越好,春节效应越显著;节后10日收益要优于节前5日收益,说明节后效应持续时间较长。 ? 创业板指节后平均涨幅大于节前,且在春节前5个交易日和春节后10个交易日内上涨概率超过80%。

    63510发布于 2020-02-20
  • 来自专栏爬虫资料

    使用Go和JavaScript爬取动态信息的完整指南

    股市信息,特别是来自活跃交流平台如的实时数据,为投资者提供了一个独特的视角,帮助他们洞察市场趋势和投资者情绪。这些信息不仅能够揭示个股的动态,还能反映出整个行业或市场的广泛情况。 这篇文章将探讨如何利用Go和JavaScript这两种流行的编程语言,构建一个高效的网络爬虫,专门针对网站(https://guba.eastmoney.com)的动态信息进行采集。 您可以通过以下命令安装:go get github.com/got/got/browser代码实现以下是爬取东财动态信息的完整代码。 实例以下是代码运行时的示例输出:某某用户:今日股市分析某某用户:股票推荐某某用户:市场趋势预测...这些输出代表了从东财页面上提取的动态信息。 结论通过本指南,您已经了解了如何使用Go和JavaScript爬取东财上的动态信息。结合爬虫代理IP技术,不仅能确保爬虫的稳定性,还能提高隐私保护。

    60010编辑于 2024-05-14
  • 来自专栏编程教程

    金融爬虫实战:实时抓取雪球网讨论热度的技术解析

    金融爬虫实战:实时抓取雪球网讨论热度的技术解析在金融投资领域,投资者情绪是影响市场波动的重要变量。雪球网作为国内领先的投资者社区,其讨论热度数据能直观反映市场情绪变化。 本文将以实战视角,拆解如何用Python构建高效稳定的雪球热度爬虫,涵盖动态请求处理、反爬策略应对、数据存储优化等核心环节。一、技术选型:为什么选择Python+动态请求? symbol=SH000300&page=1&size=10该接口返回当前页的10条讨论数据,包含评论内容、发布时间、用户ID等核心字段。二、核心实现:从请求到存储的全流程1. page8 try:9 response = requests.get(url, headers=headers, params=params, timeout=10 六、总结与展望本文通过实战案例,系统讲解了雪球热度爬虫的核心技术:从动态请求构造到反爬策略应对,从数据清洗到存储优化。

    2K20编辑于 2025-11-17
  • 来自专栏算法一只狗

    10分钟打造你的AI选系统:OpenClaw每日自动筛选5支潜力

    而现在,借助OpenClaw这样的Agent框架,加上实时行情API和自动化调度能力,普通个人也可以在10分钟内搭建一个“专属股票分析系统”。 这篇文章,会手把手带你完成这件事:从服务器部署,到QQ机器人接入;从股票分析Agent人设设计,到实时数据打通;最后,实现每天自动筛选5支潜力。不需要写复杂代码。不需要专业量化背景。 你只需要:一台服务器,一个APIKey,以及10分钟时间。那么接下来,让我们开始。 stock-dailyagent,同时让这个Agent也接入浏览器skill能力接下来,测试一下是否正确调用Finnhub,如果有返回数据则说明接入成功最后效果我让openclaw帮我输出一份盘前的报告,帮助我进行选

    6.5K113编辑于 2026-02-19
  • 来自专栏悦思悦读

    开发一款A

    作者在自学机器学习的过程中,尝试开发了一个基于机器学习的A工具。本文是在赤兔的“数据挖掘”小组分享的此次开发过程和心得体会的整理。 A器开发过程 数据来源 就财经类的数据而言,现在各大门户网站都有专门的频道,信息很多,如果对实时要求高,通过爬虫取其中有用的部分应该是一个办法。 但是在我的实验中,基于人的经验来设计过滤器,准确率并不高,50%多一点,也就是比随机的选稍微好一点。 机器学习建模 接下来考虑选取合适的机器学习算法。 应该不难理解,对于选工具我们应该更关心准确率。 改进模型 为了提高准确率,在开发过程中,我做了下面这些改进尝试: 一个是扩大样本。 股灾日经常是“千跌停”,上涨的股票太少了…可以看出在这些“股灾日”的时候,模型也不太准确,出现了失真。 总结与心得 选工具利用机器学习算法,一般情况下比传统的算法(或者人为经验)的准确率高。

    3.3K80发布于 2018-03-15
  • 来自专栏玩转Lighthouse

    10分钟,用OpenClaw打造你的AI选系统

    现在,借助 OpenClaw,加上实时行情 API 和自动化调度能力,普通个人也可以在 10 分钟内搭建一个“专属股票分析系统”,随时随地可以在手机上查看最新行情! 本文主要以“选系统”为例,手把手教你如何自定义 Skill 技能,最终“养”一只专属于你的个性化“小龙虾”。 通过本文带你完成这件事:从服务器部署,到 QQ 机器人接入;从股票分析 Agent 人设设计,到实时数据打通;最后,实现每天自动筛选 5 支潜力。注意:本文更多是技术实践分享,不做任何交易策略推荐。 最终实现效果如下:那么接下来,让我们开始。 一键部署 OpenClaw在调试选技能之前,需要先完成 OpenClaw 部署以及接入 QQ 机器人的流程,步骤大概如下:购买一台腾讯云轻量应用服务器 Lighthouse,直接选择 OpenClaw

    95.5K16150编辑于 2026-03-02
  • 来自专栏镁客网

    遭血洗,科技大跌

    策划&撰写:温暖 1010日,美国三大股指集体暴跌,标普指数连跌5日,创下了2015年以来首次“五连跌”。道指跌超过830点,创近两个月新低,纳指跌逾4%,创三个多月新低。 并且,隔夜美的暴跌态势已经蔓延到了亚太股市和欧洲股市。 今日早上,亚太市场开盘后随美一样暴跌。 台加权指数开盘跌1.9%,目前跌幅扩大至逾4%。 在美惨遭血洗的时候,其中,科技巨头的股票也一路下跌。 国内媒体认为,美债收益率上升是美承压原因之一。美国国债收益率本月以来一直攀升,10年美债收益率一度触及3.25%的七年最高水平。10月5日,有数据显示,美国失业率降到了3.7%的历史低位。

    66940发布于 2018-10-18
  • 来自专栏福大大架构师每日一题

    音视频八文(10)-- mp4结构

    (顺便⼀提,⽬前流⾏的视频编码格式AVC/H264定义在MPEG-4 Part 10)。概述mp4⽂件由box组成,每个box分为Header和Data。 rate: 65536 (0x00010000)- 1.00012 14B2F6 Preferred volume: 256 (0x0100) - 1.00013 14B2F8 Reserved: (10 Yes8 14CEB2 Track in Movie: 2 (0x0000000000000002)9 14CEB2 Track in Preview: 0 (0x0000000000000000)10 Yes8 14B356 Track in Movie: 2 (0x0000000000000002)9 14B356 Track in Preview: 0 (0x0000000000000000)10 0 (0x00000000) -8 14CF4A Modification time: 0 (0x00000000) -9 14CF4E Time scale: 90000 (0x00015F90)10

    1.5K10编辑于 2023-05-05
  • 来自专栏子勰随笔

    — 来到摇,那就摇

    之前和一些人做了Android比较久的人聊天发现,自己在UI上或者整个APP的开发商一直有一些短板,因此从去年开始就陆陆续续自己倒腾个app来玩,历时半年多,断断续续也终于做出来个小玩意,分享一下。 摇简介 摇是子勰开发的一款基于手机摇一摇功能的小游戏或者游戏助手集合。目前摇已经支持骰子战争。摇中,所有游戏的使用方法都是摇一摇,打开手机摇一摇,体验摇带来的乐趣

    2.5K50发布于 2018-05-22
  • 来自专栏小姚的后端记录

    浏览器输入网址到看到结果的全过程 ==首先是解析url,然后进行缓存判断,判断请求的资源在不在缓存中,如果在缓存中且没有失效,就直接使用,否则就要向服务器发起请求。

    57740编辑于 2023-10-11
  • 来自专栏终身学习者

    10个自己遵循的 JavaScript 技巧和实践,赶紧收藏!

    ', 2, 'two'].indexOf(value) >= 0) { } includes(): if ([1, 'one', 2, 'two'].includes(value)) { } 10

    49940编辑于 2022-06-15
  • 来自专栏养码场

    还是先看看手里的A怎么破

    是福是祸交给时间评判。 ? A,哎! A的股民们,对于上周的行情,场主只能说一句,保重... ? 不多说了,新的一周开始了,你们准备好了吗? 养码人A:先割肉,再追高的,可能想死的心都有了。 养码人C:A的股民,一到周五,都这样想:下周应该会好些! 岁月就在这一天一天的期盼中蹉跎了。 ? ? 老小区加装电梯 in不in?

    29330发布于 2018-08-10
  • 爬虫技术选:Python 自动化筛选潜力

    :处理抓取到的缺失值、异常值、格式错误等问题,形成标准化数据集;选逻辑实现:基于价值投资与成长投资的核心指标,预设筛选规则,利用 Pandas 完成自动化筛选;结果输出:将筛选出的潜力整理为表格,保存为本地文件方便查阅 GET请求,添加proxies参数配置代理 response = requests.get(url, headers=headers, proxies=proxies, timeout=10 > 0] # 过滤亏损或异常市盈率个股 df = df[df['市盈率(PE)'] < 100] # 过滤超高市盈率个股,避免泡沫标的 df = df[df['市净率(PB)'] < 10 ,实现自动化筛选选逻辑是自动化选的核心,本文结合价值投资的经典指标,预设以下筛选规则(可根据个人投资风格调整):每股收益(EPS)> 0.3 元(反映个股盈利能力较强);净利润增长率 > 10%(反映个股具备持续成长潜力 这套流程不仅大幅提升了选效率,还避免了人工选的主观疏漏,为普通投资者和量化交易爱好者提供了可行的技术方案。

    87610编辑于 2026-01-14
  • 来自专栏镁客网

    三星或将裁10%高管,并注销4.9万亿韩元存

    策划&撰写:Lynn 据报道,在下周宣布年度高管调整时,三星电子可能会将高管人数缩减5%至10%。据悉,一些部门的高管总数缩减将达10%以上,其中就包括移动业务部门。 该公司在向证交所提交的文件中称,此次注销的股票包括4.5亿普通和8100万优先。对此,三星电子解释说,之所以注销库存,为的是增加股东股权价值。

    48220发布于 2018-12-21
  • 来自专栏华章科技

    10 本大数据高分书籍,收好给头脑充充电~

    导语:机器学习和数据分析密不可分,除了网课,我相信一些优质图书肯定能帮到你的忙,今天推荐10本技术图书,都是非常实用且有帮助的,多读读多看看,肯定获益匪浅。 10. 《精益数据分析》 by Alistair Croll / Benjamin Yoskovitz ?

    42220发布于 2018-08-17
  • 来自专栏前端少年汪的博客

    放弃Redux,转投Zustand

    Zustand 的核心思想是将状态管理与组件分离,从而使得状态管理更加集中化,同时保持了 React 的响应性和组件的可重用性。它提供了一种简单的 API,使得开发者能够轻松地在应用程序中的任何地方访问和修改状态。 使用 Zustand,开发者可以通过创建一个 store 来存储和管理应用程序的状态。这个 store 是通过调用 createStore 方法并传入一个包含状态和操作的 object 来创建的。

    1.8K10编辑于 2024-04-01
  • spring八记录

    10.动态代理是什么?基于jdk proxy的代理:核心是jdk动态代理会创建一个实现相同接口的代理类,然后在运行时动态的生成该类的实例。 8.拦截器的posthandler() 逆向拦截 9.根据返回的ModelAndView选择一个适合的ViewResolver进行视图解析,根据Model和View,来渲染视图. 10.aftercompletion 10.spring怎么开启事务?3.mybatis jdbc是什么:Java DataBase Connectivity(Java语言连接数据库)1.与传统的jdbc相比,mybatis的优点?

    34710编辑于 2024-12-04
  • 来自专栏LB说IOT

    物联网龙头

    并非只有计算机和智能手机才能连接到互联网。诸如灯泡,电视,大型家用电器甚至门铃之类的日常物品越来越具有Internet连接功能。物联网(IoT)包括所有这些设备和对象,它们都通过Internet与数据中心相互通信。

    58840编辑于 2022-04-12
  • 来自专栏爬虫资料

    利用中间件实现任务去重与分发精细化:舆情数据采集与分析实战

    一、项目背景:为什么要精细化采集东财?在股票市场中,情绪驱动效应越来越明显。 散户投资者对个股的情绪变化,往往先于价格的异动,而东财作为国内最活跃的财经论坛之一,承载了大量关于个股的观点、讨论和预判内容。 为解决上述问题,我们设计了一个基于中间件机制的去重与分发精细化采集方案,并围绕东财构建了可用于舆情分析的数据模型与结构化流程。 例如我们关注的字段包括股票代码、对应名、帖子标题、正文内容、发帖时间、评论数量、互动数量(如点赞、点踩)等。这一层结构是后续进行“事件演化轨迹”分析的基础。

    46410编辑于 2025-07-23
领券