首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏不温卜火

    爬虫入门经典(八) | 使用xpath_爬取

    所以本次博主任性的选择了用xpath爬取的相关信息。 一、lxml语法的简单回顾 ? ? ? ? 二、网页的简单分析 咳咳,爬取网站信息,没有网址可怎么行呢? 我们既然要爬取内容,就不可能只爬取一页内容对。 Mycsdn:https://buwenbuhuo.blog.csdn.net/ @contact: 459804692@qq.com @software: Pycharm @file: 爬 /.txt", "a", encoding="utf-8") as file: for item in self.items: file.write

    1K20发布于 2020-10-29
  • 来自专栏爬虫资料

    使用Go和JavaScript爬取动态信息的完整指南

    股市信息,特别是来自活跃交流平台如的实时数据,为投资者提供了一个独特的视角,帮助他们洞察市场趋势和投资者情绪。这些信息不仅能够揭示个股的动态,还能反映出整个行业或市场的广泛情况。 这篇文章将探讨如何利用Go和JavaScript这两种流行的编程语言,构建一个高效的网络爬虫,专门针对网站(https://guba.eastmoney.com)的动态信息进行采集。 您可以通过以下命令安装:go get github.com/got/got/browser代码实现以下是爬取东财动态信息的完整代码。 实例以下是代码运行时的示例输出:某某用户:今日股市分析某某用户:股票推荐某某用户:市场趋势预测...这些输出代表了从东财页面上提取的动态信息。 结论通过本指南,您已经了解了如何使用Go和JavaScript爬取东财上的动态信息。结合爬虫代理IP技术,不仅能确保爬虫的稳定性,还能提高隐私保护。

    56610编辑于 2024-05-14
  • 来自专栏编程教程

    金融爬虫实战:实时抓取雪球网讨论热度的技术解析

    金融爬虫实战:实时抓取雪球网讨论热度的技术解析在金融投资领域,投资者情绪是影响市场波动的重要变量。雪球网作为国内领先的投资者社区,其讨论热度数据能直观反映市场情绪变化。 本文将以实战视角,拆解如何用Python构建高效稳定的雪球热度爬虫,涵盖动态请求处理、反爬策略应对、数据存储优化等核心环节。一、技术选型:为什么选择Python+动态请求? 六、总结与展望本文通过实战案例,系统讲解了雪球热度爬虫的核心技术:从动态请求构造到反爬策略应对,从数据清洗到存储优化。

    1.7K20编辑于 2025-11-17
  • 来自专栏悦思悦读

    开发一款A

    作者在自学机器学习的过程中,尝试开发了一个基于机器学习的A工具。本文是在赤兔的“数据挖掘”小组分享的此次开发过程和心得体会的整理。 A器开发过程 数据来源 就财经类的数据而言,现在各大门户网站都有专门的频道,信息很多,如果对实时要求高,通过爬虫取其中有用的部分应该是一个办法。 但是在我的实验中,基于人的经验来设计过滤器,准确率并不高,50%多一点,也就是比随机的选稍微好一点。 机器学习建模 接下来考虑选取合适的机器学习算法。 应该不难理解,对于选工具我们应该更关心准确率。 改进模型 为了提高准确率,在开发过程中,我做了下面这些改进尝试: 一个是扩大样本。 股灾日经常是“千跌停”,上涨的股票太少了…可以看出在这些“股灾日”的时候,模型也不太准确,出现了失真。 总结与心得 选工具利用机器学习算法,一般情况下比传统的算法(或者人为经验)的准确率高。

    3.3K80发布于 2018-03-15
  • 来自专栏镁客网

    遭血洗,科技大跌

    并且,隔夜美的暴跌态势已经蔓延到了亚太股市和欧洲股市。 今日早上,亚太市场开盘后随美一样暴跌。 其中,最早开盘的澳洲股指ASX200指数盘初跌2%,日日经225指数开盘跌2%,日本东证指数下跌3%,迈向3月以来最大跌幅,韩国KOSPI指数开盘下跌2.43%。 台加权指数开盘跌1.9%,目前跌幅扩大至逾4%。 在美惨遭血洗的时候,其中,科技巨头的股票也一路下跌。 券商Guggenheim Partner分析师Scott Minerd形容周三美的表示警告称美国经济正在全力加息以控制通胀与劳动力市场过热,它正在接近2020年的遥远财政困境。

    66640发布于 2018-10-18
  • 来自专栏小姚的后端记录

    浏览器输入网址到看到结果的全过程 ==首先是解析url,然后进行缓存判断,判断请求的资源在不在缓存中,如果在缓存中且没有失效,就直接使用,否则就要向服务器发起请求。

    55940编辑于 2023-10-11
  • 来自专栏子勰随笔

    — 来到摇,那就摇

    之前和一些人做了Android比较久的人聊天发现,自己在UI上或者整个APP的开发商一直有一些短板,因此从去年开始就陆陆续续自己倒腾个app来玩,历时半年多,断断续续也终于做出来个小玩意,分享一下。 摇简介 摇是子勰开发的一款基于手机摇一摇功能的小游戏或者游戏助手集合。目前摇已经支持骰子战争。摇中,所有游戏的使用方法都是摇一摇,打开手机摇一摇,体验摇带来的乐趣

    2.5K50发布于 2018-05-22
  • 来自专栏养码场

    还是先看看手里的A怎么破

    是福是祸交给时间评判。 ? A,哎! A的股民们,对于上周的行情,场主只能说一句,保重... ? 不多说了,新的一周开始了,你们准备好了吗? 养码人A:先割肉,再追高的,可能想死的心都有了。 养码人C:A的股民,一到周五,都这样想:下周应该会好些! 岁月就在这一天一天的期盼中蹉跎了。 ? ? 老小区加装电梯 in不in?

    29030发布于 2018-08-10
  • 爬虫技术选:Python 自动化筛选潜力

    :处理抓取到的缺失值、异常值、格式错误等问题,形成标准化数据集;选逻辑实现:基于价值投资与成长投资的核心指标,预设筛选规则,利用 Pandas 完成自动化筛选;结果输出:将筛选出的潜力整理为表格,保存为本地文件方便查阅 ,实现自动化筛选选逻辑是自动化选的核心,本文结合价值投资的经典指标,预设以下筛选规则(可根据个人投资风格调整):每股收益(EPS)> 0.3 元(反映个股盈利能力较强);净利润增长率 > 10%(反映个股具备持续成长潜力 选逻辑优化本文预设的选逻辑为基础版本,实际投资中可根据需求扩展:增加更多财务指标:资产负债率、毛利率、现金流净额等;加入行情趋势指标:5 日均线、20 日均线、成交量增长率等;引入量化模型:结合均线策略 五、总结本文通过 Python 的 Requests、BeautifulSoup4 与 Pandas 三大核心库,实现了一套完整的自动化选流程,从公开金融数据抓取到标准化清洗,再到基于价值投资指标的潜力筛选 这套流程不仅大幅提升了选效率,还避免了人工选的主观疏漏,为普通投资者和量化交易爱好者提供了可行的技术方案。

    72110编辑于 2026-01-14
  • spring八记录

    model(模型:service、daomapper);view(视图:jsp);controller(控制:servlet)

    32510编辑于 2024-12-04
  • 来自专栏LB说IOT

    物联网龙头

    并非只有计算机和智能手机才能连接到互联网。诸如灯泡,电视,大型家用电器甚至门铃之类的日常物品越来越具有Internet连接功能。物联网(IoT)包括所有这些设备和对象,它们都通过Internet与数据中心相互通信。

    58340编辑于 2022-04-12
  • 来自专栏前端少年汪的博客

    放弃Redux,转投Zustand

    Zustand 的核心思想是将状态管理与组件分离,从而使得状态管理更加集中化,同时保持了 React 的响应性和组件的可重用性。它提供了一种简单的 API,使得开发者能够轻松地在应用程序中的任何地方访问和修改状态。 使用 Zustand,开发者可以通过创建一个 store 来存储和管理应用程序的状态。这个 store 是通过调用 createStore 方法并传入一个包含状态和操作的 object 来创建的。

    1.7K10编辑于 2024-04-01
  • 来自专栏爬虫资料

    利用中间件实现任务去重与分发精细化:舆情数据采集与分析实战

    一、项目背景:为什么要精细化采集东财?在股票市场中,情绪驱动效应越来越明显。 散户投资者对个股的情绪变化,往往先于价格的异动,而东财作为国内最活跃的财经论坛之一,承载了大量关于个股的观点、讨论和预判内容。 为解决上述问题,我们设计了一个基于中间件机制的去重与分发精细化采集方案,并围绕东财构建了可用于舆情分析的数据模型与结构化流程。 例如我们关注的字段包括股票代码、对应名、帖子标题、正文内容、发帖时间、评论数量、互动数量(如点赞、点踩)等。这一层结构是后续进行“事件演化轨迹”分析的基础。

    42110编辑于 2025-07-23
  • 来自专栏程序员千羽

    文!!

    文之计算机网络在面试中也是经常问的。 话不多说,上文!

    1.5K11编辑于 2021-12-29
  • 来自专栏学习

    学习(四)---MySQL

            首先会优化SQL写法,比如避免用SELECT *、减少子查询嵌套,用JOIN代替,还有合理使用索引,比如给查询频繁的字段建索引,同时避免索引失效的情况,像用函数操作索引列。

    15000编辑于 2025-07-18
  • 来自专栏SDNLAB

    戴尔公司买断VMware追踪

    根据今天宣布的协议,戴尔公司将以1.3665C类普通置换VMware追踪股票, 或者以每股109美元现金购买该股票,购买总金额不超过90亿美元。 在交易完成后,戴尔的C类普通将在纽约证券交易所上市。VMware股东将会拥有戴尔20.8%至31%的股份,具体的数量取决于有多少投资者愿意兑换成现金。 Michael Dell目前拥有戴尔科技72%的普通,他表示将继续担任董事长兼首席执行官。 分析师Shebly Seyrafi在一份报告中指出戴尔公司收购VMware追踪有利于VMware公司的股价,也避免了反向合并的情况。

    57720发布于 2018-07-30
  • 来自专栏王磊的博客

    比亚迪面试,全程八

    比亚迪最近几年凭借着其新能源汽车的板块大火了一把,无论是名声还是股价都涨得嘎嘎猛,但是迪子招聘编程技术岗位的人员却有两个特点:

    49310编辑于 2023-11-30
  • 来自专栏程序猿DD

    面试八文~

    大家好,最近有不少小伙伴在后台留言,近期的面试越来越难了,要背的八文越来越多了,考察得越来越细,越来越底层,明摆着就是想让我们徒手造航母嘛!实在是太为难我们这些程序员了。

    88930编辑于 2023-04-04
  • 来自专栏AI科技大本营的专栏

    百度要回归 A

    对于百度回归 A 是否接受存托凭证方式,李彦宏称:“任何形式我们都愿意接受。” 实际上,中概回归一直是一项非常艰难的事情,但也非常具有诱惑力的事情。 周鸿祎在自传中曾提到,360 从美退市并私有化的过程一波三折,历经艰难。 当然,看看 360 回归 A 后 3584.95 亿元人民币(截止发稿时间)的市值,再对比从美退市时 93 亿美元的市值,说明中概回归国内股市有利可图。 消息人士透露,海外独角兽可以通过发行中国存托凭证回归 A ,发行中国存托凭证(CDR)而不是直接发行 A ,可以绕过诸多法律和政策障碍,包括公司法对“同不同权”的限制。 除了李彦宏以外,搜狗 CEO 王小川、网易 CEO 丁磊、以及 58 同城 CEO 姚劲波等在最近的采访均透露回归 A 的意愿。 如果这一消息属实,百度回归 A ,或许就是时间问题了。

    73740发布于 2018-04-26
  • 如何用Python实现港美实时套利监控(ADR-H套利)

    很多中国公司在美国(ADR)和香港(H)两地上市,例如阿里巴巴、京东、百度等。由于两个市场的流动性、投资者结构和交易时间差异,这些资产在两个市场上常常会有价格差异。 以阿里巴巴为例:阿里ADR代码:BABA(美)阿里港股代码:9988.HK比关系:1 ADR = 8 H汇率(港币兑美元):假设为 7.82计算公式:H折算成ADR价格 = 港股价格 × 8 business=stock&apikey={API_KEY}" # 股票代码ADR_SYMBOL = "BABA"HK_SYMBOL = "9988.HK" # 汇率与换比例(真实环境建议用实时汇率 )CONVERSION_RATIO = 8 # 1 ADR = 8 HUSDHKD = 7.82 # 港币兑美元 # 当前价格缓存latest_prices = { hk_equiv print(f"\n[ 实时套利监控]") print(f"ADR: ${latest_prices['ADR']:.2f}") print(f"H折算

    64110编辑于 2025-07-11
领券