首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏不温卜火

    爬虫入门经典(八) | 使用xpath_爬取

    所以本次博主任性的选择了用xpath爬取的相关信息。 一、lxml语法的简单回顾 ? ? ? ? 二、网页的简单分析 咳咳,爬取网站信息,没有网址可怎么行呢? 我们既然要爬取内容,就不可能只爬取一页内容对。 Mycsdn:https://buwenbuhuo.blog.csdn.net/ @contact: 459804692@qq.com @software: Pycharm @file: 爬 /.txt", "a", encoding="utf-8") as file: for item in self.items: file.write

    1K20发布于 2020-10-29
  • 来自专栏爬虫资料

    使用Go和JavaScript爬取动态信息的完整指南

    股市信息,特别是来自活跃交流平台如的实时数据,为投资者提供了一个独特的视角,帮助他们洞察市场趋势和投资者情绪。这些信息不仅能够揭示个股的动态,还能反映出整个行业或市场的广泛情况。 这篇文章将探讨如何利用Go和JavaScript这两种流行的编程语言,构建一个高效的网络爬虫,专门针对网站(https://guba.eastmoney.com)的动态信息进行采集。 您可以通过以下命令安装:go get github.com/got/got/browser代码实现以下是爬取东财动态信息的完整代码。 实例以下是代码运行时的示例输出:某某用户:今日股市分析某某用户:股票推荐某某用户:市场趋势预测...这些输出代表了从东财页面上提取的动态信息。 结论通过本指南,您已经了解了如何使用Go和JavaScript爬取东财上的动态信息。结合爬虫代理IP技术,不仅能确保爬虫的稳定性,还能提高隐私保护。

    60010编辑于 2024-05-14
  • 来自专栏编程教程

    金融爬虫实战:实时抓取雪球网讨论热度的技术解析

    金融爬虫实战:实时抓取雪球网讨论热度的技术解析在金融投资领域,投资者情绪是影响市场波动的重要变量。雪球网作为国内领先的投资者社区,其讨论热度数据能直观反映市场情绪变化。 本文将以实战视角,拆解如何用Python构建高效稳定的雪球热度爬虫,涵盖动态请求处理、反爬策略应对、数据存储优化等核心环节。一、技术选型:为什么选择Python+动态请求? Referer': 'https://xueqiu.com/S/SH000300'8}910url = 'https://xueqiu.com/query/v1/symbol/search/status'11params root',7 password='your_password',8 database='xueqiu',9 charset='utf8mb4'10 )11 六、总结与展望本文通过实战案例,系统讲解了雪球热度爬虫的核心技术:从动态请求构造到反爬策略应对,从数据清洗到存储优化。

    2K20编辑于 2025-11-17
  • 来自专栏黯羽轻扬

    让Monad来得更猛烈些_Haskell笔记11

    最早接触过IO Monad,后来又了解了Maybe Monad和List Monad,实际上还有很多Monad(比如Writer Monad、Reader Monad、State Monad等),位于mtl package,可以通过ghc-pkg命令来查看:

    1.9K40发布于 2019-06-12
  • 来自专栏Windows技术交流

    nano11、tiny11裁剪的win11 iso放弃,玩玩可以,正式用,算了

    看到tiny11和nano11把win11裁剪到不到3GB(主要是nano11),这还能用吗? nano11 https://github.com/ntdevlabs/nano11 tiny11 https://github.com/ntdevlabs/tiny11builder/releases / tiny11的用法参考https://blog.csdn.net/Joe192/article/details/140708086 nano11的用法跟tiny11一模一样,按如下步骤进行 使用nano11 的中间过程省略,首尾截图记录如下 nano11开头的警示语很重要: Welcome to nano11 builder! install.wim,用了nano11能变小,试了下果然。

    5.4K10编辑于 2025-09-17
  • 来自专栏福大大架构师每日一题

    音视频八文(11)-- ffmpeg 音频重采样

    所谓的重采样,就是改变⾳频的采样率、sample format、声道数等参数,使之按照我们期望的参数输出。

    1.4K20编辑于 2023-05-11
  • 来自专栏云计算运维

    Windows 11 让你的硬件过时,使用 Linux 代替

    Windows 11 终于来了,我们并不完全对此感到兴奋,它给许多电脑用户带来了困扰。 随着 Windows 11 的到来还有什么问题呢,它有什么不好的? 只有符合条件的设备才能获得 Windows 11 升级 首先,有意思的是,Windows 11 添加了一个最低系统需求,这表面上看起来还行: 1GHz 双核 64 位处理器 4GB 内存 64GB 存储空间 很简单,在 Windows 10 不再收到更新之前,都 2021 年了,换成 Linux 。今年,在你的个人电脑上尝试 Linux 变得比任何时候更有意义! Windows 11 安装需要网络连接 image.png 虽然我们不太清楚,但根据其系统要求规范,Windows 11 安装过程中将要求用户有可连通的互联网连接。 但是,Linux 不需要这样。

    1.1K20发布于 2021-09-13
  • 来自专栏悦思悦读

    开发一款A

    作者在自学机器学习的过程中,尝试开发了一个基于机器学习的A工具。本文是在赤兔的“数据挖掘”小组分享的此次开发过程和心得体会的整理。 A器开发过程 数据来源 就财经类的数据而言,现在各大门户网站都有专门的频道,信息很多,如果对实时要求高,通过爬虫取其中有用的部分应该是一个办法。 但是在我的实验中,基于人的经验来设计过滤器,准确率并不高,50%多一点,也就是比随机的选稍微好一点。 机器学习建模 接下来考虑选取合适的机器学习算法。 应该不难理解,对于选工具我们应该更关心准确率。 改进模型 为了提高准确率,在开发过程中,我做了下面这些改进尝试: 一个是扩大样本。 股灾日经常是“千跌停”,上涨的股票太少了…可以看出在这些“股灾日”的时候,模型也不太准确,出现了失真。 总结与心得 选工具利用机器学习算法,一般情况下比传统的算法(或者人为经验)的准确率高。

    3.3K80发布于 2018-03-15
  • 来自专栏镁客网

    遭血洗,科技大跌

    并且,隔夜美的暴跌态势已经蔓延到了亚太股市和欧洲股市。 今日早上,亚太市场开盘后随美一样暴跌。 其中,最早开盘的澳洲股指ASX200指数盘初跌2%,日日经225指数开盘跌2%,日本东证指数下跌3%,迈向3月以来最大跌幅,韩国KOSPI指数开盘下跌2.43%。 台加权指数开盘跌1.9%,目前跌幅扩大至逾4%。 在美惨遭血洗的时候,其中,科技巨头的股票也一路下跌。 券商Guggenheim Partner分析师Scott Minerd形容周三美的表示警告称美国经济正在全力加息以控制通胀与劳动力市场过热,它正在接近2020年的遥远财政困境。

    66940发布于 2018-10-18
  • 来自专栏机器学习算法与Python学习

    11 个 Linux 终端命令,没用过的快去试试!!

    原文:http://linux.about.com/od/commands/tp/11-Linux-Terminal-Commands-That-Will-Rock-Your-World.htm 译文: 剪切光标前的内容 3 4CTRL + K - 剪切光标至行末的内容 5 6CTRL + Y - 粘贴 7 8CTRL + E - 移动光标到行末 9 10CTRL + A - 移动光标到行首 11 安装‘htop’!绝对让你相见恨晚。 htop在终端中将进程以列表的方式呈现,有点类似于Windows中的任务管理器。你可以使用功能键的组合来切换排列的方式和展示出来的项。 11.下载Youtube视频 一般来说我们大多数人都喜欢看Youtube的视频,也会通过钟爱的播放器播放Youtube的流媒体。 总结 希望你在这篇文章中得到帮助,并且在这11条中找到至少一条让你惊叹“原来可以这样”的技巧。

    97740发布于 2019-07-04
  • 来自专栏子勰随笔

    — 来到摇,那就摇

    之前和一些人做了Android比较久的人聊天发现,自己在UI上或者整个APP的开发商一直有一些短板,因此从去年开始就陆陆续续自己倒腾个app来玩,历时半年多,断断续续也终于做出来个小玩意,分享一下。 摇简介 摇是子勰开发的一款基于手机摇一摇功能的小游戏或者游戏助手集合。目前摇已经支持骰子战争。摇中,所有游戏的使用方法都是摇一摇,打开手机摇一摇,体验摇带来的乐趣

    2.5K50发布于 2018-05-22
  • 来自专栏量子位

    Windows11提前曝光!全新UI引发争议,网友:一苹果味

    杨净 梦晨 发自 凹非寺 量子位 报道 | 公众号 QbitAI Win 11,一夜全网曝光! 连纳德拉都直呼是“Windows十年来最重大一次更新”,效果究竟如何? 怎么一苹果味。 不过,不习惯的话,还是可以在设置里换回左对齐的。 △Win10的PowerToys可以自定义窗口布局 这次Windows11泄露版的版本号是21996.1,最早的截图来自百度贴Windows11。 参考链接: [1]https://www.theverge.com/2021/6/15/22535123/microsoft-windows-11-leak-screenshots-start-menu

    66110编辑于 2023-03-10
  • 来自专栏小姚的后端记录

    浏览器输入网址到看到结果的全过程 ==首先是解析url,然后进行缓存判断,判断请求的资源在不在缓存中,如果在缓存中且没有失效,就直接使用,否则就要向服务器发起请求。

    57740编辑于 2023-10-11
  • 来自专栏搜云库技术团队

    还没用上 JDK 11,JDK 12 早期访问构建版使用

    本周Java的最大新闻可能是JDK 11的正式发布。 不过在 6 月底,JDK 11 就已经进入了 Rampdown Phase One 阶段,这意味着该版本所有新的功能特性被冻结,不会再加入更多的 JEP,然而,另一个令人兴奋的发展是JDK 12 Early JEP 325: Switch Expressions (Preview) 切换表达式 JEP 326: Raw String Literals (Preview) 原始字符串文字 本文不聊JDK 11

    57540发布于 2019-10-18
  • 来自专栏养码场

    还是先看看手里的A怎么破

    是福是祸交给时间评判。 ? A,哎! A的股民们,对于上周的行情,场主只能说一句,保重... ? 不多说了,新的一周开始了,你们准备好了吗? 养码人A:先割肉,再追高的,可能想死的心都有了。 养码人C:A的股民,一到周五,都这样想:下周应该会好些! 岁月就在这一天一天的期盼中蹉跎了。 ? ? 老小区加装电梯 in不in?

    29330发布于 2018-08-10
  • 来自专栏黄腾霄的博客

    2019-11-10-看看藏文里面一共有多少个字

    还记得我10min之前发的2019-11-10-使用StringInfo正确查找字符个数 - huangtengxiao这篇博客么? 你们以为2个Unicode组成的emoji就是极限了么? 那么问题来了,2019-11-10-使用StringInfo正确查找字符个数 - huangtengxiao博客中提到的SringInfo能不能正确识别藏文的显示字符数呢? ? 成功!! ---- 参考文献: 2019-11-10-使用StringInfo正确查找字符个数 - huangtengxiao 藏文 - 维基百科,自由的百科全书 ---- 本文会经常更新,请阅读原文: https

    89220发布于 2020-06-10
  • 爬虫技术选:Python 自动化筛选潜力

    :处理抓取到的缺失值、异常值、格式错误等问题,形成标准化数据集;选逻辑实现:基于价值投资与成长投资的核心指标,预设筛选规则,利用 Pandas 完成自动化筛选;结果输出:将筛选出的潜力整理为表格,保存为本地文件方便查阅 ,实现自动化筛选选逻辑是自动化选的核心,本文结合价值投资的经典指标,预设以下筛选规则(可根据个人投资风格调整):每股收益(EPS)> 0.3 元(反映个股盈利能力较强);净利润增长率 > 10%(反映个股具备持续成长潜力 选逻辑优化本文预设的选逻辑为基础版本,实际投资中可根据需求扩展:增加更多财务指标:资产负债率、毛利率、现金流净额等;加入行情趋势指标:5 日均线、20 日均线、成交量增长率等;引入量化模型:结合均线策略 五、总结本文通过 Python 的 Requests、BeautifulSoup4 与 Pandas 三大核心库,实现了一套完整的自动化选流程,从公开金融数据抓取到标准化清洗,再到基于价值投资指标的潜力筛选 这套流程不仅大幅提升了选效率,还避免了人工选的主观疏漏,为普通投资者和量化交易爱好者提供了可行的技术方案。

    87610编辑于 2026-01-14
  • 来自专栏测试开发干货

    《跟热饭一起学习vue》Part.11 v-if条件判断

    v-if 指令,大家一看,很明显是vue自创的。是不是还有点印象?没错,我们之前讲过这个v-if了,就是在刚刚学指令的时候用v-if举例,它的作用是决定这个元素标签是否要显示出来。

    44210编辑于 2022-05-19
  • 来自专栏IT技术分享社区

    操作系统:分享Win11几个实用小技巧,赶快收藏

    虽然不能解决掉Win11的所有问题,但至少可以让你的Win11用起更顺手! 1、让任务栏显示“右键菜单” 不支持右键,是Win11任务栏中一个最大的“Bug”,日常使用超级不便。 2、任务栏置顶 很多小伙伴都喜欢将任务栏放置到屏幕顶端或侧面,但……Win11并不支持。 5、新版Alt+Tab 除了新版任务管理器外,Win11也带来了全新的Alt+TAB外观。 很多人认为这是由于Win11的底层代码优化不佳所致,其实真正导致Win11卡顿的是因为它在打开这些位置时,会自动检索一遍Office.com里的内容。 随着微软对Win11优化力度不断增加,未来Win11相信会变得越来越理想,但至少目前这些小工具还是我们的不二之选。

    4.6K30编辑于 2022-02-17
  • 来自专栏前端少年汪的博客

    放弃Redux,转投Zustand

    Zustand 的核心思想是将状态管理与组件分离,从而使得状态管理更加集中化,同时保持了 React 的响应性和组件的可重用性。它提供了一种简单的 API,使得开发者能够轻松地在应用程序中的任何地方访问和修改状态。 使用 Zustand,开发者可以通过创建一个 store 来存储和管理应用程序的状态。这个 store 是通过调用 createStore 方法并传入一个包含状态和操作的 object 来创建的。

    1.8K10编辑于 2024-04-01
领券