- 综合排序
- 最热优先
- 最新优先
- 来自专栏CSDN技术头条
未来5-10年，NLP将走向成熟
未来5-10年，NLP将走向成熟 最后，再介绍一下我对自然语言处理目前存在的问题以及未来的研究方向的一些考虑，供大家参考。 NPL与其他AI技术一起在金融、法律、教育、医疗等垂直领域将得到广泛应用。 但是，我们也清醒地看到，虽然有一些很好的预期，但是自然语言处理还有很多很多没有解决的问题。以下几个我认为比较重要的。
1.3K71发布于 2018-02-12 - 来自专栏入门到放弃之路
AI新闻爬虫：传统爬虫和XHR异步加密爬虫的碰撞
前言AI的发展日新月异，及时掌握一些AI的消息和妹子聊天时也不至于词穷（不建议和妹子聊技术）。所以这里就以36氪和虎嗅网为例，来讲一下如何爬取AI新闻消息以及数据整合。 36氪和虎嗅网这两个网站新闻爬虫比较具有代表性，36氪是传统的html网页爬虫，虎嗅网是异步api加载加密的爬虫，这里就从简单的36氪讲起。 通过python的requests模块发起请求，最后解析目标数据实现36Kr AI快讯爬虫的代码开发。 如图，新闻数据通过接口请求返回json的方式渲染的，而非36Kr返回的HTML，所以虎嗅网AI新闻咨询爬虫就是一个比较常见的XHR动态加载的爬虫。 结语这就是我使用爬虫爬取AI新闻的过程，使用了两个爬虫中比较常见的典型案例。像这种类别信息的采集，还有更优的程序设计架构。
1.6K50编辑于 2024-03-12 - 来自专栏新智元
【AI全球大战医生】Hinton：5-10年内深度学习取代放射科医生
此言论一出，再一次引发全球关于AI正在取代医生的焦虑讨论。 IEEE Spectrum在2018新年伊始推出专刊“AI vs Doctors”，统计了从2016年5月至今，AI在医疗领域的进展，并对比各大细分领域AI与人类医生能力差距，人工智能正在医生的主场获取成功 ，哪些医疗诊疗行业已被AI超越？ AI可以帮助医生、护士，减少他们的工作量。 英国诺丁汉大学的研究人员创建了一个AI系统，可以扫描病人的常规医疗数据，并预测哪些人在10年内会发生心脏病或中风。与标准预测方法相比，AI系统正确预测了355名患者的命运。 ?
1.1K60发布于 2018-03-20 - 来自专栏iSharkFly
AI Bot 爬虫新势力
对使用CloudFlare的用户，可以通过控制台上的配置来查看自己的网址被AI扫描了多少次。针对模型的训练，AI也需要从互联网中不断的获取内容才能对自己进行训练。 针对上面的内容和数据来看，AI的爬取量比较大，可能会超过传统的搜索引擎。
11310编辑于 2025-11-13 - 来自专栏人工智能头条
未来5-10年，自然语言处理将走向成熟
未来5-10年，NLP将走向成熟 最后，再介绍一下我对自然语言处理目前存在的问题以及未来的研究方向的一些考虑，供大家参考。 ● NLP与其他AI技术一起在金融、法律、教育、医疗等垂直领域将得到广泛应用。 但是，我们也清醒地看到，虽然有一些很好的预期，但是自然语言处理还有很多很多没有解决的问题。以下几个我认为比较重要的。
75530发布于 2018-07-20 AI 爬虫处置实操：用 EdgeOne 一键拦截 20+ 种 AI 爬虫
先说结论：如果你有一个公开可访问的网站，大概率正在被 AI 爬虫批量抓取，而你可能完全不知道。 、Bytespider、CCBot、anthropic-ai 等这些是主流 AI 爬虫的标识某些 Path 的请求量异常高（如 /sitemap.xml、/feed、全站文章页）AI 爬虫倾向于先读 sitemap 二、核心操作：一键开启 AI 爬虫处置确认有 AI 爬虫活动后，接下来开启防护。 ：> - AI 爬虫处置不影响百度蜘蛛、Googlebot 等搜索引擎爬虫——你的 SEO 不会受到任何影响> - 特征库覆盖 20+ 种主流 AI 爬虫，且持续更新> - 所有套餐（含免费版）都能用这个功能立即配置 免费获取完整报告EdgeOne AI 爬虫处置可以解决"已知 AI 爬虫"的问题。但你的站可能还面临其他安全威胁——异常高频访问、恶意扫描、CC 攻击试探等。
16110编辑于 2026-04-27- 来自专栏码神联盟
网络爬虫 | Java 实现 AI人工智能技术 - 网络爬虫功能
’，网络爬虫工程师又被亲切的称之为‘虫师’。 网络爬虫概述 网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。 网络爬虫原理 网络爬虫原理： Web网络爬虫系统的功能是下载网页数据，为搜索引擎系统提供数据来源。 网络爬虫工作原理： 在网络爬虫的系统框架中，主过程由控制器，解析器，资源库三部分组成。 控制器的主要工作是负责给多线程中的各个爬虫线程分配工作任务。 控制器： 控制器是网络爬虫的中央控制器，它主要是负责根据系统传过来的URL链接，分配一线程，然后启动线程调用爬虫爬取网页的过程。
6K50发布于 2018-07-30 AI网络爬虫：搜狗图片的时间戳反爬虫应对策略
但是写了爬虫程序后，json数据爬取失败。仔细检查请求头，原来是里面加了时间戳：X-Time4p 是一个自定义的HTTP头部字段，通常用于传递与时间相关的信息。
1K10编辑于 2024-06-23- 来自专栏AI机器学习与深度学习算法
机器学习入门 5-10 线性回归的可解释性
上面使用了波士顿房价的13个特征，通过在全部数据集上进行拟合，不进行train_test_split方法是因为此时我们并不需要验证模型的性能，只是对得到结果的系数进行解释。
1.4K00发布于 2019-11-13 - 来自专栏算法修养
pta习题集 5-10 切分表达式——写个tokenizer吧
[先说点出题背景] 这个题是为低年级同学、学C语言的同学准备的，因为，对这部分同学，这个题目编写起来略有一点复杂。如果是高年级、学过了正则表达式（Regular Expression）的同学或者学过了Java等OO语言的同学做这个题，应当发现这题比较简单吧。哦，对了，什么是tokenizer？请自行查询解决。反正在此处不应翻译成“令牌解析器”。 [正题] 四则运算表达式由运算数（必定包含数字，可能包含正或负符号、小数点）、运算符（包括+、-、*、/）以及小括号（(和)）组成，每个运算数、运算符和括号
1.1K60发布于 2018-04-27 - 来自专栏新智元
首个AI游戏引擎或颠覆任天堂暴雪？0代码即可创建，黄仁勋预测5-10年游戏完全由AI生成
新智元报道 编辑：编辑部 【新智元导读】还有什么领域没有被AI渗透？继音乐之后，首个AI游戏引擎已经完全凭几个字，就能创建游戏资产和动画了。 老黄预测，未来5-10年我们将看到完全由AI生成的游戏。 「未来5-10年，我们可以看到完全由AI生成的游戏」。 这是近日GTC 2024大会之后，黄仁勋接受媒体时采访时发表的最新看法。 近日，一家专注研发无代码游戏引擎的初创公司BuildBox AI，发布了新一代AI游戏引擎——Buildbox 4 Alpha。 - AI场景生成：描述您想要的场景，从诡异的墓地到霓虹灯城市，几分钟内构建整个游戏环境。 - 快速AI编辑和手势绘制工具：只需快速点击或滑动，就可以使用基于AI和手势的绘制工具动态进行更改。 就连老黄也表示，这只需要5-10年的时间。Bethesda仍在推进下一代《上古卷轴》游戏的开发，预计2028年推出。微软和新XBox也是如此。 所有这些游戏，都将在10年后被扫地出门。
54810编辑于 2024-03-26 爬虫+动态代理助力 AI 训练数据采集
引言近年来，AI 技术飞速发展，很多朋友都投身于 AI 模型的训练。然而，相较于模型的获取，高质量的数据往往更加难以收集。 借助其代理服务，我们可以显著提高爬虫程序的访问成功率，从而更高效地获取数据，助力 AI 模型的训练。 维基百科是 AI 领域的重要数据来源，广泛用于训练 RoBERTa、XLNet 和 LLaMA 等大模型。 登录以后进入控制台，点击网页抓取API，选择进入到Web爬虫库。Web爬虫库中有各种网站的丰富爬虫应用可以直接使用。 /li/a/text()'): temp})with open('wiki_sport.txt', 'w') as f: f.write(str(result))总结在 AI 训练的道路上，高质量的数据是不可或缺的
57810编辑于 2025-03-19- 来自专栏ytkah
如何屏蔽各大AI公司爬虫User Agent
GPTBot GPTBot 是 OpenAI 使用的网络爬虫，用于下载 LLM（大型语言模型）的训练数据，为 ChatGPT 等人工智能产品提供支持。 cohere-ai 是一个未经确认的代理，可能由 Cohere 的人工智能聊天产品在需要检索互联网内容时根据用户prompts提示派遣。 1%的大站屏蔽了它 User-agent: cohere-ai Disallow: / Google-Extended Google-Extended 是谷歌用来下载人工智能训练内容的网络爬虫，用于其人工智能产品 0%的大站屏蔽了它 User-agent: FacebookBot Disallow: / anthropic-ai anthropic-ai 是一个未经证实的代理，可能是 Anthropic 用来下载 LLM（大型语言模型）训练数据的，比如AI产品Claude。
69710编辑于 2023-12-31 - 来自专栏AllTests软件测试
Thunderbit - 新一代AI网页爬虫
而Thunderbit这款AI驱动的网页抓取工具，正以“2步操作”的极简体验，重新定义数据获取的效率，成为销售、运营及项目团队的得力助手。 2、简介 Thunderbit是一款下一代AI网页爬虫工具，核心优势在于AI驱动的智能化数据抓取，无需复杂技术操作，专为销售和运营团队设计，解决数据收集效率低的问题。 （2）AI驱动的数据处理 自然语言交互：用户无需掌握技术知识，只需用自然语言写下所需列名和数据类型（如“商品名称”“价格”“发布时间”），AI即可按照需求提取数据。 点击AI网页爬虫，先选择数据源（当前页面、粘贴链接、文件图片），按当前页面，Thunderbit已经识别到Playground示例页面，之后选择爬虫模板，可使用AI推荐字段或者手动输入，这里点击AI推荐字段 Thunderbit支持定时爬虫。 Thunderbit支持AI自动填表。 工具组件：邮箱提取器。 工具组件：电话号码提取器。 工具组件：图片提取器。
1.3K10编辑于 2025-11-18 - 来自专栏Dance with GenAI
AI网络爬虫：批量爬取AI导航网站Futurepedia数据
Futurepedia致力于使AI技术对各行各业的专业人士更加可理解和实用，提供全面的AI网站和工具目录、易于遵循的指南、每周新闻通讯和信息丰富的YouTube频道，简化AI在专业实践中的整合。 如何把Futurepedia上的全部AI网站数据爬取下来呢？ 网站一页有12个AI工具介绍，根据网站说明：We've categorized 5571 AI tools into 10 categories.，估计一共有465页。
42110编辑于 2024-06-24 - 来自专栏Dance with GenAI
AI网络爬虫：用deepseek批量提取天工AI的智能体数据
天工AI的智能体首页： F12查看真实网址和响应数据： 翻页规律： https://work.tiangong.cn/agents_api/square/sq_list_by_category? , "icon": "https://static-recommend-img.tiangong.cn/ai-text-gen-image/agent-backgroud_9783755_1803007243774124032
64510编辑于 2024-07-10 - 来自专栏企鹅号快讯
Hinton：5-10年内深度学习取代放射科医生
此言论一出，再一次引发全球关于AI正在取代医生的焦虑讨论。 IEEE Spectrum在2018新年伊始推出专刊“AI vs Doctors”，统计了从2016年5月至今，AI在医疗领域的进展，并对比各大细分领域AI与人类医生能力差距，人工智能正在医生的主场获取成功 ，哪些医疗诊疗行业已被AI超越？ AI可以帮助医生、护士，减少他们的工作量。 与掌握AI技术的智者同行，是新智元之幸。2018，我们不忘初心再出发，一起构建AI开放平台，助力中国智能+ 最后，祝愿新智元的朋友们能够利用AI工具赋能社会、赋能人类。
1.5K60发布于 2018-01-05 - 来自专栏腾讯云原生团队
ImageApparate(幻影)镜像加速服务让镜像分发效率提升 5-10 倍
ImageApparate(幻影) 为了解决这个问题，腾讯云容器服务 TKE 团队开发了下一代镜像分发方案ImageApparate(幻影), 将大规模大镜像分发的速度提升 5-10倍。 ? 如上所述，相比于传统的下载全部镜像的方式，ImageApparate 在容器全部启动时间上都有 5-10倍 的提升。
1.6K10发布于 2021-02-25 - 来自专栏爬虫资料
多模态AI爬虫：文本+图像智能抓取实战
一个AI模型训练任务引发的爬虫危机上个月，公司AI组向我们数据组提出一个“看似简单”的需求：训练一个能识别商品种类的多模态模型，数据来源不限，但要求包含图像 + 商品文本 + 价格 + 折扣信息。 我心里一沉——亚马逊，图文混合，反爬一流，这可不是普通爬虫能搞定的活。 多模态AI爬虫的架构搭建与实战代码我们拆解了需求，决定使用 requests + lxml + Pillow，结合爬虫代理IP服务，实现一个具备图像和文本提取能力的智能爬虫。 k={quote(keyword)}"# 设置爬虫代理（参考亿牛云爬虫加强版示例）proxies = { "http": "http://用户名:密码@代理域名:端口", "https": 这次经历也启发我们后续开发了一套自动化“关键词 → 多模态样本”生成工具，真正走上了AI时代下数据爬虫的新台阶。
49010编辑于 2025-06-12 - 来自专栏Dance with GenAI
AI网络爬虫：对网页指定区域批量截图
10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0.0.0 Safari/537.36 找到Excel文件："F:\AI 对打开的网页进行截图，截图的区域是屏幕左上角：（X: 0,y:80），屏幕右下角：（X:1495,y:987）； 截图保存为png图片格式，用{pictitle}作为图片文件名，保存到文件夹：“F:\AI AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0.0.0 Safari/537.36" # 读取Excel文件 excel_path = "F:\AI 自媒体内容\课程列表.xlsx" df = pd.read_excel(excel_path) # 设置截图保存的文件夹 save_folder = "F:\AI自媒体内容\\" # 初始化undetected_chromedriver
46410编辑于 2024-06-24
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号