- 综合排序
- 最热优先
- 最新优先
- 来自专栏CSDN技术头条
未来5-10年，NLP将走向成熟
无论是小冰这种闲聊，还是小娜这种注重任务执行的技术，其实背后单元处理引擎无外乎就三层技术： 通用聊天，需要掌握沟通技巧、通用聊天数据、主题聊天数据，还要知道用户画像，投其所好。 敦煌研究院提供出数据，我们则把我们的引擎加上去，很快就建立了一个敦煌研究院的客服系统，借助敦煌研究院公众号，可以让用户和它聊与敦煌有关的事。 未来5-10年，NLP将走向成熟 最后，再介绍一下我对自然语言处理目前存在的问题以及未来的研究方向的一些考虑，供大家参考。 随着大数据、深度学习、云计算这三大要素推动，所谓认知智能，尤其是语言智能跟感知智能一样会有长足的发展。 最后，我认为也是非常关键的，通过无监督学习充分利用未标注数据。现在都依赖于带标注的数据，没有带标注的数据没有办法利用。但是很多场景下，标注数据不够，你找人工标注代价又极大。
1.3K71发布于 2018-02-12 - 来自专栏人工智能头条
未来5-10年，自然语言处理将走向成熟
无论是小冰这种闲聊，还是小娜这种注重任务执行的技术，其实背后单元处理引擎无外乎就三层技术： ● 通用聊天，需要掌握沟通技巧、通用聊天数据、主题聊天数据，还要知道用户画像，投其所好。 敦煌研究院提供出数据，我们则把我们的引擎加上去，很快就建立了一个敦煌研究院的客服系统，借助敦煌研究院公众号，可以让用户和它聊与敦煌有关的事。 未来5-10年，NLP将走向成熟 最后，再介绍一下我对自然语言处理目前存在的问题以及未来的研究方向的一些考虑，供大家参考。 ● 随着大数据、深度学习、云计算这三大要素推动，所谓认知智能，尤其是语言智能跟感知智能一样会有长足的发展。 6.最后，我认为也是非常关键的，通过无监督学习充分利用未标注数据。现在都依赖于带标注的数据，没有带标注的数据没有办法利用。但是很多场景下，标注数据不够，你找人工标注代价又极大。
77830发布于 2018-07-20 - 来自专栏AI机器学习与深度学习算法
机器学习入门 5-10 线性回归的可解释性
线性回归的可解释性 下面先使用sklearn封装好的线性模型在整个数据集上进行拟合： ? ? 即使你的数据使用线性回归法预测的结果不够好，但是我们通过这样的方式，首先看一看数据特征和预测目标的线性关系，相应的系数有多大，这样做也是非常有意义的。 所以从某种角度上来讲，我们拿到一组数据之后，先使用线性的方式试试看，总之是没有坏处的。 线性回归总结 当然线性回归算法在预测模型的时候同样需要使用测试集，用训练数据集训练出模型，不同于前面介绍的kNN算法，此时的模型是一个实实在在的模型，所谓的模型就可以写成y = θTx，有了这个模型之后就可以基于这个模型对测试数据集进行预测 这里需要注意的是在使用线性回归算法的时候，对数据是有一个假设的：数据和最终的输出结果之间有一定的线性关系，这个线性关系越强，线性回归算法得到的结果相应的也就越好。
1.5K00发布于 2019-11-13 - 来自专栏算法修养
pta习题集 5-10 切分表达式——写个tokenizer吧
[先说点出题背景] 这个题是为低年级同学、学C语言的同学准备的，因为，对这部分同学，这个题目编写起来略有一点复杂。如果是高年级、学过了正则表达式（Regular Expression）的同学或者学过了Java等OO语言的同学做这个题，应当发现这题比较简单吧。哦，对了，什么是tokenizer？请自行查询解决。反正在此处不应翻译成“令牌解析器”。 [正题] 四则运算表达式由运算数（必定包含数字，可能包含正或负符号、小数点）、运算符（包括+、-、*、/）以及小括号（(和)）组成，每个运算数、运算符和括号
1.1K60发布于 2018-04-27 - 来自专栏企鹅号快讯
Hinton：5-10年内深度学习取代放射科医生
肺炎：斯坦福大学的算法诊断肺炎好于医生 去年9月，美国国家卫生研究院曾发布一组数据，这给斯坦福大学教授吴恩达领导机器学习小组带来了启发。 综合所有这些数据，STAR能够把重点放在目标上。机器人为缝合工作制定了自己的计划，并在操作过程中随着组织的移动调整了计划。 虽然IBM Watson和医生都分析了病人的基因组，并且都提出了治疗方案，但等到手术的组织样本被测序之后，病人的身体已经衰退得太过厉害。 研究人员将IBM Watson进行的基因组分析结果，与NYGC的医学专家团队进行比较，后者由治疗肿瘤科医师，神经肿瘤专家和生物信息学家组成。 他们使用这一数据集创建了图像库，并将其作为原始像素提供给算法，每个像素都带有标签，描述了相关疾病的附加数据。 为了测试算法的性能，研究人员找来斯坦福医学院的21名皮肤科医生。
1.5K60发布于 2018-01-05 - 来自专栏腾讯云原生团队
ImageApparate(幻影)镜像加速服务让镜像分发效率提升 5-10 倍
ImageApparate(幻影) 为了解决这个问题，腾讯云容器服务 TKE 团队开发了下一代镜像分发方案ImageApparate(幻影), 将大规模大镜像分发的速度提升 5-10倍。 ? 如上所述，相比于传统的下载全部镜像的方式，ImageApparate 在容器全部启动时间上都有 5-10倍 的提升。 镜像本地缓存由不同的IAS附加存储插件自身实现，目前 CFS 实现使用了 FScache 框架作为本地缓存可以自动按页缓存访问过的在远端存储上的部分数据，根据当前磁盘通过本地缓存能力，有效提升镜像数据重复访问的性能和稳定性 Apparate-snapshotter 主要负责解析记录在镜像层中的IAS信息，从而拿到另外数据存储地址，接下来 Apparate-snapshotter 会去数据存储服务中加载远程数据，并在本地提供访问的 比如在 CFS 场景下，会把远端数据 mount 到本地，并把挂载点作为接下来本地访问的入口。当需要使用远端数据时便由 snapshotter 或内核来提供按需加载的能力。
1.6K10发布于 2021-02-25 - 来自专栏数据科学与人工智能
数据分析框架|数据分析
数据分析是数据时代和数据经济里面的“硬实力”，数据分析有一套系统的科学的方法论，简称为“数据分析框架”。 数据分析是什么？为什么要掌握和应用数据分析呢？每一位数据人在玩数据的路上，都可以问问自己。 关于数据分析是什么，可以阅读这篇文章《数据分析到底是什么》 1 数据分析框架，数据分析的方法论和指南针。 ? 2 数据分析流程，数据分析的思考路线和工作步骤。 ? 说明：这两图片摘录埃森哲数据分析方法论 看了数据分析框架和数据分析流程图，数据人很容易想到IBM公司的数据挖掘标准：CRISP-DM，标准如下图所示： ? 这个标准就是数据分析框架和流程的源泉，关于这个标准简要说明如下。 ，评价结果，重审过程 部署（deployment）：分析结果应用 俗话说“实践出真知”。
3.7K61发布于 2018-02-28 - 来自专栏Python研究者
数据分析项目-数据分析岗位近况分析
数据读取 理解数据 数据清洗 数据分析 1、数据读取 #导入相关模块 import pandas as pd import numpy as np import matplotlib.pyplot as 考虑数据类的岗位有数据运营、数据挖掘、商业分析师、算法工程师、ETL工程师等 salary_range字段清洗 #观察salary_range字段 df['salary_range'].unique( 4、数据分析 整体思路 数据类岗位整体需求 城市、学历、工作经验对薪水的影响 不同岗位对应的学历要求、薪水分布情况 公司一般会用什么福利待遇来吸引求职者 不同岗位要求的关键技能点是什么 1、数据类岗位整体需求 =0.7) #薪水 plt.subplot(2,3,6) #对薪水划分层次，如18K属于15-10 bins=[0,3,5,10,15,20,30,105] level=['0-3','3-5','5- +list_tag4+list_tag5).value_counts() #数据分析职位相关技能 #数据挖掘职位相关技能
2.6K42发布于 2020-09-28 光照计算 采用手动优化重写，通常能获得5-10倍的性能提升
物理碰撞检测光照计算 采用手动优化重写，通常能获得5-10倍的性能提升第三阶段：内存优化通过JavaScript特有的内存管理技术：代码语言：javascript代码运行次数：0运行AI代码解释// 使用对象池减少
17510编辑于 2025-07-19- 来自专栏Hank’s Blog
数据分析数据运营商业分析
从职场生涯看，成为某领域的数据专家，会是一个更好的筹码。 而路线大致可以划分成四大方向： 数据分析，数据挖掘，数据产品，数据工程。 数据分析/数据运营/商业分析 这是业务方向的数据分析师。 这里更多指互联网行业，偏业务的数据分析师，一般属于运营部门。不少公司也称数据运营或者商业分析。 因为要求高，所以数据挖掘的平均薪资高于数据分析师。 一个分工明确的团队，数据分析师负责将业务需求抽象成一个具体的数据假设或者模型。 此类数据产品经理，更多是注重数据分析能力，擅长用分析进行决策。数据是能力的一部分。 后者，是真正意义上的数据产品经理。 部分归属到技术部的数据分析师，虽然Title叫数据分析（其实应该叫数据分析开发工程师），很多工作也是围绕ETL/DW/BI进行，那么这就是标准的数据工程路线。
3.4K21编辑于 2022-11-29 - 来自专栏数据科学与人工智能
数据分析的数据敏感性?|数据分析
摘要：什么叫数据敏感？怎样做数据分析？ 一、从数据维度做拆分，让目标更加落地。 我做过近两年的电商运营，其中感触很深的一个点就是从数据的维度对目标做拆分。 四、一篇完整的数据分析报告应该包含哪些内容? 前面讲了一些理论层面的，最后给一个数据分析模板给大家，供参考。 1、首先你需要根据活动目标确定你的目标达成率，完成百分比，提升百分比。 3、转化率分析，也就是漏斗模型分析。前文提到了，漏斗模型需要对比的数据，所以在此处的分析，我们需要列两个漏斗模型。 ? 我们常做的数据分析，是建立在海量数据的情况下，但往往在初创公司，数据系统还不完善，数据量不够的情况下，数据只能作为参考，过分相信数据往往会导致做出错误的判断。 做数据分析，重点不在数据，而在分析，对数据敏感，就是能清楚数据异常背后的原因，这需要经验，也需要你的思考和执行力。希望你可以成为一个对数据敏感的互联网人。 来源：酥酥说----
3.7K70发布于 2018-02-28 - 来自专栏ShowMeAI研究中心
图解数据分析 | 数据分析介绍
二、数据分析的应用 数据分析的数学基础在20世纪早期就已确立，但计算机出现后，规范和自动化的分析才具备可行性。现在，数据分析已经广泛地应用到了各个领域。 打开各种招聘网站，越来越多的岗位开始要求『具备一定的数据分析能力』。同样参与面试的两个优秀候选人，具备数据分析能力的那个有更大的机会拿到Offer。 （2）学习数据分析可以得到更多的晋升机会。 （3）学习数据分析拓宽就业方向。 大中型企业（尤其是头部企业），都设置有『数据分析』岗位，例如数据分析师、数据科学家等等。目前各种数据分析岗位招聘需求都相对较大。 （4）学习数据分析可以参与公司的决策核心。 （2）掌握数据分析的人才为企业的发展带来更多的可能。 通过市场数据分析和用户数据分析，可以为目标用户提供更精准的产品和夫，从而提高企业营收规模。
1.5K62编辑于 2022-02-25 - 来自专栏数据科学与人工智能
【数据分析】TalkingData：游戏数据分析流程
文/ 于洋 TalkingData高级咨询总监 1.3 游戏数据分析的流程 游戏数据分析整体的流程将分为几个阶段，这几个阶段则是反映了不同企业数据分析的水平，从另一个角度，也是在解析作为一名数据分析人员究竟该如何参与到游戏数据分析业务中 如图1-2所示，对于游戏数据分析系统及数据的利用，我们分为了五个阶段，方法论、数据加工、统计分析，提炼演绎、建议方案。从工程技术、统计分析、数据挖掘以及用户营销几个方面进行了覆盖和研究。 ? 图1-2游戏数据分析流程 1.3.1方法论 方法论是数据分析的灵魂，是解决问题的普遍原则，贯穿分析始终的思想指导。这个阶段决定了我们如何埋点数据，如何设计分析指标，如何采集，如何组织数据。 统计分析是商业智能的一方面，商业智能应用还包括决策支持系统（DSS）、查询和报告、在线分析处理（OLAP）、预测和数据挖掘，统计分析则是整理数据和分析数据的综合。 所有的分析师不是为了分析数据而分析数据，崇尚数据，信仰数据，但不要盲目。
3.7K81发布于 2018-02-27 - 来自专栏数据科学与人工智能
【数据分析】数据分析报告制作指
相信很多朋友们都接触过数据分析，如何写一份数据分析报告？！
1.8K61发布于 2018-02-27 - 来自专栏数据分析之旅
数据分析场景 -- 异常数据分析
对于异常数据的分析，相信每位数据分析师都不陌生，对于业务部门来说同样很希望了解数据分析的思路。 去年同期也写过类似的一篇异常数据分析文章，过了一年后有了更进一步的思路和想法，因此再次分享一下，对于数据分析师常见的“异常数据分析”。 分析思路包括以下5个步骤： 1. 一般来说，业务数据下降这类问题会是业务方主动提出的。当然作为数据分析师也可能凭借数据敏感，发现异常数据。 这个步骤主要思考4个小问题： 什么叫异常数据？ 异常数据真的是问题吗？对比标准是什么：KPI？ 小结：异常数据分析属于“事后诸葛亮”式的后验分析，做得好也是可以发现业务中存在问题的，但同时提需要提醒数据一定要形成闭环，即从业务中来，更需要回到业务中去，落实到业务执行，分析才不会白费 附1：异常数据分析流程（去年） 附2：此图为一些分析视角，仅供参考
2.4K10764发布于 2020-08-12 - 来自专栏数据科学与人工智能
【数据分析】大数据征信分析报告
【前言】本文对于大数据征信做了透彻的分析，启示了国内存在非常好的投资机会，本文有很好的借鉴意义。希望本文作者联系我们。 本文结合美国的金融环境，对ZestFinance进行简要介绍，分析大数据征信产生的背景，剖析大数据征信技术，并全面客观地阐述了大数据征信技术对于中国互联网金融和征信业未来发展的借鉴意义。 ZestFinance对大数据技术的应用主要从大数据采集和大数据分析两个层面为缺乏信用记录的人挖掘出信用。 其中，ZestFinance开发了10个基于机器学习的分析模型，对每位信贷申请人的超过1万条数据信息进行分析，并得出超过7万个可对其行为做出测量的指标，在5秒钟内就能全部完成。 （3）ZestFinance的大数据分析模型也给信用风险管理带来复杂性的挑战。
2.9K50发布于 2018-02-27 - 来自专栏c/c++的学习笔记
python数据分析——数据分析的数据模型
前言 数据分析的数据模型是决策支持系统的重要组成部分，它通过对大量数据的收集、整理、分析和挖掘，为企业提供有价值的信息，以支持企业的战略规划和日常运营。 数据模型的选择和应用，直接关系到数据分析的准确性和有效性，进而影响企业的决策质量和市场竞争力。 在构建数据模型时，首先要明确分析的目标和需求。 综上所述，数据分析的数据模型是企业决策支持系统的重要组成部分，其选择和应用需要综合考虑分析目标、数据质量、计算资源等多个因素。 只有合理选择和运用数据模型，才能充分发挥数据分析的价值，为企业的发展提供有力支持。 从定义上看,方差分析是分析数据间均值的差异,称其为“方差分析”是因为关于均值差异的结果是通过分析方差得到的。 先来看一个方差分析的应用场景。
94111编辑于 2024-03-20 - 来自专栏开心鸭数据分析
如何用数据分析指标分析数据含义
鸭鸭在开始之前给鸭仔们介绍几个数据分析经常用到的指标： ? 平均数：数据当中有异常数值，平均值是不准确的，平均数有时候用来愚弄大众的智商。 这个数据集下载链接 Baby Goods Info Data-数据集-阿里云天池 ? 题目要求：我们根据父母的购物行为预测儿童的信息，或者根据儿童的年龄预测父母的行为。 首先鸭鸭认为数据分析的第一步一定要明确自己要解决什么问题： 第一层： 婴幼儿出生时间分布及原因分析； 婴幼儿商品购买数量分布及对商品畅按畅销度划分； 从性别、年龄、时间（月份）3个维度分析对婴幼儿商品购买数量的影响 【数据分析】 这也是最关键的一步了，这里给大家几个思路。 1.鸭鸭比较婴幼儿年龄和妈妈购买时间可以知道妈妈在婴幼儿哪个年龄段购买，还有些妈妈是在未出生前就已经购买了。 5.鸭鸭可以分析某大类产品的购买量，如果可以从property当中获取商品价格，那么在结合其性质可以分析妈妈们选择婴幼儿商品当中必需品的选择或者说易消耗品的选择的价格考量。
2.1K41发布于 2020-10-26 - 来自专栏毛利学Python
“数据分析”岗位的数据分析项目
“数据分析”岗位的分析 项目介绍 该项目选用了和鲸社区关于数据分析岗位的数据集来进行分析。 通过对数据进行清洗重塑和分析，再使用plotly等工具进行绘图，实现图表的交互式数据可视化，最后使用flask框架（利用了bootstrap）进行网页上的可视化展示。 最后展示了关于数据分析岗位的人才需求分布情况、薪资情况以及发展前景。 项目来源：选用boss直聘网站的数据分析职位的招聘数据 数据清洗 清洗重复值、空缺值，重塑职位、城市、薪资、工作经验以及行业标签数据。 东部地区的“数据分析”岗位薪资基本不在4-6k范围。 数据交互可视化展示 首页 跳转交互页面 不同城市的平均薪资 薪资在四千至六千的岗位数量 项目获取：搜索 微信小程序 项目资源下载
1.3K11编辑于 2022-12-20 - 来自专栏数据科学与人工智能
【数据分析】大数据之 “用户行为分析”
然而，在当今的商场上，还有另外一类企业不是通过简单粗暴的价格战，而是通过对数据的充分使用和挖掘而在商战中获胜的。 亚马逊在利润并不丰厚的图书行业竞争中取胜的根本原因在于对数据的战略性认识和使用，在大家还都不太明白什么是电子商务时，亚马逊已经通过传统门店无法比拟的互联网手段，空前地获取了极其丰富的用户行为信息，并且进行深度分析与挖掘 如果把所有可以采集的数据整合并进行衍生，一个用户的购买可能会受数千个行为维度的影响。对于一个一天 PU 近百万的中型电商上，这代表着一天近 1TB 的活跃数据。 亚马逊通过对这些行为信息的分析和理解，制定对客户的贴心服务及个性化推荐。 纵观国内外成功的电商企业，对用户行为信息的分析和使用，无不在这个兵家必争之地做大量投入。他们对数据战略性的高度认识和使用，非常值得国内的电商学习和借鉴。
2.6K60发布于 2018-02-27
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号