- 综合排序
- 最热优先
- 最新优先
- 来自专栏CSDN技术头条
未来5-10年，NLP将走向成熟
无论是小冰这种闲聊，还是小娜这种注重任务执行的技术，其实背后单元处理引擎无外乎就三层技术： 通用聊天，需要掌握沟通技巧、通用聊天数据、主题聊天数据，还要知道用户画像，投其所好。 敦煌研究院提供出数据，我们则把我们的引擎加上去，很快就建立了一个敦煌研究院的客服系统，借助敦煌研究院公众号，可以让用户和它聊与敦煌有关的事。 未来5-10年，NLP将走向成熟 最后，再介绍一下我对自然语言处理目前存在的问题以及未来的研究方向的一些考虑，供大家参考。 随着大数据、深度学习、云计算这三大要素推动，所谓认知智能，尤其是语言智能跟感知智能一样会有长足的发展。 最后，我认为也是非常关键的，通过无监督学习充分利用未标注数据。现在都依赖于带标注的数据，没有带标注的数据没有办法利用。但是很多场景下，标注数据不够，你找人工标注代价又极大。
1.4K71发布于 2018-02-12 - 来自专栏人工智能头条
未来5-10年，自然语言处理将走向成熟
无论是小冰这种闲聊，还是小娜这种注重任务执行的技术，其实背后单元处理引擎无外乎就三层技术： ● 通用聊天，需要掌握沟通技巧、通用聊天数据、主题聊天数据，还要知道用户画像，投其所好。 敦煌研究院提供出数据，我们则把我们的引擎加上去，很快就建立了一个敦煌研究院的客服系统，借助敦煌研究院公众号，可以让用户和它聊与敦煌有关的事。 未来5-10年，NLP将走向成熟 最后，再介绍一下我对自然语言处理目前存在的问题以及未来的研究方向的一些考虑，供大家参考。 ● 随着大数据、深度学习、云计算这三大要素推动，所谓认知智能，尤其是语言智能跟感知智能一样会有长足的发展。 6.最后，我认为也是非常关键的，通过无监督学习充分利用未标注数据。现在都依赖于带标注的数据，没有带标注的数据没有办法利用。但是很多场景下，标注数据不够，你找人工标注代价又极大。
81730发布于 2018-07-20 - 来自专栏AI机器学习与深度学习算法
机器学习入门 5-10 线性回归的可解释性
线性回归的可解释性 下面先使用sklearn封装好的线性模型在整个数据集上进行拟合： ? ? 此时查看第二大的特征“CHAS”，表示房屋是否临河，临河相应的特征值就为1，不临河的话为0，此时的"CHAS"为第二个正相关特征，也就是说“CHAS”值为1得到的房产价格就越高。 负相关中第二大的特征“DIS”，距离5个波士顿劳务中心相应的加权平均的距离，他也是和房屋价格是负相关的，也就是这个加权平均的值越小房价越高，相应的值越大对应的房价越低。 即使你的数据使用线性回归法预测的结果不够好，但是我们通过这样的方式，首先看一看数据特征和预测目标的线性关系，相应的系数有多大，这样做也是非常有意义的。 这里需要注意的是在使用线性回归算法的时候，对数据是有一个假设的：数据和最终的输出结果之间有一定的线性关系，这个线性关系越强，线性回归算法得到的结果相应的也就越好。
1.5K00发布于 2019-11-13 - 来自专栏算法修养
pta习题集 5-10 切分表达式——写个tokenizer吧
[先说点出题背景] 这个题是为低年级同学、学C语言的同学准备的，因为，对这部分同学，这个题目编写起来略有一点复杂。如果是高年级、学过了正则表达式（Regular Expression）的同学或者学过了Java等OO语言的同学做这个题，应当发现这题比较简单吧。哦，对了，什么是tokenizer？请自行查询解决。反正在此处不应翻译成“令牌解析器”。 [正题] 四则运算表达式由运算数（必定包含数字，可能包含正或负符号、小数点）、运算符（包括+、-、*、/）以及小括号（(和)）组成，每个运算数、运算符和括号
1.2K60发布于 2018-04-27 - 来自专栏企鹅号快讯
Hinton：5-10年内深度学习取代放射科医生
肺炎：斯坦福大学的算法诊断肺炎好于医生 去年9月，美国国家卫生研究院曾发布一组数据，这给斯坦福大学教授吴恩达领导机器学习小组带来了启发。 在一个星期内，斯坦福大学研究人员开发了一种名为CheXnet的算法，它能够比以前的算法更准确地发现原始数据集中的14种病理学中的10种。 自闭症：AI扫描婴儿脑部以预测自闭症 北卡罗来纳大学教堂山分校的一个研究小组发现了6个月大儿童大脑的变化与自闭症的关系，而深度学习算法能够使用数据，预测在24个月时自闭症高危儿童是否会被诊断为病症。 综合所有这些数据，STAR能够把重点放在目标上。机器人为缝合工作制定了自己的计划，并在操作过程中随着组织的移动调整了计划。 他们使用这一数据集创建了图像库，并将其作为原始像素提供给算法，每个像素都带有标签，描述了相关疾病的附加数据。 为了测试算法的性能，研究人员找来斯坦福医学院的21名皮肤科医生。
1.5K60发布于 2018-01-05 - 来自专栏腾讯云原生团队
ImageApparate(幻影)镜像加速服务让镜像分发效率提升 5-10 倍
ImageApparate(幻影) 为了解决这个问题，腾讯云容器服务 TKE 团队开发了下一代镜像分发方案ImageApparate(幻影), 将大规模大镜像分发的速度提升 5-10倍。 ? 如上所述，相比于传统的下载全部镜像的方式，ImageApparate 在容器全部启动时间上都有 5-10倍 的提升。 镜像本地缓存由不同的IAS附加存储插件自身实现，目前 CFS 实现使用了 FScache 框架作为本地缓存可以自动按页缓存访问过的在远端存储上的部分数据，根据当前磁盘通过本地缓存能力，有效提升镜像数据重复访问的性能和稳定性 Apparate-snapshotter 主要负责解析记录在镜像层中的IAS信息，从而拿到另外数据存储地址，接下来 Apparate-snapshotter 会去数据存储服务中加载远程数据，并在本地提供访问的 比如在 CFS 场景下，会把远端数据 mount 到本地，并把挂载点作为接下来本地访问的入口。当需要使用远端数据时便由 snapshotter 或内核来提供按需加载的能力。
1.6K10发布于 2021-02-25 光照计算 采用手动优化重写，通常能获得5-10倍的性能提升
物理碰撞检测光照计算 采用手动优化重写，通常能获得5-10倍的性能提升第三阶段：内存优化通过JavaScript特有的内存管理技术：代码语言：javascript代码运行次数：0运行AI代码解释// 使用对象池减少
20110编辑于 2025-07-19- 来自专栏大数据文摘
大数据：大机遇还是大忽悠？
持反方观点，为大技术时代的到来欢呼的，一位是北京大学光华管理学院新媒体营销研究中心副主任苏萌，另一位是日本政治家、内阁成员山本一太。 他提出“一台电脑论”，即科学家们研究所需的数据，最好用一台电脑就能装下，否则数据处理会过于繁琐，无助于解决问题。他结合自身经验说，随着数据量的增大，研究的准确性一开始会随之上升，但很快就会趋平。 这有三个原因：一是因为不同机构间的数据还未真正流动起来，目前还只是数据“孤岛”；二是完整的生态产业链还未形成，尽管通过行为数据分析已能够分辨出一个消费者的喜好，但从供应到购买的链条还没建成；三是因为数据分析人才仍然极度匮乏 一位听众挑战正方，说，你们认为大数据过于庞杂纷繁，反而解决不了问题，那是不是说，当处理数据的计算工具变得足够好时，大数据就会变得有用？ 正如Howard在发表“失败感言”时所说，“我们并非反对数据，只是反对大而无当的数据，数据本身当然非常重要”。人类已经并将继续产生日益庞大的数据，或许不论我们接受与否，大数据时代都已到来。
4.2K81发布于 2018-05-18 - 来自专栏服务端技术杂谈
：UBER数据大迁徙
数据大迁移的日期定为万圣节（10月31日），而这恰是交通量会非常高的一天。 上面图中的大问题是：我们仍然依赖于单一的PostgreSQL （数据库管理系统）来存储大部分的数据。下面的饼图显示了数据是如何在数据库中分配的： ? 我们评估了各种NoSQL（不同于传统的关系数据库的数据库管理系统的统称）的具有上述特点风格的数据库。 追加（无更新）数据模型：它仅支持一个只追加数据模型中，一旦它被写入后，就不能进行修改。这对于存储交易数据，并希望防止数据损坏的系统是非常有用的。由于是只追加模型，修改会自然幂等和交换。 在真正可以开始大迁移之前，第一个任务是从用户身份到用户唯一识别码的迁移，因为原代码依赖于自动递增的PostgreSQL 数据库标识符。几百条SQL查询需要被重写。
2.9K70发布于 2018-04-16 - 来自专栏分布式系统和大数据处理
大数据：大价值大机遇大变革
大数据：大价值大机遇大变革 2017-3-26 张子阳 推荐: 1 难度: 1 ? 这本书就像一个印刷出来的PPT，字体比较大，留白比较多，大量图片，全彩印刷。 概括起来有下面这些要点： 数据量正指数级别增长。大数据时代已经来临。 大数据特点：存储量大、计算量大、增长速度快、类型多样化。 制造业应用：给挖掘机安装GPS和数据上传系统，统计挖掘机每月的工作时长。然后根据大量用户的实际使用数据，来判断市场是否有过剩的风险。 银行业应用：反诈骗系统。 数据仓库（Data Warehouse）是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策。 相对稳定：数据一旦进入数据仓库以后，一般很少进行修改，更多地是对信息进行查询操作。 反映历史变化：不只是反映企业当前的状态，而是记录了过去某一点到当前各个阶段的信息。
1.2K40发布于 2018-09-30 - 来自专栏大数据文摘
2016大数据发展7大趋势
大数据已过时，算法正当道。数据已经成为一种商品，每个组织都能够收集和存储大量的数据。分析大数据也不再那么引人注目了。每个组织都可以聘用或培训大数据分析人员来了解数据模式。 由于数据湖带来了相当多的挑战，在2016年，我们将看到数据湖管理的未来：数据湖服务作为一种解决方案，为您的数据湖提供一个完整的管理方案。 由于数据湖在大规模数据存储和分析方面具有巨大优势，数据湖服务解决方案将被用于许多组织中。 因此，高级管理人员正在寻找其人力资源的确切数据，所以，2016年我们会看到人力资源分析将迈出一大步。 人力资源分析虽然是人事部门新的业务领域，但为了更好地提高人力资源的投资回报率，该业务增长极为迅速。 对于那些大的商业组织而言，大数据已经成为通用语言。在适应新趋势方面，政府是缓慢的，但是在2016年，我们会看到更多的国家、地区和地方政府会采用大数据技术来提高社会和公民的体验。
1.3K60发布于 2018-05-22 - 来自专栏程序员小灰
数据结构大总结！
说到算法，就不能不说起数据结构。今天我来讲一讲，什么是数据结构？程序员怎么学好数据结构？ 我们介绍算法的时候说过，计算机当中的算法，本质就是一系列程序指令，用以解决特定的运算和逻辑问题。 而所谓数据结构，是数据的组织、管理和存储格式。简单理解的话，数据结构就是执行算法的“原材料”。 俗话讲，巧妇难为无米之炊。算法，就好比是聪明勤劳的女主人，而数据结构，就是用来做饭做菜的柴米油盐。 数据结构都有哪些组成方式呢？ 首先，是线性结构。 但凡有过一点编程基础的小伙伴，肯定都知道数组，这就是一种典型的线性数据结构。 除了数组以外，链表也是一种重要的数据结构。 Redis当中的集合 sortedSet，背后的数据结构就是跳表。 复合数据结构，往往结合了多种基础数据结构当然优势，在特定的场景下非常有用。 这就是数据结构的几种组成方式，大家可以把这张图保存一下。由于篇幅原因，图里面所列出的具体数据结构，只是最最常用的几种，并非全部。
1.4K41发布于 2021-11-30 - 来自专栏大数据文摘
让Python和C一样快，MIT推出新编译器，训练大数据集可提速5-10倍
大数据文摘出品 Python太慢了！ 除了这个缺点，Python可以说是有无数个优点，但就是这个缺点，让无数程序员吐槽不已。 这允许编译器将代码转换为本机代码，从而避免了 Python 在运行时处理数据类型的所有消耗。 第二个难点在于编译器中的优化。 举个例子，如何使用插件实现一组特定于该某计算领域的优化？ 比如使用涉及到使用基因组序列和其他生物学数据的基因组学库。 Codon 的方法是生成一个可执行文件——让其以 C 或 C + + 的速度运行，甚至一旦应用了特定于领域的优化，运行速度甚至更快。 Codon 目前涵盖了 Python 的一个相当大的子集，不过它仍然需要合并几个动态特性，并扩大其 Python 库的覆盖范围。 除了基因组学，他们还探索了定量金融的应用，定量金融同样也需要也处理大数据集，并大量使用 Python，效果也非常显著。
64130编辑于 2023-04-10 - 来自专栏华章科技
2016大数据版图
本文全面总结了大数据领域的发展态势，分析认为尽管大数据作为一个术语似乎已经过气，但是大数据分析与应用才刚刚开始兴起，在与 AI、人工智能等新兴技术的结合下，大数据的机会也许要比大家想象的还要大。 后来随着开源运动的迅速发展，一大批此类新技术开始共享到更广的范围。然后，一些互联网大公司的工程师离职去创办自己的大数据初创企业。 大企业对由年轻的初创企业来处理自己基础设施的关键部分的谨慎是可以理解的。还有，令创业者感到绝望的是，许多（还是大多数？）企业仍顽固地拒绝把数据迁移到云端（至少不愿迁移到公有云）。 你得捕捉数据、存储数据、清洗数据、查询数据、分析数据并对数据进行可视化。这些工作一部分可以由产品来完成，而有的则需要人来做。一切都需要无缝集成起来。 大数据与 AI 的结合将会推动很多行业的惊人创新。从这个角度来说，大数据的机会也许要比大家想象的还要大。
1.2K41发布于 2018-08-14 - 来自专栏机器学习/数据可视化
数据平滑9大妙招
今天给大家分享9大常见数据平滑方法：移动平均Moving Average指数平滑Exponential Smoothing低通滤波器多项式拟合贝塞尔曲线拟合局部加权散点平滑LoessKalman滤波小波变换 它对最近的数据点给予较高的权重，而对较早的数据点给予较低的权重。这使得EMA更适合用于追踪快速变化的数据。 指数平滑的主要特点包括：加权平滑：指数平滑使用指数权重来平滑数据。较新的数据点获得更高的权重，而较旧的数据点获得较低的权重。这意味着它对最近的数据更为敏感，从而更好地捕获了数据的最新趋势。 Loess平滑通常用于探索性数据分析、数据可视化、时间序列分析和回归建模的预处理步骤。它可以帮助用户识别数据中的局部特性、趋势和周期性，从而更好地理解数据的结构。 数据平滑：Savitzky-Golay滤波器旨在平滑数据，减小数据中的高频噪声和突发波动。它保留了数据中的趋势和主要特征，同时去除了噪声。
6.3K44编辑于 2023-10-13 - 来自专栏新智元
【AI全球大战医生】Hinton：5-10年内深度学习取代放射科医生
肺炎：斯坦福大学的算法诊断肺炎好于医生 去年9月，美国国家卫生研究院曾发布一组数据，这给斯坦福大学教授吴恩达领导机器学习小组带来了启发。 在一个星期内，斯坦福大学研究人员开发了一种名为CheXnet的算法，它能够比以前的算法更准确地发现原始数据集中的14种病理学中的10种。 自闭症：AI扫描婴儿脑部以预测自闭症 北卡罗来纳大学教堂山分校的一个研究小组发现了6个月大儿童大脑的变化与自闭症的关系，而深度学习算法能够使用数据，预测在24个月时自闭症高危儿童是否会被诊断为病症。 综合所有这些数据，STAR能够把重点放在目标上。机器人为缝合工作制定了自己的计划，并在操作过程中随着组织的移动调整了计划。 他们使用这一数据集创建了图像库，并将其作为原始像素提供给算法，每个像素都带有标签，描述了相关疾病的附加数据。 为了测试算法的性能，研究人员找来斯坦福医学院的21名皮肤科医生。
1.1K60发布于 2018-03-20 - 来自专栏樯橹代码
大屏数据显示优化
大屏数据显示优化 大屏数据的页面里面包含了一些3D地图和世界航班趋势图，反应上来有个问题，就是动画比较卡顿。 而大屏像素很低，高清的图片也显示的像素点很大，看起来非常模糊，所以并没有必要使用高清的。把图片质量降低一些，切换卡顿就不见了，显示却并没有特别的变化。
5.2K20发布于 2019-09-02 - 来自专栏飞总聊IT
大数据为什么大？
但如果听数据砖家讲，那就是真的大，不但大，还金贵！ 因为从海量的数据中挖掘信息，就跟淘金差不多。 ? 因此人们给数据从业者起了上面那些亲切的名字。虽然这个行业薪水可观，但工作确实玩命！ 同时也体现了大数据行业一直以来都存在的痛点。 数据的采集抓取； 数据的存储管理； 数据的分析处理； 如何做好以上几个环节的工作，是目前大数据分析行业一直存在的难题。 这其实不是数据的问题，而是处理数据的设备问题！ 很多数据分析公司都疏忽了服务器的重要性，一些老牌数据公司甚至还在使用二手服务器做为数据载体。 这也是为什么很多重要数据总是容易泄露或丢失的原因。 ? 对于那些使用劣质服务器工作的数据分析尸们来说，每一次数据采集、抓取都是一场人与机器的博弈。 更像是一场拉锯战！ 技术创新所驱动的新硬件时代已经来到，它将为数据的未来探索保驾护航！更重要的是卓越的硬件会让数据从业者不再烦恼，真正让有价值的数据在未来跑起来，助力我们的未来智能生活！
1.7K20发布于 2018-11-06 - 来自专栏灯塔大数据
回顾2016年大数据发展，盘点十大热门数据岗位
随着很多大公司对数据分析需求增多，数据相关岗位的人才需求量也越来越大。 数据学作为一门学科，已经受到时代的追捧。 2016年的尾声即将到来，我们是时候回顾一下大数据的发展，盘点十大最热门的数据岗位。 ? TOP1 首席数据官（CDO） 三军不可无帅也，所有想在大数据项目中取得成功的公司都需要首席数据官坐镇指挥。 首席数据官的工作内容非常多，职责也很复杂，他们负责公司的数据框架搭建、数据管理、数据安全保证、商务智能管理、数据洞察和高级分析。 TOP7 大数据工程师 正如上文提到过的，数据工程师的工作是负责管理公司的数据，包括数据的收集，存储、处理和分析。从经验来看，这涉及到使用关系型数据库，来管理以表格方式存储的数据。 大数据工程师需要能够搭建并维护大型异构数据框架，这些数据通常是在MongoDB等NoSQL数据库中。
1.6K60发布于 2018-04-08 - 来自专栏数据科学与人工智能
【数据科学】教你成为数据科学“大咖”！
一、利用互联网成为“大咖” 随着互联网的迅猛发展，网络公开课的网站和APP等日益成熟，从听课、讨论到考试，一条龙的自学服务已经颇成规模。 二、学习数据科学的动力 现在数据科学家岗位面临极大的缺口。所谓数据科学家，就是同时掌握统计学 知识与程序设计技巧，能够服务大数据开发的技术专家。成为一名数据科学家，就有了大数据时代互联网行业的通行证。 四、从这里开始：数据科学的课程表 这些数据科学的开源课程，从数学、编程等几个方面塑造数据科学“大咖”。这不是为了重温大学课程，而是以问题导向准备知识。 （6）进阶 对于立志成为数据科学“大咖”的人，推荐继续阅读《Doing Data Science: Straight Talk from the Frontline》一书。 Capstone Analysis of Your Own Design; Quora’s Idea Compendium》和华盛顿大学的《Healthcare Twitter Analysis》，则能够在打开 “大咖
1.5K40发布于 2018-02-28
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号