- 综合排序
- 最热优先
- 最新优先
- 来自专栏腾讯大数据的专栏
腾讯大数据｜天穹SuperSQL执行核心剖析
“随着大数据技术的蓬勃发展，在大数据平台构建过程中也面临着很多挑战和困扰” 1. 数据孤岛：由于历史原因以及不同数据中心的业务差异性，众多异构数据源形成了数据孤岛，导致大量且繁重的人工数据搬迁。 与此同时，由于不同国家的数据安全法限制，很多数据无法搬迁，数据安全和查询效率都难以保证 2. SuperSQL是腾讯自研的统一大数据自适应计算平台，以自适应作为串联，整合了不同的大数据组件。通过开放融合的架构，实现一套系统解决公有云、私有云、内网的大数据痛点问题。 腾讯天穹Presto实现了动态Catalog加载功能，允许在单一SQL中指定多个数据源Catalog，以实现跨源计算。 在天穹体系下，SuperSQL基于Data Fabric技术理念，设计出虚拟表方案实现湖仓一体。 虚拟表的本质是虚拟化，通过Schema虚拟化和数据虚拟化实现湖仓一体的融合。
2.4K51编辑于 2024-04-28 - 来自专栏凹凸玩数据
盘点 10大 数据库！
大家好，我是小五 DB-Engines 最近发布了 2021 年 9 月份的数据库排名。该网站根据数据库管理系统的受欢迎程度对其进行排名，实时统计了 378 种数据库的排名指数。 前 30 名的排行情况详见下图，前10大数据库 用线段做了分割。同时在文末，会免费赠送给大家一些数据库书籍！ 跌幅榜情况 较去年同期，本月三霸主集体暴跌再次霸占了“同期跌幅榜”。 虽然各大开源类数据库百花齐放，然而，在 DB-Engines 全球数据库排行榜上，Oracle 和 MySQL 依然是世界上最受欢迎的商业和开源类数据库，而且领跑优势还在继续扩大。 小众数据库不可小觑 数据库相关从业人员可以将 DB-Engines 数据库排名作为参考，大数据时代发展速度之快超乎我们的想象，新的数据库产品仍然在不断诞生，如果你的需求比较特殊，大众数据库产品无法很好地满足你 每天数据增量十多亿，近百万次查询请求。 快手内部也在使用 ClickHouse，存储总量大约 10PB， 每天新增 200TB， 90% 查询小于 3S。
2.5K10发布于 2021-10-18 - 来自专栏个人分享
数据挖掘10大算法详细介绍
想初步了解下怎样数据挖掘，看到一篇不错的文章转载过来啦~ 转自:http://blog.jobbole.com/89037/ 在一份调查问卷中，三个独立专家小组投票选出的十大最有影响力的数据挖掘算法 只有这样之后 SVM 才有能力对新数据进行分类。 为什么我们要用 SVM 呢？ SVM 和 C4.5大体上都是优先尝试的二类分类器。 举个 AdaBoost 算法的例子：我们开始有3个弱学习器，我们将在一个包含病人数据的数据训练集上对他们做10轮训练。数据集里包含了病人的医疗记录各个细节。 在10轮结束的时候，我们剩下了一个带着不同权重的已经训练过的联合学习分类器，之后重复训练之前回合中被误分类的数据。 这是个监督还是非监督算法？ 第四步：计算其他类时也做类似的计算： 因为0.252大于0.01875，Naive Bayes 会把长形，甜的还是黄色水果分到香蕉的一类中。 这是个监督算法还是非监督算法呢？
2.3K40发布于 2018-09-06 - 来自专栏大数据
10大数据挖掘算法及其简介
Naive Bayes 10. CART 1.C4.5 C4.5以决策树的形式构造了一个分类器。为了做到这一点，C4.5给出了一组已经分类的数据。 分类器是数据挖掘中的一个工具，它取一堆数据来表示我们想要分类的东西，并试图预测新数据属于哪个类。 例如，假设在患者数据集中。 4.Apriori Apriori算法学习关联规则，并应用于包含大量事务的数据库。 关联规则学习是一种数据挖掘技术，用于学习数据库中变量之间的相互关系和关系。 例如，假设我们有一个超市交易数据库。 在统计数据中，EM算法迭代并优化了查看观测数据的可能性，同时评估未观测变量的统计模型参数。 10.CART CART代表分类和回归树。它是一种决策树学习技术，它输出分类或回归树。和C4.5一样，CART是一个分类器。 分类树是否像决策树?分类树是决策树的一种类型。分类树的输出是一个类。
1.2K70发布于 2018-01-19 - 来自专栏ATYUN订阅号
10大数据挖掘算法及其简介
Naive Bayes 10. CART 1.C4.5 C4.5以决策树的形式构造了一个分类器。为了做到这一点，C4.5给出了一组已经分类的数据。 分类器是数据挖掘中的一个工具，它取一堆数据来表示我们想要分类的东西，并试图预测新数据属于哪个类。 例如，假设在患者数据集中。 4.Apriori Apriori算法学习关联规则，并应用于包含大量事务的数据库。 关联规则学习是一种数据挖掘技术，用于学习数据库中变量之间的相互关系和关系。 例如，假设我们有一个超市交易数据库。 在统计数据中，EM算法迭代并优化了查看观测数据的可能性，同时评估未观测变量的统计模型参数。 10.CART CART代表分类和回归树。它是一种决策树学习技术，它输出分类或回归树。和C4.5一样，CART是一个分类器。 分类树是否像决策树?分类树是决策树的一种类型。分类树的输出是一个类。
1.2K130发布于 2018-03-06 - 来自专栏腾讯大数据的专栏
天穹SuperSQL：腾讯下一代大数据自适应计算引擎
SuperSQL作为腾讯大数据智能计算平台的入口和决策中心，整合不同的大数据系统组件，旨在解决传统大数据架构下的痛点和难点问题，诸如大数据的语言门槛高、大数据引擎多而杂、大数据计算链路长而复杂、资源利用率低 ，自适应不同架构下的数据融合计算需求，通过自动数据冷热分层，多级缓存，提升存储访问性能 场景架构自适应：适配多云混合架构，实现最优的跨集群、跨DC、跨云计算路由，打通数据链路，解决数据孤岛 融合计算平台已在天穹落地 由于特征维度大，训练数据多，模型训练慢，因此对特征进行降维。 为此，天穹Presto做了针对性的优化，在动态的计算环境中，通过感知节点算力的变化，自适应地调整计算任务的调度，避免低算力节点的影响。 天穹Presto自适应任务调度主要分为：Task自适应调度与Split自适应调度，方案实现的核心思想是：根据节点的算力情况动态分配Split和Task，整体架构如下图所示： 天穹Presto
6K20编辑于 2022-08-26 - 来自专栏五分钟学算法
10 大算法
与早期的排序算法相比(如冒泡算法)，这些算法将排序算法提上了一个大台阶。也多亏了这些算法，才有今天的数据发掘，人工智能，链接分析，以及大部分网页计算工具。 02 傅立叶变换 和快速傅立叶变换 ? 9 数据压缩算法 数据压缩算法有很多种，哪种最好？这要取决于应用方向，压缩mp3，JPEG和MPEG-2文件都不一样。 哪里能见到它们？不仅仅是文件夹中的压缩文件。 你正在看的这个网页就是使用数据压缩算法将信息下载到你的电脑上。除文字外，游戏，视频，音乐，数据储存，云计算等等都是。它让各种系统更轻松，效率更高。 10 随机数生成算法 ?
52840发布于 2019-06-03 - 来自专栏腾讯大数据的专栏
天穹SuperSQL如何把腾讯 PB 级大数据计算做到秒级？
天穹SuperSQL是腾讯自研，基于统一的SQL语言模型，面向机器学习智能调优，提供虚拟化数据和开放式计算引擎的大数据智能融合平台。 Presto在腾讯天穹SuperSQL大数据生态中，定位为实现秒级大数据计算的核心服务。主要面向即席查询、交互式分析等用户场景。 得益于Presto的多数据源访问能力，天穹Presto支持对接了Hive、Iceberg、MySQL等数据源，且为了更好地支持内部的业务，我们也扩展开发了内部的TDW Connnector，支持访问腾讯内部的数据仓库数据 同时天穹Presto使用了Alluxio作为数据源（Hive表、Iceberg表）的缓存层，用于加速热点数据的访问，可有效提升Presto查询的效率。 2.3 Iceberg Connector功能增强 腾讯天穹实时数仓-数据湖分析系统DLA使用了Iceberg作为表的数据组织格式，用户数据入湖后，可以通过Presto Iceberg Connector
2.1K51编辑于 2022-01-23 直面“AI曼哈顿计划”，中国科学智能的破局之道
《意见》提出利用人工智能技术加速“从0到1”科学发现的核心引擎，通过科学大模型建设、科研平台智能化升级、高质量科学数据集开放共享，提升跨模态数据处理能力，推动科研范式从线性探索转向智能驱动，助力破解基础学科重大难题 11月，美国紧随而来推出“创世纪计划”，这项被喻为“AI曼哈顿计划”的国家战略，集结全美超算资源与联邦数据，构建从假设提出、模拟计算到实验验证的全链条AI科研平台，重点攻关先进制造、生物技术、关键材料等六大战略领域 从AlphaFold破解蛋白质结构预测难题，到气象大模型提升预测精度，科学智能已展现出颠覆科研范式的巨大潜力，而足量且高质量的科研训练数据与算力基础设施，正是实现这一突破的首要条件。 这种技术优势正转化为实实在在的科研价值，在生物医药领域，“天穹”已推动多款药物进入临床前试验阶段，通过高精度模拟发现新的变构口袋及候选药物分子；在新材料领域，其支撑的电解液数据集成为国家新材料大数据中心门户首批入驻的 AI-Ready材料数据集，为锂电池等新材料研发注入算力动能，与此同时，3D科学计算机“天穹”的应用边界仍在持续拓展，为我国基础科学探索注入持久算力动能，为各领域科技突破提供全场景支撑。
12910编辑于 2026-03-19- 来自专栏LiveEdu在线科技教育平台
2017编程趋势预测：10大技术大热，10大技术遇冷
SVG和HTML包含了一大堆标签，Web开发者使用起来往往更方便，现在还有了大的APIs，让你可以在画布对象上详细地绘画图形，通常还会提供视频卡来帮助你使用。 新的Web应用程序是从前端到有大量内容的大数据库。当Web应用程序需要信息时，它就从数据库中提取信息并将信息注入到本地的模具中。 现在没有必要使用Web附加设备所需要的所有东西来标记数据，以便创建一个网页了。数据层是完全独立于演示和格式层。 Android大热, iOS遇冷 几年前，苹果专卖店门前排起的“人龙”还记得吧？ 10. 在线即时教育成趋势，四年传统教育不再是主流 以计算机为媒介的课程已经不是新玩意了，每个人正在享受着观看视频讲座的好处。
1.7K100发布于 2018-05-21 - 来自专栏CDA数据分析师
【干货】数据挖掘的10大分析方法
其缺点是：在构造树的过程中，需要对数据集进行多次的顺序扫描和排序，因而导致算法的低效。 将修改过权值的新数据集送给下层分类器进行训练，最后将每次训练得到的分类器最后融合起来，作为最后的决策分类器。 同时，NBC模型所需估计的参数很少，对缺失数据不太敏感，算法也比较简单。理论上，NBC模型与其他分类方法相比具有最小的误差率。 10.CART:分类与回归树 CART,ClassificationandRegressionTrees。在分类树下面有两个关键的思想。 第一个是关于递归地划分自变量空间的想法；第二个想法是用验证数据进行剪枝。
2K80发布于 2018-02-11 - 来自专栏算法channel
盘点 Python 10 大常用数据结构（下篇）
Python 常用数据结构 此专题《盘点Python10大常用数据结构》目录： 学习目的 学习目标 1 list 2 tuple 3 set 4 dict 5 deque 6 Counter 7 OrderedDict 8 heapq 9 defaultdict 10 ChainMap 总结 学习目的 这个专题，尽量使用最精简的文字，借助典型案例盘点Python常用的数据结构。 下面根据定义的这三个阶段，总结以下10种最常用的数据结构： 1 list 基本用法 废话不多说，在前面单独有一个专题详述了list的使用【添加文章链接】 使用场景 list 使用在需要查询、修改的场景， 10 ChainMap 基本用法 如果有多个dict想要合并为一个大dict，那么ChainMap将是你的选择，它的方便性体现在同步更改。 总结 以上就是Python常用的10种数据结构，4种常用的基本结构，6种基于它们优化的适应于特定场景的结构，对它们的学习我将它们总结为三步。
1.1K30发布于 2020-08-04 - 来自专栏算法channel
盘点 Python 10 大常用数据结构（上篇）
学习目的 这个专题，尽量使用最精简的文字，借助典型案例盘点Python常用的数据结构。 学习目标 学习数据结构第一阶段：掌握它们的基本用法，使用它们解决一些基本问题； 学习第二阶段：知道何种场景选用哪种最恰当的数据结构，去解决题问题； 学习第三阶段：了解内置数据结构的背后源码实现，与《算法和数据结构 下面根据定义的这三个阶段，总结以下10种最常用的数据结构： 1 list 基本用法 废话不多说，在前面单独有一个专题详述了list的使用列表专题 使用场景 list 使用在需要查询、修改的场景，极不擅长需要频繁插入 以上4种数据结构相信大家都已经比较熟悉，因此我言简意赅的介绍一遍。接下来再详细的介绍下面6种数据结构及各自使用场景，会列举更多的例子。 5 deque 6 Counter 7 OrderedDict 8 heapq 9 defaultdict 10 ChainMap
1.1K30发布于 2020-08-04 - 来自专栏华章科技
因为大数据 10大行业正在改变……
来源：36大数据 去年十月，在埃森哲和通用电气联合发布的调研报告中突破性地指出了这一紧迫性。89%的调查者认为，一家没有大数据战略的企业将在明年就遭到市场份额和发展势头方面的损失。 大约一年后，将会有10个行业因大数据战略而迅速变革。事实上，84%的企业认为大数据将在未来一年重塑竞争版图。所以即使你所处的行业不在其列，留意下周围那些正在经历这场巨变的公司也没有坏处。 10、能源产业 技术和物联网颠覆了能源产业。从微观上看，有像Quirky公司的Aros这样的智能空调设备，它不但可以利用数据学习用户习惯和温度偏好，保持屋内凉爽和舒适，而且几乎不需要浪费多少能源。 T-Mobile 合并了所有的客户数据集，将其分为六大类，以此来进行完整的客户行为分析，最终分析使得客户流失率降低了50%。 1、数据存储业 最后是数据存储业。由于数据量很大而且在各行各业都有其不同的特性，亟需找到一种存储入库数据的方法，这种方法不需要大量服务器的要求也没有笨重的CRM系统。 Box 的解决方案应运而生。
59920发布于 2018-08-13 - 来自专栏CSDN技术头条
2016年大数据在金融领域的10大趋势
在低端市场，一些中小型的公司（经纪、资产管理、区域银行、顾问等）能够更快速的适应大数据平台（云平台和本地部署），这些都帮助他们构建能够支撑复杂业务的大型系统，同时这些系统也都是比他们大的竞争对手所必须面对的 这块市场因此能够快速成长（对比那些大银行所关注的长期而规范的和成本为主的项目）能够马上看到更加直接收入贡献和战略（概念/实验）项目 。 ”应用（相对来讲），同时许多大数据专家继续再更大的数据集合上前进，未来将会有更多的普通人加入到大数据应用的行列。 我们预计，在中等的商业风险评估与性能相关的大数据的商业行为将迅速增加。更进一步，我们将看到关于如何切实带来后台功能的更深层次的交流(合作等)。 10. 原文：Top 10 Big Data Trends in 2016 for Financial Services 译者：袁璞，圣特尔•E店宝大数据架构师，关注高性能或可用架构、大数据技术、机器学习。
1.3K100发布于 2018-02-11 - 来自专栏大数据文摘
2016年大数据在金融领域的10大趋势
在低端市场，一些中小型的公司（经纪、资产管理、区域银行、顾问等）能够更快速的适应大数据平台（云平台和本地部署），这些都帮助他们构建能够支撑复杂业务的大型系统，同时这些系统也都是比他们大的竞争对手所必须面对的 这块市场因此能够快速成长（对比那些大银行所关注的长期而规范的和成本为主的项目）能够马上看到更加直接收入贡献和战略（概念/实验）项目 。 数据治理，血统和其他的合规性方面问题将会更加深入的集成到大数据平台中去。 经典”应用（相对来讲），同时许多大数据专家继续再更大的数据集合上前进，未来将会有更多的普通人加入到大数据应用的行列。 原文：https://www.mapr.com/blog/top-10-big-data-trends-2016-financial-services 往期精彩文章推荐，点击图片可阅读 人性不变，泡沫永存
1.1K70发布于 2018-05-22 - 来自专栏数据科学与人工智能
【数据挖掘】详细解释数据挖掘中的 10 大算法（下）
举个 AdaBoost 算法的例子：我们开始有3个弱学习器，我们将在一个包含病人数据的数据训练集上对他们做10轮训练。数据集里包含了病人的医疗记录各个细节。 在10轮结束的时候，我们剩下了一个带着不同权重的已经训练过的联合学习分类器，之后重复训练之前回合中被误分类的数据。 这是个监督还是非监督算法？ 第四步：计算其他类时也做类似的计算： 因为0.252大于0.01875，Naive Bayes 会把长形，甜的还是黄色水果分到香蕉的一类中。 这是个监督算法还是非监督算法呢？ 10.CART 分类算法 算法是做什么的？ CART 代表分类和回归树(classification and regression trees)。它是个决策树学习方法，同时输出分类和回归树。 原文来源：http://rayli.net/blog/data/top-10-data-mining-algorithms-in-plain-english/
1.6K60发布于 2018-02-27 - 来自专栏灯塔大数据
大数据行业人士必知10大数据思维原理
大数据思维原理是什么？简单概括为10项原理，当样本数量足够大时，你会发现其实每个人都是一模一样的。 有人把数据比喻为蕴藏能量的煤矿，煤炭按照性质有焦煤、无烟煤、肥煤、贫煤等分类，而露天煤矿、深山煤矿的挖掘成本又不一样。与此类似，大数据并不在“大”，而在于“有用”，价值含量、挖掘成本比数量更为重要。 举例来说，这里有一张照片，照片里的人在骑马，这张照片每一分钟，每一秒都要拍一张，但随着处理速度越来越快，从1分钟一张到1秒钟1张，突然到1秒钟10张后，就产生了电影。 数据这么大、这么多，所以人们觉得有足够的能力把握未来，对不确定状态的一种判断，从而做出自己的决定。这些东西我们听起来都是非常原始的，但是实际上背后的思维方式，和我们今天所讲的大数据是非常像的。 四 关注效率原理 由关注精确度转变为关注效率 关注效率而不是精确度，大数据标志着人类在寻求量化和认识世界的道路上前进了一大步，过去不可计量、存储、分析和共享的很多东西都被数据化了，拥有大量的数据和更多不那么精确的数据为我们理解世界打开了一扇新的大门
2.4K50发布于 2018-04-09 - 来自专栏随手写个文章
【天穹OS】虚拟表：支持极速查询的下一代湖仓一体新范式
当今已存在的许多湖仓一体的产品，他们都是非常优秀的架构和技术，下面着重说明一下两大主流湖仓一体方向：基于数据湖的湖仓一体架构，以DeltaLake为代表 [1]如图2，DataLake 作为中央数据湖， 前些年基于维度建模、解决数据孤岛的中央数据仓库大热，所有的数据都在往里灌，存储了海量（ZB）的数据；但是现在业界许多公司的中央数据仓库落后主流技术一两代，在需要迭代升级、降本提效的时候却面临而迁移不动的尴尬 60亿星型模型（多表JOIN）测试数据：说明：在虚拟表集群负载较低时，数据量翻10倍（60亿）星型模型多表JOIN查询都在毫秒级。 60亿测试数据：说明：在数据量翻10倍（60亿）复杂多表JOIN查询差不多可在1min内返回，但集群压力较大，开始影响其他查询。 不过还是存在一些限制的，例如暂不支持分区数大于10的查询，原因是SuperSQL使用的是 presto/spark + 天穹数据仓库存储 的方式提供查询服务，如果扫描太多的数据可能会导致报表响应太慢，而且天穹数据仓库存储一般是共享使用的可能会导致一些时候查询响应的时间超过用户的预期
2.4K212编辑于 2023-10-31 - 来自专栏PPV课数据科学社区
10大天然大数据公司，看他们如何挖掘数据价值
1、亚马逊的“信息公司” 亚马逊要处理海量数据，交易数据的直接价值很大。 这些数据能够让谷歌优化广告排序，并将搜索流量转化为盈利模式。人们的行为会在互联网上留下痕迹和路径，谷歌能预测意图。这种抓取、存储并分析海量人机数据再进行预测，就是数据驱动产品。 Twitter 自己并不经营每一款数据产品，但它把数据授权给了像 DataSift 这样的数据服务公司，很多公司利用 Twitter 社交数据，做出了各种让人吃惊的应用，从社交监测到医疗应用，甚至可以去追踪流感疫情爆发 精确的数据一旦与社交媒体数据相结合，对未来的预测会非常准。 7 、特易购的精准定向 特易购(Tesco)是全球利润第二大的零售商(仅次于沃尔玛)，从用户行为分析中获得了巨大的利益。 10 、沃尔玛的数据基因 1969年沃尔玛开始使用计算机来跟踪存货，1974年将其分销中心与各家商场用计算机进行库存控制。1983年，沃尔玛开始采用条形码扫描系统。
1.3K90发布于 2018-04-23
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号