- 综合排序
- 最热优先
- 最新优先
- 来自专栏Python学习
PySpark数据计算
前言在大数据处理的时代，Apache Spark以其高效的数据处理能力和灵活的编程模型，成为了数据科学家和工程师的热门选择。 PySpark作为Spark的Python接口，使得数据处理和分析更加直观和便捷。 在 PySpark 中，所有的数据计算都是基于 RDD（弹性分布式数据集）对象进行的。RDD 提供了丰富的成员方法（算子）来执行各种数据处理操作。 ("test_spark")sc = SparkContext(conf=conf)# 准备一个RDDrdd = sc.parallelize([1, 2, 3, 4, 5])# 通过map方法将全部数据都乘以 ("test_spark")sc = SparkContext(conf=conf)# 准备一个RDDrdd = sc.parallelize([1, 2, 3, 4, 5])# 通过map方法将全部数据都乘以
81610编辑于 2024-08-14 - 来自专栏Apache IoTDB
大数据与大数据计算
今天听了一场报告会，是清华计算机系60周年系列讲座之一，主讲人是哈工大软院院长李建中教授，主题《计算和数据资源受限的大数据计算的复杂性理论与高效算法研究》，李老师介绍的大数据计算理论体系很完善，由于只有一个小时 有一个很容易混淆的场景是拥有的数据量很大，TB、PB级，但是每次用来计算的只有几十或几百MB，这个输入就不能称为大数据，因此这种问题就不是大数据计算问题。 你面临的问题不是大数据计算问题有什么问题吗？ 没什么问题，如果真碰到了大数据计算问题就麻烦了。 由此也给出大数据计算的定义： 大数据计算：求解大数据计算问题的过程。 大数据计算的挑战 报告的前提是“计算和数据资源受限”，为什么这个很重要呢？ 这个叫弱可用性数据，如何在弱可用性数据上进行计算，使结果的误差满足要求，是另一个重要的研究方向。 一些计算方法 1、小数据近似大数据 所谓大事化小，小事化了。 大数据计算问题处理的是大数据。计算受限和数据受限是大数据计算中普遍存在的客观现象。
92810发布于 2020-09-27 - 来自专栏技术集锦
练习9—数据计算
题目 写一个简单的函数实现下面的功能：具有三个参数，完成对两个整型数据的加、减、乘、除四种操作，前两个为操作数，第三个参数为字符型的参数。 解题步骤 （1）定义变量； （2）接收用户输入； （3）函数计算； （4）输出结果； Java import java.util.Scanner; public class E20210814 ; } 说明 注意switch-case语句中case处的数据类型，因为设定了变量c为char类型，所以需要使用 c = input.next().charAt(0) 语句接收用户键盘上的单个字符输入 d-division]:"); getchar(); scanf("%c", &c); calculate(a, b, c); return 0; } 说明 因为有四种计算类型 ，所以我们使用switch-case语句解决，注意除法计算中除数不为 0 的条件判断，且case后需为常量，这里使用字符做判断条件，加上单引号‘’变为字符常量。
30420编辑于 2022-06-03 - 来自专栏Cell的前端专栏
计算机数据
数据的表示 数据的表示可分为：原码，反码和补码。（二进制） 原码： 符号位 0 为正，1 为负。 反码： 符号位 0 为正，1 为负。 正数： 反码同原码。 负数： 符号位除外其他位按位取反。 数据表示范围 原码： -(z^n-1 - 1) ~ 2^n-1 - 1 反码： -(z^n-1 - 1) ~ 2^n-1 - 1 补码： -z^n-1 ~ 2^n-1 - 1 （补码正 0 和负 0 相同 浮点数运算 对阶（小阶对大阶）+ 尾数计算（科学计数法）+ 结果规格化（科学技术法）
36130编辑于 2022-02-25 深度分析：数据湖、数据湖计算与Serverless计算的未来
在当前的大数据时代，数据湖和数据湖计算已成为企业数字化转型的关键技术。 本文将深度探讨数据湖计算的多个维度，包括Serverless计算、多引擎查询（Spark/Presto/Flink）、统一元数据、统一权限、湖仓一体、数据目录、弹性伸缩和数据加速等关键特性，并对比市场上的主要产品 多引擎查询（Spark/Presto/Flink） 多引擎查询能力是数据湖计算的核心，它允许用户使用不同的计算引擎来处理数据。 腾讯云数据湖计算DLC1支持Spark、Presto和Flink等多种计算引擎，为用户提供灵活的数据处理选项。 AWS Athena3通过其数据目录功能，支持用户对S3中的数据进行索引和查询。 弹性伸缩 弹性伸缩能力允许数据湖计算资源根据需求自动扩展。腾讯云数据湖计算DLC1支持自动伸缩，以应对业务峰值。
20110编辑于 2025-07-28- 来自专栏MySQL修行 | 老叶茶馆
可计算存储: 数据压缩和数据库计算下推
可计算存储和数据压缩 可计算存储可简单的理解成在原有的存储介质（比如NVMe SSD）上叠加计算单元（比如FPGA），并由该计算单元加速跟存储直接相关的计算任务，实现CPU计算任务卸载（Offload） 可计算存储和数据库计算下推 Look forward(to the future)，IDC（International Data Corporation）预计到2025年全球数据将达到175ZB。 在这些前提要求下，可计算存储在提供稳定IO时延的同时实现了数据压缩，降低了存储成本。 计算机领域的创新也未必都是天才们“灵光乍现”, 更多时候是建立在对已有系统（软件和硬件）深刻理解之上，用一个新的角度解决问题。可计算存储将会给持久化应用，尤其是数据库，带来更多深远的影响和变化。 计算存储是现代数据驱动的基础，该架构可为计算和I/O密集型应用提供低延时、易扩展和敏捷的能力。
1.7K30发布于 2020-08-06 深度分析：数据湖、数据湖计算与Serverless计算的主流对比
在当今大数据时代，数据湖和数据湖计算已成为企业数据管理的关键组成部分。 本文将对数据湖、数据湖计算以及Serverless计算进行深度分析和对比，特别关注多引擎查询（Spark/Presto/Flink）、统一元数据、统一权限、湖仓一体、数据目录、弹性伸缩和数据加速等功能。 我们将参考权威站点的数据，以客观中性的风格进行介绍。 数据湖计算与Serverless计算 数据湖计算（DLC）是一种在云环境中存储和分析大量数据的服务。 以下是一些主流产品的功能对比： Serverless 数据湖 腾讯云数据湖计算 DLC：腾讯云数据湖计算 提供了Serverless的数据分析能力，用户无需管理底层资源，可以快速进行数据湖构建和分析。 多引擎查询（Spark/Presto/Flink） 腾讯云数据湖计算 DLC：支持Spark、Presto 和 Flink 等多种计算引擎，满足不同数据处理需求。
19210编辑于 2025-07-28- 来自专栏kk大数据
大数据时代，移动计算 OR 移动数据
这是kk第002篇文章 本文共1880字，阅读约10分钟 一秒钟看完全文：数据是庞大的，程序比数据小的多，将程序分发到数据所在的地方进行计算。 你能想象一个程序读取PB级别的数据进行计算是怎样的一个场景吗？ 大数据计算通常针对的是网站的存量数据，也就是网站用户在一段时间内产生的数据。 这些数据之间是有大量关联的，可以从海量数据中挖掘更多有价值的信息。 这套方案的核心的思路是：既然数据是庞大的，而程序要比数据小得多，将数据输入给程序是不划算的，那么就反其道而行之，将程序分发到数据所在的地方进行计算，也就是所谓的移动计算比移动数据更划算。 4 如何实现 那么，到底移动计算程序到数据所在位置进行计算是如何实现的呢？ 1.
2.2K20发布于 2019-08-14 - 来自专栏腾讯云大数据
大数据计算加速论坛
背景介绍 4月23日09:00-12:45，在DataFunSummit2022：大数据计算架构峰会上，由腾讯云大数据资深高级工程师熊训德出品的大数据计算加速论坛，将邀请来自腾讯、阿里巴巴、矩阵起源、喜马拉雅的 落地实践 听众收益： 大数据计算效率问题和解决方案 云原生混合算力计算加速如何保证作业稳定性 腾讯云EMR如何助力云原生弹性加速计算能力 2. 金海 矩阵起源 研发VP 个人介绍：大数据、高性能计算和分布式系统领域技术专家。前Zilliz研发负责人，从0到1完成向量数据库Milvus的研发。 听众收益： 当前大数据和数据库的发展现状 超融合数据库在计算和存储层面的主要挑战和解决办法 4. 陈涛 喜马拉雅 技术专家 个人介绍：喜马拉雅大数据集群架构负责人，主要负责大数据集群稳定性提升。 曾负责从0到1构建喜马拉雅大数据计算平台团队，包括计算引擎、调度系统、大数据监控系统和可视化系统等。
1.6K20编辑于 2022-04-22 - 来自专栏青灯古酒
云计算与大数据
(多选题)【多选题】关于云计算与大数据技术,下列说法正确的是( ) A. 大数据技术是云计算项目的必要条件。 B. 大数据主要解决分布式存储、分布式计算等问题,是元计算的PaaS层的解决方案之一。 云计算技术不是大数据项目的必要条件,只要建立的数据中心能满足大数据存储与计算要求就可以了。 D. 云计算强调的是资源共享、按需获取资源的业务模式。 我的答案: BCD :大数据主要解决分布式存储、分布式计算等问题,是元计算的PaaS层的解决方案之一。; 云计算技术不是大数据项目的必要条件,只要建立的数据中心能满足大数据存储与计算要求就可以了。 ; 云计算强调的是资源共享、按需获取资源的业务模式。; 正确答案: BCD :大数据主要解决分布式存储、分布式计算等问题,是元计算的PaaS层的解决方案之一。 ; 云计算技术不是大数据项目的必要条件,只要建立的数据中心能满足大数据存储与计算要求就可以了。; 云计算强调的是资源共享、按需获取资源的业务模式。; 1.3分 77.
2.5K40编辑于 2023-10-16 - 来自专栏CloudBest
云计算和边缘计算，谁更依赖数据引力？
一些专家指出，超融合基础设施是云计算数据中心数据引力的硬件支持。根据这种说法，数据引力吸引了数据存储与应用处理资源（计算、内存、网络和虚拟化）在云计算数据中心的新一代硬件解决方案中的紧密耦合。 但是，将超融合基础设施当作是以云计算为中心的数据引力的论点，却忽略了这样一个事实，即许多这样的硬件都部署在边缘环境中，而不仅仅是在云计算数据中心大规模地占用和堆叠。 数据引力与机密计算 由于缺乏隔离和保护使用中的敏感数据的能力，许多企业只是选择不将这些数据移动到网络之外。 相关处理节点将始终有权访问所需的相关安全资产，以解锁对在使用中、静止或传输中的托管数据资源的访问。 另一个基本元素是机密计算硬件，它通过从云计算到边缘的每个节点嵌入的可信执行环境来实现外围数据安全。 零引力数据 为了充分实现机密计算的承诺，需要将行业标准框架集成到一个更广泛的外围基础设施中。在理想的环境中，数据安全和治理控制将在数据所在的任何位置（从云计算核心到边缘设施）一致实施。
1.4K20发布于 2019-11-04 - 来自专栏数据派THU
【数据蒋堂】报表的数据计算层
［导读］我们在上一期【数据蒋堂】报表应用的三层结构一文中解释了报表应用结构中数据计算层的必要性，以及可以使用报表工具自定义数据源接口来实现计算层。 本期我们就来讨论一下使用报表工具的自定义数据源是否可以方便地实现数据计算层以及独立计算层的优势。 更好的方式是实现一个显式的数据计算层，在其中提供可解释执行的脚本功能，把数据源计算独立出来。 我们从四个方面来分析数据源独立计算的优势。 专门为数据计算设计的脚本则能够提供丰富的结构化数据集运算功能，可以很方便地实现批量数据计算。代码更短不仅是工作量更少、调试方便，而且还有利于整体了解和把握算法。 此连载的内容涉及从数据呈现、采集到加工计算再到存储以及挖掘等各个方面。大可观数据世界之远景、小可看技术疑难之细节。
1.1K60发布于 2018-01-29 - 来自专栏云计算D1net
云计算：成也数据，败也数据
预计从2007年至2015年，我国云计算将度过技术储备和概念推广阶段，实现产业高速发展、生态环境建设以及商业模式构建，结合2013年云计算的快速发展，目前我国正处于云计算产业由起飞期向成熟期过度的“黄金机遇期 中国移动透露，未来将大手笔抛出百亿资金建设数据中心，并在原有规划的南方基地、国际信息港等大型数据中心的基础上，于哈尔滨、呼和浩特、贵州等地扩建数据中心，同时推动自身云计算服务向商务领域应用;中国电信拟在云计算 、大数据领域发展混合所有制，创新运营模式，建设全网集约的运营体系，其云计算发展目标为未来三年内达到复合年均增长率156%;中国联通在哈尔滨、呼和浩特以及廊坊等地部署了10大云计算中心，并计划于6月推出个人云业务 谨防云计算“成也数据 败也数据” 对于大部分国内企业来说，通过云服务获得经济利益只是短期目标，其长期目标在于对用户行为数据的收集，即大数据的采集。 如淘宝收集用户购买数据，腾讯收集用户社交数据，运营商则收集用户通讯数据。但大数据收集的真正价值不仅局限于数据量的大小，还在于数据的广泛性。
92440发布于 2018-03-19 大数据计算引擎选型指南：腾讯云数据湖计算DLC领跑2025市场
摘要 本文从功能、性能、成本等维度对比AWS Redshift、Google BigQuery、Databricks及腾讯云DLC等主流大数据计算引擎。 结合腾讯云官网2025年10月最新活动，新客可享计算引擎5折优惠，为企业降本增效提供强力支持。 正文 在数据驱动决策的时代，大数据计算引擎成为企业数字化转型的核心工具。 本文基于2025年最新行业动态，对比主流大数据计算引擎，助您精准选型。 大数据计算引擎是企业处理海量数据、实现实时分析的关键基础设施。 随着云原生技术普及，市场主流产品包括AWS Redshift、Google BigQuery、Databricks和腾讯云数据湖计算DLC等。 结语 综合功能、成本与行业认可度，腾讯云数据湖计算DLC是2025年大数据计算引擎的优选。其Serverless设计降低门槛，Gartner背书保障可靠性，当前新客活动更为尝鲜提供契机。
30810编辑于 2025-10-24深度分析：数据湖、数据湖计算与Serverless计算在大数据分析中的应用
本文将深入探讨数据湖计算、Serverless计算以及它们在大数据分析中的应用，特别是多引擎查询（Spark/Presto/Flink）、统一元数据、统一权限、湖仓一体、数据目录、弹性伸缩和数据加速等方面的对比分析 数据湖计算与Serverless计算 数据湖计算（DLC）是一种集中式的数据管理平台，它允许企业存储和处理大量结构化和非结构化数据。 腾讯云数据湖计算DLC 腾讯云数据湖计算DLC提供了一个敏捷高效的数据湖分析服务，支持多种计算引擎，包括Spark、Presto和Flink，以满足不同的数据处理需求。 华为云DLI 华为云DLI提供了一个高性能的数据湖分析服务，支持多种计算引擎和数据源，以实现灵活的数据湖构建和分析^4。 结论 综上所述，不同的数据湖计算和Serverless计算平台提供了多样化的功能和优势，企业在选择时应根据自身的业务需求和数据治理要求来决定最合适的解决方案。
22310编辑于 2025-07-28- 来自专栏生信喵实验柴
分组计算以及数据透视表
数据透视表 数据透视表excel中有这个分析数据的功能，在R语言中同样可以实现。对一个表格分组计算相应的特征，比如不同国家所有城市的人口总数等。 R提供了apply系列函数，包括apply，lapply，sapply，tapply，vapply等，可以对二维数据进行计算，并且可以分组进行统计，类似于Excel中的数据透视表功能。 state.division, mean) sort(tapply(state.x77$Income, state.division, mean)) sort(tapply(state.x77[size=5][b]数据透视表 [/b][/size] R提供了apply系列函数，包括apply，lapply，sapply，tapply，vapply等，可以对二维数据进行计算，并且可以分组进行统计，类似于Excel 中的数据透视表功能。
1.7K10编辑于 2022-10-25 - 来自专栏iOS逆向与安全
计算机思维: 计算机的数据结构
在计算机科学中，数据的相对大小比绝对的数值重要，出于很多数据比大小的需求以及其他一些需求，就产生了一个抽象的数据结构——二叉树。 I 计算机的数据结构 数据结构+ 算法 = 程序 理解搭建计算机软件的模块——数据结构和算法。 把数据结构理解为盖房子的钢筋、门窗和大梁。 把算法理解成盖房子的结构原理。 在计算机科学中，数据就等同于点，数据结构就是数据中常用的具体关系。 1.3 线性表 线性表相当于几何图形中的直线，是最基本的数据结构，概括所有顺序排列和储存的数据。 在计算机中，它通常是通过数组实现的。相比一般的数组，它有三个优点： 动态增加或者删除一个数据项比较快。 数组只能根据下标直接查找，下标和数据内容无关，如果要根据内容查找，效率就比较低，哈希表的下标是根据数据内容计算出来的，因此根据内容查找比较快。
33520编辑于 2023-09-11 - 来自专栏祝威廉
数据SCT定律：存储，计算，时间
不过呢，从大数据这个行业来说，我们始终都是在存储，计算和时间进行权衡，博弈以及突破。某种程度上来说，当拥有其中两者，可能很难兼顾第三者。 这个过程中会触发时间问题（也就是数据可见性的延时），也会触发计算的额外消耗，这些计算来源于同步以及涉及到Kafka,MySQL等各个子系统的消耗。 还有一个问题是，计算上，虽然SQL现在越来越成为主流，但是SQL依然有很多地方难以满足需求，所以我们依然要用各种API进行计算，我们没有一个统一的大数据应用，还是各种应用孤立的跑在硬件上（我们会把Yarn 环节越长，无论计算效率，维护成本就会越高。针对这个问题，我希望有一个工具，能够一个环节搞定，这个工具直接对接mysql binlog,然后直接将数据同步到HDFS上，可以供流和批读取。 第三个是计算的问题，大数据对外提供的一个很重要的功能就是海量数据的分析查询，为了应对各种需求，我们各种武器都上去，计算系统繁多而复杂，时间效率和不一定能达到诉求。
1.2K40发布于 2019-07-18 隐私数据计算技术解析
隐私数据计算当今最具创新性的数据驱动产品和解决方案往往需要处理隐私数据。如何在使用敏感数据的同时保护数据主体、所有者或用户的隐私信息不被泄露，成为一个关键问题。 两种隐私保护技术安全多方计算(MPC)MPC允许多方在不公开各自私有数据的情况下，共同计算一个涉及所有数据的功能。 差分隐私(DP)DP通过统计和算法技术发布数据集的聚合功能，同时保护数据贡献者与数据项之间的关联关系。 输入微小变化导致输出分布近似典型用例 小/中规模已知参与者 大规模匿名数据集 结果准确性 精确计算 ：使用MPC计算差分隐私近似函数，既能获得MPC的输入保护，又能享有DP的抗辅助信息攻击特性。
33800编辑于 2025-08-18- 来自专栏往期博文
【数据挖掘】任务1：距离计算
题目 给定两个被元组（22,1,42,10）和（20,0,36,8）表示的对象 （a）计算这两个对象之间的欧几里得距离； （b）计算这两个对象之间的曼哈顿距离； （c）使用q=3，计算这两个对象之间的闵可夫斯基距离 （d）计算着两个对象之间的上确界距离 创建对象 a = (22, 1, 42, 10) b = (20, 0, 36, 8) 欧氏距离 import numpy as np def euclidean
74630编辑于 2022-09-01
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号