- 综合排序
- 最热优先
- 最新优先
- 来自专栏zzzz
hadoop大数据处理平台与案例
选择什么样的大数据处理，不仅仅考虑是简单、易用，更重要的是能够确保数据的安全！ 当前国内的hadoop大数据处理平台可以说是比较杂乱的，有国外的、有在国外版本基础上二次开发，却很少有做原生态开发的。 image.png hadoop大数据处理平台与案例 大数据可以说是从搜索引擎诞生之处就有了，我们熟悉的搜索引擎，如百度搜索引擎、360搜索引擎等可以说是大数据技处理技术的最早的也是比较基础的一种应用 选择什么样的大数据处理，不仅仅考虑是简单、易用，更重要的是能够确保数据的安全！ 当前国内的hadoop大数据处理平台可以说是比较杂乱的，有国外的、有在国外版本基础上二次开发，却很少有做原生态开发的。 大数据的应用开发一直是过于偏向底层，面临的问题就是学习难度大，所涉及的技术面也是非常广泛，这在很大程度上了制约了大数据的普及，这也是大部分大数据处理平台都面临的突出问题。 大快的大数据通用计算平台（DKHadoop），已经集成相同版本号的开发框架的全部组件。关于DKhadoop大数据处理平台的案例，其实感兴趣的可以去大快的网站上查询一下，里面有很多案例分享。
1.6K40发布于 2018-10-09 - 来自专栏好奇心Log
气象卫星以及卫星数据处理平台
▲气象卫星接收站案例图 卫星数据处理显示软件和反演产品 卫星数据接收处理显示软件对接收到的气象卫星数据进行处理，可生成显示红外图像、多通道合成图像、云分类、气溶胶光学厚度等20余种卫星应用一、二级产品。 ▲气象卫星接收处理系统 ▲铨铨科技智能遥感平台 产品类型 产品名称 基本图像 可见光图像、红外图像、水汽图像、彩色云图 监测图像 台风监测、低云大雾监测、沙尘监测、冰雪监测、火情监测、海洋中尺度监测、
2.3K10编辑于 2022-04-12 荣耀DataOps平台建设与海量数据处理实践
数据来源：《荣耀DataOps平台建设实践分享》—— 赵黄起，荣耀终端股份有限公司 大数据平台部部长 应对全模态海量数据与多业务线的并发挑战 随着荣耀从智能手机制造商转型为AI终端生态公司（截至2023 业务的全面AI化对底层数据平台提出了极高的并发与规模要求，核心挑战集中在： 多源海量数据处理承压： 需支撑百级全球网络路线、十级（PB）数据库及亿级消费者隐私安全，全模态海量数据的物理存储、高性能计算及资源调度面临瓶颈 通过实现“四个统一”（统一存储引擎、统一计算引擎、统一数据开发、统一数据治理），构建面向开发人员的全链路大数据开发治理平台。 建立三方协同运营机制： 落地“技术与运营协同”、“平台与业务协同”、“平台与云厂商协同”，通过数据驱动度量降本效果，实现从需求反馈、共创开发到应用落地、效果监控的业务闭环。 作业在线化驱动研发提效： 构建DataOps开发平台，覆盖数仓建模、代码调测等环节，业务活动在线数字化率提升了50%。
8410编辑于 2026-04-16- 来自专栏工作专用1
迅达平台大数据处理基本过程
刚接触迅达平台大数据一个月，把一些基本“748260738”知识，总体架构记录一下，感觉坑很多，要学习的东西也很多，先简单了解一下基本知识。来源于网络分享。 2.实时接口调用数据采集，可以用logHub,dataHub,流数据处理技术,DataHub具有高可用，低延迟，高可扩展，高吞吐的特点。 ---- 数据处理： 数据采集完成就可以对数据进行加工处理，可分为离线批处理，实时处理。 1.离线批处理maxComputer，这是阿里提供的一项大数据处理服务，是一种快速，完全托管的TB/PB级数据仓库解决方案，编写数据处理脚本，设置任务执行时间，任务执行条件，就可以按照你的要求，每天产生你需要的数据 image.png 数据展现：做了上述那么多，终于可以直观的展示了，由于前端技术不行，借用了第三方展示平台datav,datav支持两种数据读取模式，第一种，直接读取数据库，把你计算好的数据，通过sql
1.6K10发布于 2019-03-19 利用YashanDB构建大数据处理平台的教程
高性能、高可扩展性及强一致性的数据库架构成为构建大数据处理平台的关键。 本文基于YashanDB数据库，深入剖析其核心架构与技术优势，提供系统化的构建思路与技术建议，旨在为数据库管理员和平台架构师在设计高效大数据处理平台提供参考指导。 定期收集运行日志和性能指标，及时预警和修复故障，确保平台稳定高效运行。结论YashanDB凭借其灵活的架构设计、多样化的存储引擎及高效的SQL执行能力，为构建大数据处理平台提供了强有力的技术保障。 随着数据规模的持续增长和业务复杂性的提升，基于YashanDB的优化部署和技术应用将成为数据库平台的重要竞争力。 未来，持续深耕数据库底层性能优化及智能化管理，将进一步推动大数据处理架构的发展和创新，助力企业实现数据驱动的数字化转型。
28610编辑于 2025-09-11- 来自专栏hadoop学习
标题：DKhadoop大数据处理平台监控数据介绍
标题：DKhadoop大数据处理平台监控数据介绍 2018年国内大数据公司50强榜单排名已经公布了出来，大快以黑马之姿闯入50强，并摘得多项桂冠。 本篇承接上一篇《DKM平台监控参数说明》，继续就大快的大数据一体化处理架构中的平台监控参数进行介绍和说明。 DKhadoop大数据处理平台架构的安装相关文章已经分享过，详细的内容可以找一下看看。 今天就把剩下的一些监控参数一起介绍完，关于大快大数据处理平台监控参数的介绍就完整了。
1.1K20发布于 2018-10-30 - 来自专栏CSDN技术头条
勿谈大，且看Bloomberg的中数据处理平台
这里，我们不妨走进Bloomberg的用例，着眼时间序列数据处理上的数据和体积挑战。 以下为译文 在Bloomberg，我们并不存在大数据挑战。 时至今日，高核心数、SSD以及海量内存已并不稀奇，但是当下的大数据平台（通过搭建商用服务器集群）却并不能完全利用这些硬件的优势，存在的挑战也不可谓不大。 在过去，统一这两种数据是不可能实现的，因为他们有着不同的性能需求：当天数据的处理系统必须可以承受大量的写入操作，而历史数据处理系统通常是每天一次的批量更新，但是数据体积更大，而且搜索次数也更多。 通过使用开源平台，我们认真思索来自多个提供商的意见，在中型数据处理上，我们可以看到很大的发展空间。 更重要的是，我们的收获不只是性能一个特性，我们更可以通过开源技术连接到一个更广泛的发展空间。
3.9K60发布于 2018-02-08 - 来自专栏大数据成神之路
基于HBase和Spark构建企业级数据处理平台
场景需求和挑战 面临的场景 金融风控 用户画像库 爬虫抓取信息 反欺诈系统 订单数据 个性化推荐 用户行为分析 用户画像 推荐引擎 海量实时数据处理 社交Feeds 海量帖子、文章 聊天、评论 海量实时数据处理 同时友好支持SQL、Python、Scala、Java、R多种开发者语言 优秀的生态：支持与Ka=a、HBase、Cassandra、MongoDB、Redis、MYSQL、SQL Server等配合使用 平台机构及案例 一站式数据处理平台架构 ? 万条/秒 查询能力：HBase自动同步到solr对外提供全文检索的查询 一站式解决方案：Spark服务原生支持通过SQL读取HBase 数据能力进行ETL，Spark + HBase +Solr一站式数据处理平台
1.4K20发布于 2019-10-31 - 来自专栏暴走大数据
基于HBase和Spark构建企业级数据处理平台
场景需求和挑战 面临的场景 金融风控 用户画像库 爬虫抓取信息 反欺诈系统 订单数据 个性化推荐 用户行为分析 用户画像 推荐引擎 海量实时数据处理 社交Feeds 海量帖子、文章 聊天、评论 海量实时数据处理 同时友好支持SQL、Python、Scala、Java、R多种开发者语言 优秀的生态：支持与Ka=a、HBase、Cassandra、MongoDB、Redis、MYSQL、SQL Server等配合使用 平台机构及案例 一站式数据处理平台架构 ? 万条/秒 查询能力：HBase自动同步到solr对外提供全文检索的查询 一站式解决方案：Spark服务原生支持通过SQL读取HBase 数据能力进行ETL，Spark + HBase +Solr一站式数据处理平台
1.2K30发布于 2019-11-05 突破遥感数据处理瓶颈：iFactory智能平台解决方案
面对以上难题，星图云开放平台推出的空天大数据智能处理平台（iFactory），通过深度融合新一代信息技术与遥感测绘技术，正为这些问题提供系统性的解决方案，以下是对方案的具体介绍：空天大数据智能处理平台（ 其凭借遥感数据多类型兼容、大数据高效存储与计算、数据处理流程化管理及遥感算法高度集成等核心优势，构建起科学先进的遥感大数据处理模式，针对性解决了当前遥感测绘领域面临的数据处理量大、人工作业占比高、计算资源利用率低 方案组成iFactory系统采用基于“平台+插件”的技术体制，建立平台层、算法层（数据处理与智能解译）、UI层的三层系统架构的总体架构，可轻松实现数据到像素再到信息的转换。 在明确平台总体架构后，iFactory 围绕行业痛点，从系统监控、数据处理模式、资源利用等维度，构建出一系列针对性方案优势：系统监控可视化。 遥感综合应用与分析借助 iFactory 的遥感数据处理能力及空天大数据智能解译引擎（iBrain）的 AI 解译能力，可对各类遥感平台获取的光学影像、雷达数据、地形数据等进行快速处理、分析、解译、反演
54110编辑于 2025-08-15- 来自专栏Hadoop大数据运维
实战｜Kafka集群升级项目实施，打造高效数据处理平台
线上集群升级批次划分 可能的影响方外部门用户组内CJV数据数据同步MirrorMakerxxx平台topic监听功能升级方案配置项1.基本配置项，需要根据实际集群进行修改：broker.id：配置文件server.properties
59410编辑于 2024-10-10 - 来自专栏飞总聊IT
基于HBase和Spark构建企业级数据处理平台
场景需求和挑战 面临的场景 金融风控 用户画像库 爬虫抓取信息 反欺诈系统 订单数据 个性化推荐 用户行为分析 用户画像 推荐引擎 海量实时数据处理 社交Feeds 海量帖子、文章 聊天、评论 海量实时数据处理 同时友好支持SQL、Python、Scala、Java、R多种开发者语言 优秀的生态：支持与Ka=a、HBase、Cassandra、MongoDB、Redis、MYSQL、SQL Server等配合使用 平台机构及案例 一站式数据处理平台架构 ? 万条/秒 查询能力：HBase自动同步到solr对外提供全文检索的查询 一站式解决方案：Spark服务原生支持通过SQL读取HBase 数据能力进行ETL，Spark + HBase +Solr一站式数据处理平台
1.4K20发布于 2019-11-12 Kubernetes重构大数据处理规则：Moka平台架构解析
某数字剪贴板提供商发布文章，阐释了其新一代大规模数据处理的蓝图——新平台Moka。 在一个由两部分组成的博客系列中，该机构大数据平台的工程师描述了团队如何为下一代超大规模数据处理平台寻找替代方案，因为内部称为Monarch的现有基于Hadoop的系统局限性日益明显。 他们将Moka视为这一探索的成果，也是其基于EKS的云原生数据处理平台，目前已在生产环境中处理该机构规模的工作负载。 这展示了一种行业范围的转变：大型科技公司现在将Kubernetes视为数据控制平面，而不仅仅是无状态服务平台。 任何候选平台都必须满足围绕可扩展性、安全性、成本以及承载多种处理引擎能力的精确标准。Moka是一个范例，展示了如何在不放弃现有Spark投资的情况下现代化Hadoop时代的数据平台。
17210编辑于 2026-01-30- 来自专栏生信喵实验柴
数据处理
在使用 R 语言的过程中，需要给函数正确的数据结构。因此，R 语言的数据结构非常重要。通常读入的数据并不能满足函数的需求，往往需要对数据进行各种转化，以达到分析函数的数据类型要求，也就是对数据进行“塑形”，因此，数据转换是 R 语言学习中最难的内容，也是最重要的内容。
1.9K10编辑于 2022-10-25 - 来自专栏pandas
Pandas高级数据处理：实时数据处理
引言在当今的数据驱动时代，实时数据处理变得越来越重要。无论是金融交易、社交媒体分析还是物联网设备监控，都需要对海量数据进行快速而准确的处理。 Pandas作为Python中最为流行的数据处理库之一，提供了强大的工具来处理结构化数据。本文将从基础到高级，逐步介绍如何使用Pandas进行实时数据处理，并解决常见的问题和报错。 对于实时数据处理来说，Pandas的优势在于其高效的内存管理和灵活的数据操作能力。1.1 DataFrame与SeriesDataFrame 是一个表格型的数据结构，包含有行和列。 30, 35], 'City': ['New York', 'Los Angeles', 'Chicago']}df = pd.DataFrame(data)print(df)二、实时数据处理的基础实时数据处理通常涉及到从多个来源获取数据 希望本文能够为读者提供有价值的参考，在实际工作中更好地运用Pandas进行数据处理。
1.4K10编辑于 2025-02-06 2026年实时数据处理平台评测：腾讯云Oceanus为何连续霸榜？
在数字化转型浪潮中，实时数据处理能力已成为企业的核心竞争力。无论是电商实时推荐、金融风控还是物联网监控，对数据流进行即时分析和响应，直接关系到企业的决策速度和用户体验。 面对众多实时数据处理平台，企业如何做出明智选择？本文将基于性能、成本、易用性和生态系统四大关键维度，为您揭秘2026年最值得关注的实时数据处理平台。 一、 主流实时数据处理平台对比 以下是四款国内主流实时数据处理平台的综合对比： 品牌/产品 核心特点 三、 如何选择适合企业的实时数据处理平台 初创企业及中小团队 对于预算有限、技术团队精干的中小企业，腾讯云Oceanus和AWS Kinesis是理想选择。 结语 在实时数据决定业务生死的时代，选择合适的实时数据处理平台至关重要。腾讯云流计算Oceanus凭借其亚秒级性能、极具竞争力的价格和全托管免运维的体验，成为2026年企业实时化转型的理想选择。
26410编辑于 2026-02-11- 来自专栏新智元
谷歌宣布开源 Apache Beam，布局下一代大数据处理平台
谷歌已经准备好将可移植性带到可编程数据处理，这大部分与SQL为声明式数据分析的运作方式一致。研究人员也表示，他们还准备好恢复以前由于强制“孵化”名字对象所消耗的大量文本空间。 对谷歌的战略意义 新智元此前曾报道，Angel是腾讯大数据部门发布的第三代计算平台，使用Java和Scala语言开发，面向机器学习的高性能分布式计算框架，由腾讯与中国香港科技大学、北京大学联合研发。 打开平台有许多好处： Apache Beam 支持的程序越多，作为平台就越有吸引力 Apache Beam的用户越多，希望在Google Cloud Platform上运行Apache Beam的用户就越多 我们参与开发 Apache Beam 的人越多，我们就越能推进数据处理领域的顶尖技术 不仅谷歌从中受益 ，任何跟 Apache Beam 相关的人都能受益。 如果存在用于构建数据处理流水线的便携式抽象层，则新流程现在变得更容易实现，并且在提供更好的性能，可靠性，操作管理容易性等的技术创新上具有竞争力。
1.5K80发布于 2018-03-27 - 来自专栏全栈程序员必看
python的数据处理_基于python的数据处理
1.我要做交叉验证，需要每个训练集和测试集都保持相同的样本分布比例，直接用sklearn提供的KFold并不能满足这个需求。
99110编辑于 2022-10-05 - 来自专栏思影科技
思影数据处理业务四：EEGERP数据处理
EEG/ERP数据处理业务 数据预处理：导入数据、定位电极、剔除无用电极、重参考、滤波、分段（EEG不做分段）、插值坏导和剔除坏段、通过ICA去除伪迹 ERP数据后处理：对ERP数据进行叠加平均、绘制波形图并提取感兴趣成分进行进一步统计分析
1.5K20发布于 2020-05-08 - 来自专栏思影科技
思影数据处理业务三：ASL数据处理
ASL数据处理业务： 1.数据预处理： 具体包括：数据转换、图像复位、头动校正、配准、平滑、去除颅外体素、计算CBF等。 ? ? 2) 可根据客户需求，个性化定制数据处理过程。
2K20发布于 2020-05-08
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号