- 综合排序
- 最热优先
- 最新优先
开源大数据管理平台
目前两大开源大数据平台CDH和HDP已闭源，国内也涌现出了一些开源的大数据平台，比如：apache bigtop 和 DataSophon。 apache bigtop 项目地址：https://bigtop.apache.org Apache Bigtop 是一个开源项目，目的是提供一套完整的开源软件栈，用于构建、测试和部署大数据平台 DataSophon 项目地址：https://datasophon.github.io/datasophon-website 新一代云原生大数据管家，致力于帮助用户快速构建起稳定、高效、可弹性伸缩的大数据云原生平台
43610编辑于 2025-12-23- 来自专栏云云众生s
平台工程：克服数据管理挑战
什么是平台工程？ 平台工程 是设计和构建内部开发平台、工具链和工作流程的学科，这些平台、工具链和工作流程为软件工程组织提供自助服务功能。 Kubernetes 和平台工程 Kubernetes (K8s) 的兴起在推动平台工程采用方面发挥了重要作用。 例如，Crossplane 和 Terraform 等工具有助于自动化 Kubernetes 集群配置，但特定于云的容器存储接口 (CSI) 插件通常会造成存储和数据管理不一致，例如： 存储功能不一致 第 2 天运营：第 2 天运营（如数据保护和灾难恢复）在不同的云平台上有所不同，要求平台团队创建额外的自定义。这与平台工程的目标相矛盾，即减少开发人员和运营团队的认知负荷。 摘要 平台工程通过启用自助服务功能和简化基础设施管理，正在改变应用程序开发。但是，持久数据管理挑战仍然阻碍着创建完全一致、可扩展和安全的平台。
30510编辑于 2024-10-18 - 来自专栏大数据杂货铺
DataHub元数据管理平台概述
这个可扩展的元数据平台专为开发人员构建，以应对快速发展的数据生态系统的复杂性，并帮助数据从业者充分利用组织内数据的总价值。 以下是 DataHub 当前功能的概述。 搜索和发现 搜索数据堆栈 DataHub 的统一搜索体验可跨数据库、数据湖、BI 平台、ML 特征存储、编排工具等显示结果 追踪端到端血缘 通过跟踪跨平台、数据集、ETL/ELT 管道、图表 2.词汇表术语：具有可选层次结构的受控词汇表，通常用于描述核心业务概念和度量。 3.域：精选的顶级文件夹或类别，广泛用于数据网格中，按部门（即财务、营销）或数据产品组织实体。 创建新策略时，您将能够定义以下内容： ·策略类型- 平台（顶级 DataHub 平台权限，即管理用户、组和策略）或元数据（操作所有权、标签、文档等的能力） ·资源类型- 指定资源类型，例如数据集、仪表板
1.8K10编辑于 2024-01-31 - 来自专栏钱塘大数据
工业大数据：车间物联网数据管理（干货）
专家们将工业大数据分为公共资源数据、工程类数据、管理类数据和物联数据。传统的管理系统将人作为数据采集端，用流程来固化组织的行为，用指标来衡量评价流程和组织的效率。 工业企业的物联网，就是要将人和物联系起来，将系统和物联系起来，将物作为数据采集端，由人或系统进行数据分析和决策。数据的分析与优化是物联网的关键技术之一，也是未来物联网发挥价值的关键点。 物联网在工业中有很多种应用方式，如物流仓储、生产制造、产品运维等，我们这里重点讲讲生产制造和产品运维。 物联数据的管理技术 车间物联网是一种典型的复杂信息系统，涉及数据管理的各个方面，主要包括：数据质量控制、数据融合与集成、复杂事件处理、数据存储与处理，以及安全访问控制等。 2、物联车间的质量控制：某钢铁企业是中国最大的特种钢材生产企业，在其某条硅钢生产线上，由于多种复杂因素的作用，成品表面有时会形成一种称为纵条纹的瓦楞状缺陷。
2.5K70发布于 2018-02-28 - 来自专栏云数据库技术
NineData智能数据管理平台新功能发布｜2026年1-2月
NinaData在2026年1-2月发布重点聚焦在数据库迁移前评估能力建设、异构数据库复制能力增强以及SQL运维体验优化，提供了AI能力增强、慢查询分析扩展、登录体验优化，持续提升数据库运维效率与平台使用便捷性 该能力适用于： 数据库慢日志已统一收集至日志平台。 企业采用集中式日志管理架构。 无法直接访问数据库slow_log表的场景。
19710编辑于 2026-03-04 - 来自专栏大数据
数据管理—reshape2包
今天，May带来数据管理常用的工具reshape2，这个包的作用在于可以对数据进行变形，然后组成自己想要的数据内容。 下面可以开始来了解reshape2的应用过程。 其实，数据管理的含义要比数据准备更大一些，基本上与数据有关的所有操作都可以视为一种数据管理行为，而数据准备更具有针对性，包括更具需求创建新变量、筛选变量、数据清洗和合并数据等系列操作。 所以，用于数据准备工作的函数都是数据管理的一部分，两者没有太大差异。 学习数据挖掘交流平台
89600发布于 2017-12-27 - 来自专栏云数据库技术
NineData，领先的多云数据管理平台
02 数据管理的挑战与机遇在这个百花齐放的数据时代，我们先看一下在数据管理场景下，有一些什么样的挑战。在信息技术持续演进的过去几十年里，已经有一些传统的、成熟的数据管理软件和产品。 03 NineData 全球领先的多云管理这就是NineData产生的背景和原因，NineData要做的就是在这个多云时代，在这个数据库百花齐放的时代，构建全球领先的多云数据管理平台。 另外，数据有时候还需要在多个业务系统之间流动，例如，因为在线数据需要向搜索平台流动，帮助企业构建实时搜索等；在线的数据还需要向数据仓库、大数据平台流动，帮助企业构建实时数据分析等。 这就是我们今天发布的NineData平台向企业所提供的能力，以及通过上面的大图展现了他在企业数据架构中的位置。 这是一个百花齐放的时代，在这之中，NineData致力于构建于全球领先的多云数据管理平台。
94640编辑于 2022-12-08 - 来自专栏全栈程序员必看
大数据平台的元数据管理
概念解释 1，大数据平台——是指服务于大数据计算或存储的平台，包括大数据的计算集群(hive、spark、flink、storm等等)和存储集群(如hadoop、hbase等等)。 2，大数据平台涉及的元数据——由大数据作业的业务逻辑直接读写处理的业务数据，都不是元数据，除此之外的数据都是元数据。 为什么要做元数据管理 1，管理元数据的好处——有助于用户更高效地分析数据，有助于系统和业务的优化，有助于数据的安全管控，有助于数据生命周期的管理，有助于任务问题的排查，有助于数据质量的保证。 2，怎样发挥元数据的价值——元数据信息通过服务的形式(例如REST接口)提供给上下游系统使用。 哪些数据纳入元数据管理 这个问题也就是元数据管理到底是管理什么。 对大数据开发平台来说，常见的元数据包括以下6点： 1，数据表的结构schema信息 （1） SQL或者NoSQL中的表视图信息，例如MySQL中可以通过SHOW CREATE TABLE table_name
1.3K10编辑于 2022-08-24 - 来自专栏活动盒子
工业制造行业B2B电商平台解决方案
工业制造业B2B平台模式多元化： 工业4.0背景下，工业B2B电商平台具有扩市场、提效率、省成本的固有属性，更为工业企业进行跨界新型信息技术的应用，提供转型升级的入口。 工业制造业B2B平台在模式上呈现多样性，B2B平台不仅是互联网技术的应用平台，线下运营能力和对产品的专业度，决定了B2B平台成功的关键。 针对工业制造业B2B平台架构的解决方案： 工业品电商平台能够打通产业链、提高工作效率、去中间化、降低成本，更方面相辅相成，缺一不可。 大数据分析 工业制造业平台接入数商云DMP（大数据管理平台），依托大数据对客户行为轨迹的分析能力，构建客户的兴趣模型，为客户提供实时产品或业务的智能匹配服务；加之其依托大数据对实时流数据的处理能力，实现秒级实时精准营销服务 数商云成功服务工业/制造业电商平台客户案例 国水联：专注水处理垂直行业的B2B供应链平台案例 集气猫：天然气B2B供应链交易平台案例 作者：云朵匠 | 本文由数商云原创（www.shushangyun.com
1.4K30发布于 2019-03-25 - 来自专栏大数据文摘
D-News|工信部称将建2个公共工业云平台和1个工业大数据平台 IBM发布沃森数据平台
D-News每天独家推送大数据行业新闻合集，每天早上五分钟，再也不会错过大新闻~每逢周一您还可以听到新闻内容哦~ 【摘要】工信部称将建2个公共工业云平台和1个工业大数据平台；谷歌收购眼动追踪技术公司 ◆ ◆ ◆ 政府动态 工信部：将建2个公共工业云平台和1个工业大数据平台 日前，工信部下发了《关于发布2016年工业转型升级(中国制造2025)重点项目指南的通知》。 工信部明确了中国制造2025重点项目共十八个重点领域，其中，工信部将重点扶持工业云和大数据公共服务平台建设及应用推广。 据悉，工信部将选择条件成熟、显示度高、带动性强的行业，支持3家科研机构或大型企业，联合上下游，分别建设2个公共工业云服务平台和1个工业大数据服务平台。 Visa B2B Connect是由Visa公司开发的全新平台，它能够为金融机构提供一种简单、快速和安全的支付方式来处理全球范围企业对企业的交易。
72860发布于 2018-05-25 - 来自专栏数据狗说事儿
主数据管理平台产品功能组成架构
主数据管理平台功能组成亿信华辰主数据管理平台在功能设计时就充分考虑了设计人员、业务人员、管理人员多个角色的应用场景：对于后台设计人员，协助其完成主数据管理的准备工作，如：标准创建、模型的搭建与维护，用户权限等 2、适合多场景的自动编码规则目前我们经历过的主数据项目中往往都会存在一物多码的问题，在平台中用户可以设置填报数据自动生成编码，用户可以根据标准规范，使用日期、字段、字符、流水号多种组合方式定义编码的规则 提供集中式、分布式两种主数据管理模式，基于Spring Boot框架，采用高内聚、低耦合的模块化架构，易与第三方进行集成，丰富的二开接口扩展性强，界面风格新颖符合审美。2.治理体系下的主数据管理。 2、完善主数据管控体系。明确主数据质检规则及考核，明确主数据角色权责及审批流程3、多方面业务价值。提供一致、完整、准确、有效的共享信息平台，为业务流程和经营决策提供可靠的支撑载体。 亿信华辰主数据管理平台通过其高可用性，已帮助南山集团、新疆有色金属集团、顶誉食品集团、楚昌投资集团、首钢基金等多个集团企业快速搭建主数据管理平台，保障各业务系统主数据的一致性，提高企业运营效率。
2.3K10编辑于 2022-09-21 - 来自专栏CRM日记本
Salesforce“冷门”产品，数据管理平台Krux介绍
Salesforce去年十月份收购了DMP（数据管理平台）初创公司Krux，Salesforce为什么收购Krux，它到底能给Salesforce带来什么样的价值？今天我们就来扒一扒。 2015年12月，Krux被咨询机构Forrester评为数据管理平台领域的领导者，已有超过200家企业客户。 现在我们通过Krux拓展了这些能力，一个数据管理平台（DMP）的领导者。 Krux通过你的客户的设备，在不同的网络帮助你捕捉和管理包括行为，兴趣等数据。 一般来讲，越大的市场受众企业会通过像Krux这样的数据管理平台收获越多。 你可以利用Krux平台去提升数字营销的方方面面： 1.定位目标受众以及去哪里找到他们。 Krux可以通过合作的DSP，将广告发布到更广阔的互联网平台上。 2.为一致的体验启用跨渠道的体验。用户可一站发布数字广告，无需去寻找多个广告商投放广告。
1.2K30发布于 2019-04-16 - 来自专栏全栈程序员必看
大数据管理平台（一）概述「建议收藏」
前言 一、功能概述 二、使用步骤 2.1 安装 2.2 监控 2.3 管理 2.4 用户管理 2.5 应用市场 2.6 操作系统 三、总结 ---- 前言 做大数据有几年了，这些年耳濡目染了一些大数据管理平台的使用 ，但是或多或少使用起来，都不怎么方便，所以决定自己来实现一个简单的大数据平台 ---- 一、功能概述 大数据应用组件往往很多，可能几百台服务器组成一个Hadoop集群，当部署这些节点时，需要一个节点一个节点的操作 为解决此类问题，大数据管理平台就出现了。 一个比较完善的大数据平台，应该包含有如下功能： 具体包括： 能一键安装大数据产品 能管理/监控多台服务器 能监控到各个大数据产品的运行状况 能在主页面上管理各个产品，并对其操作 有个shell，可以远程操作服务器 ，通过此概述，我们大概可以了解到一个比较完善的大数据平台，会在工作、学习中大大提高效率 发布者：全栈程序员栈长，转载请注明出处：https://javaforall.cn/132787.html原文链接
1.5K20编辑于 2022-08-14 从数据孤岛到战略资产：工业数据管理的转型之路
手把手教你释放工业数据价值：从采集到智能决策在工业4.0浪潮中，企业纷纷投入巨资部署传感器、建设数据平台，但一个普遍的困惑依然存在：数据采集了那么多，价值却难以量化。 一、工业数据的业务挑战：从采集到洞察的鸿沟工业企业的数据管理普遍面临三大业务挑战。1.1数据孤岛与上下文缺失某汽车零部件制造企业部署了5000多个传感器，采集温度、振动、压力等20多种测点数据。 4.1成本投入以中型制造企业为例，数据资产化的成本主要包括：软件平台（3年）：包括时序数据库、数据建模工具、分析平台等硬件设施：服务器、存储、网络设备实施服务：数据接入、模型设计、系统集成培训运维：员工培训 、日常运维、持续优化这些投入中，database平台是核心基础设施，它需要能够处理海量的工业数据，支持高效的查询和分析，并提供足够的扩展性以支撑业务增长。 六、实施路径建议企业实施数据资产化建议遵循"小步快跑"的原则：6.1试点阶段（1-3个月）选择1-2条关键产线或重点设备作为试点，完成数据接入、上下文建模、业务验证。
13810编辑于 2026-03-27- 来自专栏数商云贸
工业制造行业B2B电商平台整体解决方案
工业制造业B2B平台模式多元化： 工业4.0背景下，工业B2B电商平台具有扩市场、提效率、省成本的固有属性，更为工业企业进行跨界新型信息技术的应用，提供转型升级的入口。 工业制造业B2B平台在模式上呈现多样性，B2B平台不仅是互联网技术的应用平台，线下运营能力和对产品的专业度，决定了B2B平台成功的关键。 针对工业制造业B2B平台架构的解决方案： 工业品电商平台能够打通产业链、提高工作效率、去中间化、降低成本，更方面相辅相成，缺一不可。 大数据分析 工业制造业平台接入数商云DMP（大数据管理平台），依托大数据对客户行为轨迹的分析能力，构建客户的兴趣模型，为客户提供实时产品或业务的智能匹配服务；加之其依托大数据对实时流数据的处理能力，实现秒级实时精准营销服务 如需了解更详细的工业制造行业B2B电商平台开发解决方案，请在线留言，我们会安排专业的开发顾问为您提供更详细的解决方案及报价服务。
92230发布于 2021-01-29 - 来自专栏可持续开发
工业互联网2
在文章”工业互联网”中，我提到了工业互联网需要分内部和外部形态，优秀的企业内部形态是实现外部互联互通的前提条件，如果企业内部都非常多的信息孤岛，又怎么能做好外部的连接工作呢，所以工业互联网实现的难度要远远高于消费 工业企业流程多样化的问题 C端互联网的实现是标准统一化的，一个淘宝手机端，微信手机端可以服务10亿以上的用户，但工业互联网，每个节点都是多样化的。 ? 从上面的截图文章里面，我们可以看到企业的需求是希望个性化，而且改造应该是循序渐进的，而不是建立一个全新的底层平台，很多东西需要推到重来，而且尤其工业互联网还在探索阶段，这样休克式的革命，企业是承担不起的 和德国企业循序渐进的做法相反的是，中国媒体喜欢渲染无人工厂，渲染工业自动化的快速实现，就和前面的文章提到的，资本纷纷入场，搞个标准化云平台，再加上一些APP，就希望搞定工业互联网，导致了出来的解决方案非常不接地气 工业互联网需要企业信息化升级 工业互联网是企业管理软件领域的再次升级，但这必须是建立在企业完成内部信息化的基础上面的，而且如果只有大企业完成信息也，中小企业还在数字化低端水平，也无法真正实现工业互联网。
1.2K20发布于 2019-08-26 - 来自专栏用户1513005的专栏
广州接点智能工业大数据：车间物联网数据管理
工业企业的物联网，就是将人和物联系起来，将物作为数据采集端，由人或系统进行数据分析和决策，数据的分析和优化是物联网的关键技术之一，也是未来物联网发挥价值的关键点，物联网在工业中要很多种应用方式，如物流仓储 摄图网_500748889_banner.jpg 1.物联数据的组织方式 工业企业的生产制造物联网应用一般称为车间物联网或者制造物联，通过使用RFID传感器、无线网络通信、GPS定位、语音视频系统等技术把制造计划与制造资源 “人”、“机”、“料”、“法”、“环”等信息链接起来，从而对五大制造资源智能化识别、定位、跟踪、监控和管理，从而满足企业智慧调度、环境监测等方面的管理要求 2.物联数据的管理技术 车间物联网是一种典型的复杂信息系统 ，涉及数据管理的各个方面。
66131发布于 2019-07-24 - 来自专栏Banber可视化云平台
大数据管理服务平台，助力智慧法院建设
面向基层的助推、减负功能不足，面对管理层智能分析、风险预警、决策支持等功能不强，不能适应实战应用需要 智慧法院大数据管理服务平台 数据的价值在于应用，在于用大数据和大数据技术支持决策、服务管理。 Banber智慧法院大数据管理和服务平台提供信息纵览、审判动态、司法统计、审判质效、专项分析、司法人事和综合搜索等各类司法服务，实现法院一组数，对案件收结存态势的实时监控，平台基于个案信息的案件数据实时自动汇聚服务 Banber智慧法院大数据管理和服务平台为法院领导研判各级法院审判执行态势提供信息化支持，为法官提高办案质效提供智能辅助，为社会综合治理提供决策服务。 审判态势分析报告所使用的数据，均源于大数据管理和服务平台，大幅提升了审判态势分析的及时性、全面性和丰富性。 大数据管理和服务平台从根本上改变传统方式耗时费力且难以检验的弊端。目前，大数据管理和服务平台打通报表、统计数字、案件信息项等数据源，让日报/周报/月报/年报等各项工作报告得心应手。
1.3K20发布于 2021-10-12 - 来自专栏iNeuOS
“工业互联网平台“将成为工业制造企业的标配
概述 2. 背景 3. 评述 ---- 1. 概述 “‘工业互联网平台’将成为工业制造企业的标配”的命题既是基于工业生产企业现实情况的判断，又是对工业企业未来发展的需求判断。 前途的光明是基于工业企业现实情况的洼地比较多，证明有很大发展空间；道路的曲折是基于需求方（国企和私企）是自己赚钱自己花和整体行业的思维相对保守而形成了壁垒。 2. 评述 中国工业企业的改造升级、智能制造、数字化及智能化、工业互联网等面临的到底是技术问题、还是非技术问题？作为一名从业者，以什么样的开放心态、心胸面对甲方和市场竞争呢！ 中央提到“既不走封闭僵化的老路、也不走改旗易帜的邪路”，对应现在工业行业来讲，既不能使用所谓的技术“坑”用户，任何一项技术都会被发展无情的抛弃，一个公司不可能靠这些混的长远；又不能掌握所谓的一项技术到处忽悠 “工业互联网平台”面对工业领域，也将以一种形态在工业领域占有一席之地。 ----
1.1K00发布于 2021-08-20 - 来自专栏科控自动化
工业物联网平台到了危险边缘
从双跨平台企业看行业—— 2023年下半年，两家都曾荣膺“双跨平台”的工业互联网明星企业双双折戟IPO，给本就不算景气的产业前景蒙上了一层暗淡的色彩。 自工业互联网的概念开始爆火起，平台商就是自带光环的角色，产业曾幻想其能够破解工业领域“隔行各如隔山”的难题，摆脱一个一个做项目的“脏活累活”困境，实现如同消费端平台一样的商业奇迹——然而，冰冷的事实摆在眼前 某种意义上，2023是工业互联网泡沫破裂的一年，工业互联网平台光环不再，“双跨平台”光环不再，甚至IIoT本身也光环不再。当潮水褪去，方知谁在裸泳。 工业互联网厂商在业务发展过程中都面临以下两个问题。 一、在工业领域，还没有哪家平台型工业互联网厂商形成了规模化复制的方法论。 规模化复制意味着可以快速推广平台的技术、解决方案和服务，降低平台建设和运营成本，提高平台的可持续性和盈利能力，还可以加速工业互联网的普及和推广，促进数字化转型和产业升级，为企业创造更大的价值和收益，可惜的是现在的工业互联网厂商仍任重道远
2.6K11编辑于 2023-12-31
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号