首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏国云大数据

    数据:什么是数据

    数据:什么是数据 什么是数据 数据是全新的架构变革。过去三十年,企业数据管理都以传统的IT架构为基础。 由此,集成式的建设方式给技术部门形成巨大的维护成本和治理成本,并没有达到数据建设的真正目的。 数据的基本能力 数据具有数据服务的能力。 传统企业搭建数据,如果仅完成了API接口的创建,仅仅是完成了数据建设的其中一环。因此,数据并不是端到端的技术赋能平台。 由此,集成式的建设方式给技术部门形成巨大的维护成本和治理成本,并没有达到数据建设的真正目的。 数据的基本能力 数据具有数据服务的能力。 数据的建立可以帮助企业对数据进行风险隔离,确保一方不影响另一方。 数据应用方式 数据应用方式一为帮助业务部门灵活使用数据分析。数据改变了以往业务部门数据分析技术能力不足的窘况。

    4.7K20发布于 2020-11-20
  • 来自专栏全栈程序员必看

    数据,什么是数据

    数据是只有大厂才需要考虑的高大上的概念吗?普通企业该不该做数据数据的出现会给现有数据从业者们带来颠覆式的挑战吗? 数据不是大数据平台! 首先它不是一个平台,也不是一个系统,如果有厂商说他们有个数据卖给你,对不起,它是个骗子。 要回答数据是什么,首先要探讨一下到底是什么。 概括地说,三者的关键区别有以下几方面: 数据是企业级的逻辑概念,体现企业 D2V(Data to Value)的能力,为业务提供服务的主要方式是数据 API; 数据仓库是一个相对具体的功能概念 数据也可以小而美 建设数据的关键考量包括两方面。 首先数据一定要与业务价值对齐。构建数据,最重要的不是技术,也不是数据质量好不好,而是数据思维和数据文化。 这对于数据人员的业务理解能力就加强了,他 / 她们必须具备快速理解业务的能力,才能够体现出专业性和优势。 2.

    2.6K31编辑于 2022-09-14
  • 来自专栏云+直播

    数据是什么:数据剖析

    本次分享内容: 1、数据现象及剖析 2、技术实践过程的问题与挑战 3、Q&A环节 去年3月份我写了一篇关于数据的文章,得到了10万+的浏览量。 (2)企业希望数据能够提供数据服务 过去数据部门提供的都是可视化辅助决策类的服务,而企业希望数据能够提供高响应更实时的数据服务。 总的来说,很明显能看到企业对于数据这个概念承载的重大期待。 那为什么数据仓库、数据平台、商业智能就解决不了这些问题呢? 2. 再来看一下菜鸟的数据台架构,菜鸟虽然和阿里是一个体系,但是它和阿里的还是有一些差异的。 菜鸟的数据主要分为三个大块。第1块是服务层,第2块是数据层,第3个是数据管理的套件。 [r5ocu6e06f.jpg] 2. 数据的六大能力模型 在此基础之上,我们把数据抽象成6大能力,在六大能力基础之上支撑的就是数据的使命和愿景:构建数据驱动的智能企业。

    4.5K52发布于 2020-03-05
  • 来自专栏只喝牛奶的杀手

    数据

    数据模型是分层次的,以前叫作数据仓库模型,概括为三层,基础模型一般是关系建模,主要实现数据的标准化,我们叫作“书同文、车同轨”,融合模型一般是维度建模,主要实现跨越数据的整合,整合的形式可以是汇总、关联 ,也包括解析,挖掘模型其实是偏应用的,但如果用的人多了,你也可以把挖掘模型作为企业的知识沉淀到,比如离网挽留的模型具有很大的共性,就应该有人把它规整到模型,以便开放给其它人使用,是相对的 数据服务将数据模型按照应用要求做了服务封装,就构成了数据服务,这个跟业务台中的服务概念是完全相同的,只是数据封装比一般的功能封装要难一点,毕竟OLTP功能的变化有限,而数据分析受市场因素的影响很大,变化更快 随着企业大数据运营的深入,各类大数据应用层出不穷,对于数据服务的需求非常迫切,大数据如果不服务化,就无法规模化,比如浙江移动封装了客户洞察、位置洞察、营销管理、终端洞察、金融征信等各种服务共计几百个,每月调用量超过亿次 但有数据模型和数据服务还是远远不够的,因为再好的现成数据和服务也往往无法满足前端个性化的要求,这时候就得授人以鱼不如授人以渔了,数据的最后一层就是数据开发,其按照开发难度也分为三个层次,最简单的是提供标签库

    3.4K42发布于 2019-09-02
  • 来自专栏数据饕餮

    数据体系结构、建设方法和落地实践(2):数据的概念定义

    一、前言 关于数据的概念定义,业内有各种各样的版本,尤其是涉及数据数据仓库、数据平台等相关概念的差异一直争议不断,可谓一百个人眼中,就有一百个数据,千百万人眼中,就有千百万个数据 本章内容围绕数据的定义,采用两种方法,三个视角,给大家阐述,在工程实践者的眼中,数据的概念定义。 二、正文 2.1 什么是数据 数据概念的理解,我们可以通过拆解其建设内容和知识结构进行理解,此为归纳法。 通过以上时间和数据生命周期两个维度,进行数据仓库、数据平台和数据的对比和分析,我们可以得出归纳两个结论:一、时间视角:数据数据仓库、数据平台发展和演进的下一个阶段;二、数据视角:数据仓库、数据平台和数据 三、未完待续 计划写一个完整的关于数据的系列文章,此为第二篇,基于工程实践视角阐述数据的概念定义和演进路线。下一篇:《数据的体系结构》,敬请期待。沟通交流,共同学习,可以加交流群:

    87711发布于 2020-07-30
  • 来自专栏Lansonli技术博客

    数据建设(二):数据简单介绍

    关于数据有以下几个功能特点: 1)数据具备数据汇聚整合、数据提纯加工、数据服务可视化、数据价值变现核心能力。 2数据的核心就是实现公共计算逻辑下沉,实现数据复用,提供给接口使用。 是一种经营理念,是一种组织形式,是“平台思维”的自然演进。 又包含业务、技术数据。 比如电商平台,有C2C、B2C、C2B、B2B四种模式,其中订单、交易、商品管理,购物车模块、短信中心,用户中心、支付中心、交易中心、搜索服务都是有共性的,将这些组件沉淀出来,形成电商行业的业务,再基于这些业务组件的服务能力 ,可以快速搭建前台应用,譬如:C2C模式的淘宝、B2C模式的天猫、B2B模式的1688、C2B模式的聚划算,用户通过这些前台业务触点使用业务服务,业务不直接面向终端用户,但可以极大提升构建面向终端用户的前台的速度和效率 三、数据与业务区别和联系 一个企业可以同时拥有业务数据,两者是相辅相成的。

    11.1K68编辑于 2022-05-02
  • 数据是什么?怎么搭建数据

    数据的核心不是管理,而是流动。数据有了,但用不起来,才是真正的问题所在。那么,一个真正能跑起来的数据,应该长什么样?今天就跟大家把数据讲清楚,它到底是什么、架构怎么设计、从0到1怎么落地? 一、数据到底是什么说白了,数据是一个统一数据能力平台。它的核心任务是把企业分散在各个系统里的数据汇聚起来,经过治理加工,形成可以被反复调用的标准化能力,然后持续支撑业务决策和创新。 数据汇聚的是全局数据,让运营、市场、供应链等非技术岗也能直接用数据,每一个需要数据的人,都能方便地拿到自己需要的数据。能力抽象。 数据不只是存数据,它会把数据加工成可复用的能力。 数据孤岛严不严重?各部门的配合意愿如何?这些问题如果没有提前评估,建设过程中会遇到很多阻力。建议先选1到2个高价值场景做试点,验证路径可行之后再全面推进。2数据治理这个阶段的核心是建立秩序。 这部分数据如果没有专门的存储和分析方案,数据的覆盖范围会非常有限。第三,过度追求大而全。 初期不要想着一次性把所有场景都覆盖,先聚焦1到2个高价值场景,快速跑通,验证价值,再逐步扩展。

    31110编辑于 2026-03-31
  • 来自专栏Education

    Deploying to Amazon EC2 in Mulesoft

    Deploying to Amazon EC2 The EC2 plugin allows you to create Amazon machine instances (AMIs) of your existing Creating an Amazon EC2 Account Before you can get started, you must create an Amazon EC2 account. Amazon Machine Images Amazon Machine Images (AMIs) are images that get provisioned to each EC2 instance On the Amazon EC2 tab, click New Account. 2. new-ec2-instance.png To create an instance: 1. On the Amazon EC2 tab, click New Instance. 2.

    94000发布于 2019-11-28
  • 来自专栏大魏分享(微信公众号:david-share)

    白话战略-2到底长啥样?

    数据业务双 大家提起,绕不开也是最先想到的应该都是阿里巴巴的数据业务双。毕竟阿里的大中小前台战略尽人皆知,其威力也是显而易见的。 数据从后台及业务数据流入,完成海量数据的存储、计算、产品化包装过程,构成企业的核心数据能力,为前台基于数据的定制化创新和业务台基于数据反馈的持续演进提供了强大支撑。 过滤掉技术细节,提供简单一致,易于使用的应用技术基础设施的能力接口,助力前台和业务数据的快速建设。 如果将业务数据比喻成强大的炮火群,可以直接对敌人进行进攻。 玄难:是一个基础的理念和架构,我们要把所有的基础服务用的思路建设,进行联通,共同支持上端的业务。业务更多的是支持在线业务,数据提供了基础数据处理能力和很多的数据产品给所有业务方去用。 业务数据、算法等等一起提供对上层业务的支撑。 极客公园:也就是说,不论是业务还是数据,实际上都是一个架构层面的去连接底下这部分资源。

    1.9K20发布于 2018-12-24
  • 来自专栏Lansonli技术博客

    数据建设(一):数据出现的背景

    数据出现的背景一、数据建设中出现的问题在企业数据建设过程,都离不开大数据平台建设,大数据平台建设涉及数据采集、数据存储、数据仓库构建、数据处理分析、数据挖掘机数据可视化等等一系列流程。 2数据质量问题由于构建了很多数据仓库,没有有效的对数据进行很好的质量管理以及数据开发过程存在bug问题,导致数据经常算错,结果违反常识,开发人员浪费大量精力定位数据质量问题,经常没有办法按时产出报表数据 二、为什么要构建数据以上我们分析了数据建设中出现的各种问题,那么为什么出现这些问题呢? 图片2数据管理能力缺失随着企业业务线增多,企业业务量和业务指标增多,在数据分析时对应任务和数据表也非常多,如果我们缺少了对这些任务和数据的管控能力,不清楚一个任务挂掉影响哪些数据表结果,不清楚每张数据表被哪些用户使用 解决以上三个方面问题关键就是需要一套机制,通过这套机制整合企业数据,规范、快速的形成数据服务能力,为企业经营决策、精细化运营提供支撑,这套机制就是数据。三、思维导图总结图片

    2K93编辑于 2022-07-15
  • 来自专栏Lansonli技术博客

    数据建设(一):数据出现的背景

    数据的取数效率低下 在数据建设过程中有一些指标可能在构建数据应用体系下没有及时的统计在数据集市,就造成了运营、数据分析这些非技术人员需要给技术人员提临时性的数据分析需求,这个过程来来回回沟通加上调试 2数据质量问题 由于构建了很多数据仓库,没有有效的对数据进行很好的质量管理以及数据开发过程存在bug问题,导致数据经常算错,结果违反常识,开发人员浪费大量精力定位数据质量问题,经常没有办法按时产出报表数据 二、为什么要构建数据 以上我们分析了数据建设中出现的各种问题,那么为什么出现这些问题呢? 2数据管理能力缺失 随着企业业务线增多,企业业务量和业务指标增多,在数据分析时对应任务和数据表也非常多,如果我们缺少了对这些任务和数据的管控能力,不清楚一个任务挂掉影响哪些数据表结果,不清楚每张数据表被哪些用户使用 解决以上三个方面问题关键就是需要一套机制,通过这套机制整合企业数据,规范、快速的形成数据服务能力,为企业经营决策、精细化运营提供支撑,这套机制就是数据。 三、思维导图总结 ​ ​

    2K53编辑于 2022-04-29
  • 来自专栏CloudBest

    什么是数据?全面解读数据

    ”早期是由美军的作战体系演化而来的,技术上说的“”主要是指学习这种高效、灵活和强大的指挥作战体系。阿里在今年发布“双+ET”数字化转型方法论,“双”指的是数字和业务数据是什么 数据是指通过数据技术,对海量数据进行采集、计算、存储、加工,同时统一标准和口径。数据数据统一之后,会形成标准数据,再进行存储,形成大数据资产层,进而为客户提供高效服务。 它是企业业务和数据的沉淀,其不仅能降低重复建设,减少烟囱式协作的成本,也是差异化竞争优势所在。 建立数据的原因 数据和业务相比,面临的情况可能会更加复杂一点。 同时,统一的基础模型将相关业务领域的数据做了很好的汇聚,解决了数据互通的诉求,这点的意义巨大,谁都知道数据1+1>2的意思。 03 数据是培育业务创新的土壤 企业的数据创新一定要站在巨人的肩膀上,即从数据开始,不能总是从基础做起,数据数据创新效率的保障。

    6K21发布于 2019-09-05
  • 来自专栏内容管理系统

    内容数据的区别

    数据不仅仅是技术架构,更是一种数据驱动的业务运营理念。在数据台架构数据从各个业务系统抽取、清洗、整合,形成统一的数据资产。 数据使用的场景企业数据分析:数据整合了企业内部的各种数据资源,通过数据清洗、转换、整合,实现数据的汇聚、整合和分析。 内容数据的区别内容是一个集中的平台,负责管理和分发各种形式的内容,如文本、图片、视频、音频等。 内容专注于管理和分发各种类型的内容资源,而数据则聚焦于企业数据的整合、治理和利用,两者在业务场景和目标上有明显的差异。如何使用MassCMS创建内容2.定义字段和关系为每个内容类型定义字段,并选择适当的字段类型,如文本、日期、图像等。你还可以设置关系字段,以关联不同类型的内容,如将产品与文章进行关联。

    1.1K10编辑于 2024-06-06
  • 来自专栏EAWorld

    数据建设从数据的认知开始

    导致数据最终是一个技术平台的呈现;价值就无法最大化。本文将从数据的价值体现、必备的核心能力来对数据建设做一个简短的认知。 数据的价值体现 ? 数据必备的核心能力 ? 现实,由于对数据的认知不够全面,导致数据的落地困难重重,目前数据的建设往往是技术组件的堆积,是传统数据仓库的改版。 2 数据之“规”,重点在标签体系 “规”,有法度也,是规则、是制度、是体系。 数据建设的核心是数据数据管理的核心也是数据数据应用的核心还是数据数据对于金融企业如此重要,那么数据建设过程,我们依靠什么样的数据体系来构建我们的数据2、金融企业数据质量管理流程 数据质量问题会发生在各个阶段,因此需要明确各个阶段的数据质量管理流程。

    2.4K40发布于 2020-11-02
  • 来自专栏区块链入门

    数据仓库、数据湖、数据一文读懂【2

    通常分析技术栈分为以下几类: ODS 数据从不同的数据库转移到单一的存储区域,如云存储服务(如Amazon S3、ADLS)、HDFS。 数据沉淀 采用Amazon S3作为整个数据湖的集中存储,按需扩展/按使用量付费。 数据计算 整个解决方案利用AWS GLUE来进行基本的数据处理。 5.2.2 数据 数据概念,不同于数据平台。 5.6 数据带来价值 数据对一个企业的数字化转型和可持续发展起着至关重要的作用。数据为解耦而生,企业建设数据的最大意义就是应用与数据解藕。 内部或云端可用的关系数据库包括Microsoft SQL Server、Oracle数据库、MySQL和IBM Db2、以及Amazon Relational Database Service、Google

    1.6K30编辑于 2022-03-23
  • 来自专栏数据社

    浅谈数据

    一、什么是数据 数据的概念最是阿里提出来的是为了实现数据的分层和水平解耦,提供数据服务能力。看了那么多的概念,对也有些自己的理解。笔者认为主要是为了提供全域的数据服务。 二、如何建立数据 建设数据主要就是从数据模型、数据资产、数据治理、数据服务四部分出发。 我们可以看出数据的模型具有通用性。 数据建模一般分为2个步骤: 1. 确认事实表,分析业务的生命周期,明确业务的关键步骤。 在进行指标定义的时候是否覆盖了本主题语的全部指标,判断哪些指标可以通过加减乘除计算得到等。 2. 冗余维度也是需要考虑的,设计冗余的维度可以避免统计过多的关联导致复杂的计算逻辑,影响性能。 2数据资产 在数据仓库我们已经建立了一些模型,但是只有打通数据孤岛后才可以称为资产。

    1.2K50发布于 2020-05-25
  • 来自专栏谭伟华)的专栏

    Amazon Aurora:云时代的数据库 (

    接《Amazon Aurora:云时代的数据库 ( 上)》 4. 日志驱动 在这一节,我们介绍了数据库引擎是如何产生日志的,这样可持久化状态、运行时状态、以及复制状态永远是一致的。 这让我们可以使用异步的思路简化用来维护状态的一致性协议,而不是使用2PC这种沟通复杂且对错误容忍度低的协议。 在实际,每个数据库实例可以与三个Amazon虚拟网络VPC通信:用户应用与数据库引擎交互的用户VPC,数据库引擎与RDS控制面板交互的RDS VPC,数据库与存储服务交互的存储VPC。 存储服务部署在一个EC2虚拟机集群上,集群最少会跨同一个Region的三个可用区AZ,共同为多个用户提供存储,读取或者写入数据,备份或者恢复用户数据。 存储服务的控制面板用Amazon DynamoDB作为持久存储,存放数据库容量配置、元数据以及备份到S3上的数据的详细信息。

    2.6K00发布于 2017-08-03
  • 来自专栏凯哥讲故事系列

    凯哥讲数据Netflix的数据(上)

    前言 在《#凯哥讲数据#数据的使命,愿景和六大核心能力》,我提到,数据的愿景是"打造数据驱动的智能企业"。 本文分两个部分: 上部 一、Netflix:业务转型的奇迹 二、数据驱动的数字化转型 下部 三、Netflix的数据 ? 当然,这个转型的决定带来的最大的影响是,Netflix的竞争对手不再是BlockBuster这样的传统DVD租赁公司,而是类似于Amazon,Comcast,Hulu这样的流媒体巨头。 以上这么多角色,都统一在一个大数据门户上协作,从而保证了数据同源,保证大家的认知,背景的一致性,从而保证数据产品的准确性,这样的效率是很高的。这和我们所提倡的企业级数据的概念有异曲同工的感觉。 请期待第三部分《Netflix的数据》 欢迎转载,但是请注明出处,谢谢。

    2K30发布于 2020-02-19
  • 消失的数据-数据降温和项目建设失败的原因分析

    今天继续和大家讨论数据的话题。最近半年时间里,不知大家是否注意到,关于数据的讨论已经相当减少,甚至可以说数据的热度明显下降了。 因为数据更多是采集和整合业务系统的数据,集成后形成可供外部开放的数据资产和数据服务。 尽管如此,我也发现实际落地的数据效果并不理想。 在有项目机会时,我们将逐步完善数据产品。 为什么最近半年数据越来越不受关注,或者说数据项目很难真正落地,达不到客户预期呢?我将其分析为三个关键原因。 在这种情况下,建立数据的意义何在呢? 其次,本应通过类似ESB总线、服务共享平台等解决数据服务集成或共享的问题,却将其放入数据系统解决。 回顾数据,我们应该更容易理解,问题并非数据思想本身有问题,而是与企业发展阶段、业务和IT成熟度水平密切相关。企业在规划数据时必须思考:是否真正需要数据数据能为企业带来何种价值?

    25600编辑于 2025-06-24
  • 来自专栏JavaEdge

    数据实战(11)-数据数据安全解决方案

    0 微盟删库跑路 除了快、准和省,数据须安全,避免“微盟删库跑路”。 始作俑者是一位运维,在生产环境数据库删库,而刚上市不久的微盟就因此遭受巨大的损失,2月23日宕机以来,市值蒸发30亿港元。最贵的安全事件。数据咋防止类似事件? 对一天以上数据恢复,建议采取基于冷备集群的数据备份来恢复。 3 精细化的权限管理 避免敏感数据泄露。数据权限是数据实现数据复用的前提和必要条件。 权限问题,在数据构建之初,须提前规划好。 数据支撑技术体系基于OpenLDAP + Kerberos + Ranger 实现的一体化用户、认证、权限管理体系。 数据用户、认证、权限系统架构: 如有几千机器,却没个统一的用户管理服务,当想添加一个用户,需到几千服务器创建初始化用户,OpenLDAP解决了这问题。

    1.2K50编辑于 2023-10-08
领券