在企业 ChatBI 落地过程中,数据底座的技术路线选择直接决定了数据可信度、维护成本和业务响应速度。 传统宽表架构在数据口径一致性、维护成本和灵活性上已难以支撑企业级 ChatBI 的规模化应用,而基于 NoETL 明细语义层的方案正成为新一代数据底座的主流选择。 痛点一:数据口径碎片化,业务不敢信不同宽表、不同报表对同一指标定义不一致:同一“销售额”指标在营销宽表、财务宽表中可能包含不同的业务口径(如是否含税、是否含退货),导致业务人员无法判断哪个数据可信。 NoETL 明细语义层——ChatBI 数据底座的核心基于明细层数据模型进行语义抽象,覆盖完整分析场景:明细语义层直接对接企业数仓 DWD 层的明细模型,沉淀所有明细级语义,支持从宏观汇总到明细下钻的全场景问数需求 最后,为确保数据安全与合规,NoETL 明细语义层可支持行级和列级的数据权限,确保用户仅能访问其权限范围内的数据,如客户经理仅能看到所负责客户的销售数据。
数字时代的数据流通困境与战略瓶颈 在数字化进程中,各类组织普遍面临数据孤岛严重、流通壁垒高、安全与合规风险突出等核心挑战。 腾讯与亚信联合推出可信数据空间解决方案 该方案以“多模式数据流通”为核心,构建覆盖多行业、多层级、多形态的一体化可信数据基础设施。 “通过可信数据空间,我们实现了汽车产业链多方数据的安全共享与联合分析,显著提升了消费画像精准度和市场预测能力。” —— 肖东君,亚信科技(未注明职位,保留姓名与公司) 腾讯的核心能力与生态优势 腾讯凭借其全球覆盖的云网基础设施、自主研发的区块链平台(TBaaS)及隐私计算技术栈,为客户提供高可用、高可信的数据流通底座 其优势体现在: 广泛连接能力:依托腾讯云全球节点与多云适配能力,打通跨组织、跨云数据链路; 技术集成深度:深度融合区块链、隐私计算与安全技术,提供端到端可信流通保障; 行业生态成熟度:在政务、金融、交通
基于腾讯全球数字生态大会中主讲人 肖东君 带来的《从资源到资产,构建数字化转型的“可信数据底座”——亚信可信空间实践》分享,提炼核心业务洞察与技术实践。 融合云网与区块链,构建多层级可信数据流转生态 为探索数据要素安全高效流通的新范式,亚信科技联合腾讯云打造了以“1个底座,1套数据空间,5类运营角色,N个业务场景”为核心的可信数据流通生态。 多模式数据交付管控: 亚信科技提供数据流通运营服务平台与多密级可信数据空间,支持 API、数据集、数据报告等低、中、高多类安全级别的数据交付管控。 全链路可信时延: 轻量集成可信存证节点,数据要素流通过程响应时延 <10ms。 腾讯在信创云底座、区块链底座、隐私计算、大数据平台、国产化数据库以及零信任安全等多个技术层面提供了深度助力。
国际技术趋势显示(Hype Cycle for Data Technology, 2024),隐私计算、使用控制、数据沙箱、区块链等可信安全技术正成为主流,推动数据从“有数可用”向“数尽其用”演进(TDT1.0 部署可信数据空间联合方案 腾讯与亚信联合推出可信数据空间联合解决方案,以“1个底座+1套数据空间+5类运营角色+N个业务场景”为核心架构,目标支撑数据要素X多场景流通。 undefined数据来源:腾讯全球数字生态大会,亚信可信空间实践主讲人肖东君 量化业务效果与客户价值 方案应用实现以下可量化成果: 接入与部署:支持2000+机构并行接入服务,通过软硬一体机部署效率提升 ;融合多方计算、联邦学习、TEE、区块链、数据沙箱四大数据流通技术体系,实现异构数据安全融合与动态策略协同; 运营效率:兼容配置融合平台互联互通,集中式运营管理实现精细化数据管控策略随数据流动。 注:内容基于腾讯全球数字生态大会“亚信可信空间实践”分享,主讲人肖东君(亚信)。
而可信数据空间正是当下正在发生的、能实实在在解决我们数据共享问题的关键。今天,我就用一个过来人的经验,和你聊聊可信数据空间这个至关重要的概念,以及为什么可信数据空间是数据共享的关键。 一、什么是可信数据空间?简单说,可信数据空间就是一个基于统一规则和技术的安全数字环境。在这个环境里,企业和机构能在彼此信任、且自身数据主权得到绝对保障的前提下,进行数据交换和协同计算。 可信数据空间的核心,就是建立一种新的秩序。我一直在强调,数据的价值在于流通,但流通的前提必须是可控和安全,这正是可信数据空间要解决的根本问题。 可信数据空间通过一系列技术构建了基础信任。所有参与者都需要经过严格的身份认证,数据传输全程加密,更重要的是,数据的使用过程可以被监控和审计。3.协同计算可信数据空间不是数据的直接搬运。 三、可信数据空间有哪些现实应用?目前,可信数据空间已经在多个关键领域展现出了巨大潜力。1、在企业内部,可信数据空间可以打破数据孤岛,效率翻倍。
进行仿真计算需要处理大量的实时数据,对系统的计算和数据吞吐能力都有极高的要求。既有的数据基础设施很难满足以汽车研发为代表的新增需求,创新的数据底座成为智能制造时代被寄予厚望的“圣杯”。 仿真平台只是创新数据底座的冰山一角。 这次高峰论坛以“数智新引擎、制造新升级”为主题,来自全国的200多位制造行业精英、合作伙伴及技术领袖,共同交流数字经济时代高端制造领域的数据基础设施需求与实践,勾勒出创新数据底座的整体轮廓与发展趋势。 华为构建的创新数据基础设施,将成为国内制造企业数字化转型坚实的数据底座,其示范效应影响深远。 存储产品的高歌猛进,为华为创新数据基础设施提供了充足的底气;与更多懂行业、懂业务、懂技术的合作伙伴携手同行,则是华为构建制造业等行业数据底座的生态保障。
前言 数据中台的崛起代表了企业数字化转型从流程驱动走向数据驱动,从数字化走向智能化。而DataOps则是数据中台区别于传统企业数据架构的核心差异,是建设数据中台的必备底座能力。 上图是典型的数据价值链过程,而DataOps就是支撑着整个全生命周期的底座,成功的DataOps体系有四个特质:CAUTA。 全面/Universal 作为企业全域数据的底座,DataOps要全面的支持所有的场景和数据,如下图所示例,列示出了常用的30种数据源和40种目标数据。 ? 可以分解的更加细致: ? 可信/Trust 数据的可信包括三个层面: ? ,才能被认为数据是可信的。
为什么需要大模型底座? 由表及里,大概有两层原因驱动。 首先是直接原因,行业需求。 生成式AI将会形成一个新市场,如今已是行业公认的趋势。 那么亚马逊云科技的动作,则是给出了一种新范式,将多种大模型囊括在一起,放在一个大平台底座上,让用户的可选择性提升,同时发挥他们云厂商本身的优势,让用户的调用和定制化过程门槛更低、效率更高,并在安全性做出保障 更深层次的原因在于,给大模型加底座,能够更进一步降本增效,这本身就符合市场和行业的发展要求。 而除了大模型底座,在近期或许还会衍生出一大批“新兴物种”。比如当下软件应用在争先恐后接入Chatbot,就有企业推出相应服务帮软件应用接入大模型能力。 可见在当下这个时刻,怎么把握机遇非常关键。 其中,比如光数据这一环就分为数据提供商和数据服务商,光数据提供商就包括提供通用数据、垂直数据、特定业务下的标注数据、符合法规的审核数据等等。
背景今年HDC在展厅遇见了HarmonyOS 数据底座的架构师,介绍了基于数据底座实现端侧能力的智能小助手,听着很吸引人,HarmonyOS将端侧AI做到了系统层,给开发者创造了无限可能。 向量数据库概述向量数据库是一种支持存储、管理和检索向量数据的数据库系统,同时兼容传统的关系型数据处理能力。 从API version 18开始,向量数据库正式支持通过标准化接口实现数据持久化,为开发者提供了可靠的数据存储解决方案。 结果集采用惰性加载策略,只有在实际访问数据时才会从存储层加载,有效降低了内存消耗。向量数据表示floatvector是向量数据库的核心数据类型,用于表示高维向量数据。 数据类型与约束支持的数据类型向量数据库支持丰富的字段类型,满足多样化的数据存储需求:类型描述是否支持NULL空值是INTEGER整形是DOUBLE浮点类型是TEXT字符串类型是BLOB二进制类型是FLOATVECTOR
自己贴片的51+WIFI的开发板终于到了。。还是贴片的好看 美中不足的是需要改一个电阻的阻值。。还有就是由于自己的8266和51单片机一块断电上电,所以如果用的USB线的质量不好就会出现 下载不了程序
摘要 本文旨在解析大数据平台的数据底座能力,探讨其核心价值、典型场景、关键挑战,并提供详细的操作指南。同时,对比分析通用方案与腾讯云方案的差异,并提供场景化案例以展示腾讯云产品的优势。 技术解析 核心价值与典型场景 大数据平台的数据底座能力,指的是构建企业级数据仓库和数据资产管理的能力。这一能力的核心价值在于: 性能提升:与传统数仓/大数据解决方案相比,性能提升10~100倍。 构建企业级数据仓库 原理说明:企业级数据仓库构建需要从异构数据源导入数据,通过大数据组件进行数据开发、任务编排和运维,最终通过数据导出或API服务应用数据。 结论 大数据平台的数据底座能力是企业数字化转型的关键。腾讯云提供的WeData、COS和BI工具等产品,能够帮助企业在性能、成本和数据治理方面取得显著优势。 通过上述操作指南和增强方案的对比,企业可以根据自身需求选择合适的技术方案,实现数据底座能力的构建和优化。
具体的核心要点如下: 一、可信数据空间的定义 根据《可信数据空间发展行动计划(2024—2028年)》的官方定义: 可信数据空间是基于共识规则,联接多方主体,实现数据资源共享共用的一种数据流通利用基础设施 “可信”不仅是技术层面的安全,更是制度、规则、行为与技术的综合信任机制,具体包括: 身份可信:通过统一身份认证、跨域互认,确保参与主体真实可靠; 数据可信:数据来源可验证、内容可审计、使用可追踪; 过程可信 三、可信数据空间应包括的核心内容 根据政策文件与权威解读,可信数据空间应包括以下三大核心能力与支撑体系: 三大核心能力 可信管控能力:支持对主体身份、数据资源、产品服务进行可信认证;实现数据流通全过程的动态管控 有了这个基础的理解,我们才能够更好地去理解可信数据空间这么一个概念。 好了,怎么样去理解可信数据空间?它里面其实包括两个概念,第一个叫可信,第二个叫数据空间。 什么叫可信? 所以基于我刚才讲的,大家可能对可信数据空间就更加容易理解了。可信数据空间简单的来理解它,就是要去构建一个可信+共享+共创的这么一种数据流通的基础设施,这个就是可信数据空间的核心的要点。
/可信数据空间的定义- 可信数据空间是一个基于共识规则的数据流通利用基础设施,支持多方主体在安全可信环境中进行数据共享和合作。 可信数据空间的价值可信数据空间,这个基于共识规则构建的“数据交易市场”,正通过可信管控、资源交互与价值共创三大核心能力,重塑产业生态。在企业层面,龙头企业正牵头打通上下游数据壁垒。 可信数据空间的应用前景广阔- 企业可信数据空间:支持龙头企业建设企业可信数据空间,协同上下游企业开放共享数据资源,打造数字化供应链。 - 行业可信数据空间:支持建设重点行业可信数据空间,创新数据使用、收益分配、协同治理等机制,促进产业链端到端数据流通共享利用。 - 跨境可信数据空间:探索构建跨境可信数据空间,建立高效便利安全的数据跨境流动机制可信数据空间的数据丢失风险数据价值释放的浪潮之下,风险暗流涌动。
可信计算的概念从上世纪80年代就开始发展: 中国可信计算研究工作始于1992年。 可信技术发展经历了以主机可靠性为主要特征的可信计算1.0时代,以节点安全性为主要特征的可信计算2.0时代,现在发展到了以系统免疫性为主要特征的可信计算3.0时代。 2016年11月在“中国可信计算技术创新与产业化论坛(2016)”上,中国工程院院士沈昌祥表示“中国重启可信计算革命,全新的可信计算体系框架已经形成。” 那啥是可信计算? 可信计算组织TCG用实体行为的预期性来定义可信:一个实体是可信的,如果它的行为总是以预期的方式,达到预期的目标。 这就是指从用户角度看,计算机系统所提供的服务是可信赖的,而且这种可信赖是可论证的。 我们认为移动互联网时代的可信计算更多的表现出可信执行环境。也就是从计算转变为更多的强调可信执行环境。
TPM介绍 2.1 组成 一个标准的可信平台模块如图1所示,通常由以下部分组成: 输入输出(I/O):管理TPM内不同组件间的数据流传递,同时作为TPM与外部总线交互的接口。 非易失性存储:用于存储关键数据,主要包括密钥(背书密钥EK和存储根密钥SRK)以及所有者授权数据。 TPM要求配备高质量的随机数生成器,可以认为是比软件更可信的随机数生成源,随机数生成器常用于: (1)为操作系统提供随机数种子 (2)为安全协议提供nonce(随机数) (3)生成密钥 2.2.5 可信度量 总结 TPM作为独立硬件,能够提高计算机系统的安全性,有效防止恶意软件入侵和数据泄露。同时也是可信计算的核心技术之一,为可信计算平台提供基本的验证机制和安全防护。 随着可信计算的蓬勃发展,TPM的功能和性能也在进一步得到提升和完善。
近期,中国信息通信研究院(以下简称“中国信通院”)第十五批“可信数据库”评估评测评审会圆满结束,腾讯云多款数据库产品凭借优异的性能表现顺利通过评测,获得评审专家的一致认可。 “可信数据库"系列评估评测是中国信通院自2015年推出的第三方权威评估评测体系,覆盖范围包括数据库产品、数据库生态工具、数据库服务商和数据库使用单位等。 通过产品一览 数据库管理系统智能化 腾讯云数据库智能管家 DBbrain 关系型数据库安全专项 腾讯云云数据库MySQL 腾讯云原生数据库TDSQL-C 事务型数据库Serverless分级能力 腾讯云原生数据库 防止出现数据库被非法访问、数据意外泄漏、备份意外泄漏、异常行为等安全事故造成的数据流出情况,保障企业数据安全。 通过产品详情 数据库智能管家DBbrain 腾讯云数据库智能管家 DBbrain 涵盖数据库性能优化、安全防护、流程管理等服务的数据库自治云服务。
“西部数据的策略:从11碟HDD出发,重塑AI存储底座。 大数据产业创新服务媒体 ——聚焦数据 · 改变商业 让我们来试想这样一个场景:凌晨3点,某大模型云服务平台的日志系统依然在高速写入。 西部数据的策略: 从11碟HDD出发,重塑AI存储底座 编者认为,AI时代对HDD提出了两个新要求:更大的容量,更长的周期。这不仅仅是一次性的性能突破,更是一次关于“长期信赖”关系的重构。 1.数据底座:更优TCO+长期信赖 在AI驱动的数据中心架构中,HDD是不可替代的底座。因为它能带来规模化成本效益。 这是对客户的长期关系战略——构建“存储信赖路径”,帮助客户把其数据底座变成护城河。 构建“可持续AI存储架构”的核心支柱 做大规模AI应用的“护城河” 真正的技术护城河,从来不是某个指标的领先,而是能不能在长期系统里反复证明自己:稳定、可扩展、可信赖。
为了让物理机上的多个虚拟机都能使用可信计算,2006年,IBM在USENIX论文《vTPM: Virtualizing the Trusted Platform Module》中首次提出了虚拟可信平台模块技术 挂起、迁移和恢复是硬件虚拟化的重要优势,对于vTPM而言,迁移时需要保护实例中数据的机密性和完整性,并且能够在新平台上重建信任链。 必须维护vTPM与其底层可信基(TCB)之间的强关联。物理TPM有数字签名功能,可用于验证TPM可信。 而在虚拟环境中,vTPM作为一个用户进程运行,与硬件平台的关联可能发生变化,例如虚拟机迁移后,物理机器变了,可信基也跟着变化。 阿里云在服务器硬件可信的基础上,额外为虚拟机实例提供虚拟可信根(vTPM/vTCM),将信任体系扩展到ECS(弹性云服务器)虚拟化层面,构建了基于硬件和虚拟信任根的完善安全体系。
2019-2021 人人都提数据中台,张口就说业务数据化、数据业务化,数据驱动业务,甚至数据重塑业务;如今大家又与时俱进开始侃侃而谈数据化转型。 在我们讨论数据化转型、数据中台、数据云时候都离不开一个稳定可持续迭代的数据底座。这里数据底座包括离线数仓、实时数仓、数据湖。数仓(包括离线数仓、实时数仓、数据湖)就是这个数据底座。 主数据管理:通过主数据打通各业务链条,统一数据语言,统一数据标准,实现数据共享。 评估数据价值:数据的价值在数据交易领域非常重要,数据血缘关系,可以从数据受众、数据更新量级、数据更新频次几方面来给数据价值的评估提供依据。 最后 在夯实企业数据底座过程,需要从道角度出发,这是决定我们做事情思考高度与宽度;也需要从术上明确落地实施路径。也就是,道以生术,术为道生。
DB- Database,数据库。做IT的人,应该不会不知道什么是数据吧?至少也应该会听过MySQL,Oralce这两个名字。其实还有很多其他的数据库名字,在此不一一列举了,因为其实我知道的也不多哈。 但其实看完《中国数据库的前世今生》之后,你可能会发现,原来中国自研的数据库产品也在悄然升起。 这里引用一张官网上面的图片,简单介绍一下openGauss正文谈到openGauss,就不得不说一下它的底座操作系统:openEuler。 这里引用一张openGauss官网上面的图:从上面的图中可以看到,openGauss支持2种架构:- AArch64- x86_64** AArch64就是arm架构的芯片openGauss支持3种操作系统底座 我们可以安装一套openEuler的操作系统,在此底座基础上面安装体验openGauss。后记本文起到一个抛砖引玉的作用。