- 综合排序
- 最热优先
- 最新优先
- 来自专栏大数据那些事
hive（4）——元数据概述
前面我所用的表hive_table其实用hive查询时查得还是hdfs上的数据，那我们用mysql到底是存储的什么，元数据到底是什么？ 元数据其实是数据的类型和我们用hive怎么拆分这个表的信息的合集，比如说我去查看我的mysql上的元数据到底长什么样 （1）先进入hive数据库（此数据库事先已经创建好，在hive的配置文件中我们已经设置好
86840发布于 2020-11-11 - 来自专栏sktj
Kubernetes(4:架构)
Master 是cluster 的大脑： 运行 kube-apiserver kube-scheduler kube-controller-manager etcd pod restful api scheduler 调度器Scheduler负责决定将Pod放在哪个Node上运行。Scheduler在调度 时会充分考虑Cluster的拓扑结构，当前各个节点的负载，以及应用对高可用、性能、数据亲和性的需求。 Controller Manager负责管理Cluster各种资源，保证资源处于预期的状态。Controller Manager由多种controller组成，包括replicationcontroller、endpoints controller、namespace controller、serviceaccounts controller等。 etcd负责保存Kubernetes Cluster的配置信息和各种资源的状态信息。当数据发生变化时，etcd会快速地通知Kubernetes相关组件。 Pod要能够相互通信，Kubernetes Cluster必须部署Pod网络，flannel是其中一个可选方案。
40820发布于 2019-09-24 - 来自专栏EAWorld
元数据核心架构解析（PPT）
元数据管理起源于传统数仓，逐渐扩大到大数据管理，再到服务管理，不断地突破传统管理范畴，实现广义元数据管理。 在这个过程中，稳定可扩展的管理架构是元数据实施的保障。 元模型是定义元数据属性及关系的，一般来讲，元模型存储有两种方式。 第二步，基于MOF设计元模型，例如将CWM(公共仓库元模型)/CMM内置到元模型列表中。 第三步，按照扩展后的元模型，采集元数据，纳入到元数据系统，从而驱动数据管理和服务。 在元数据管理三层管理架构的支持下，通常只需要做元模型定义和元数据采集，就能够实现不同元数据管理。 例如：将表与字段元数据要采集到元数据管理系统。 、稳定方面有更高要求； 2、调用关系优化：简化调用流程；服务优先级控制； 3、问题追踪：辅助问题定位等 ………… 在普元数字化云平台中也规划了元数据服务，用元数据驱动微服务架构。
4.2K92发布于 2018-04-02 - 来自专栏EAWorld
元数据新型存储架构的探索
目录： 一、国内主流元数据产品发展现状 二、当前元数据存储架构存在的问题 三、新型存储架构的探索 四、新型存储架构的应用 五、新型存储架构的优点 一、国内主流元数据产品发展现状 国内主流的元数据产品主要有 在显示一个元数据的基本信息的时候，需要通过至少4张表才能显示出来。 三、新型存储架构的探索 说到元数据存储架构，有人会很自认想到有分布存储分散管理，分布式存储集中管理、统一存储集中管理之分。 我在这里把Node4j和元数据关系的存储做了示例。 没有把node4j集成到项目中，当然网上有Spring Data Neo4j和Node4j数据库集成的示例，可以轻松的把Node4j和java项目结合在一起。由于时间的问题，我没有做测试。 只是使用单独的Node4j数据库做了元数据关系存储的验证。 2.1、元数据节点示例： ? 2.2 在图数据库上操作 ? ?
3.4K40发布于 2019-06-17 - 来自专栏大数据杂货铺
DataHub元数据治理平台架构
1.DataHub架构概述 DataHub 是第三代元数据平台，支持为现代数据堆栈构建的数据发现、协作、治理和端到端可观察性。 下图描述了DataHub的高层架构。 要更详细地了解构成该架构的组件，请查看组件。 1.1.架构亮点 DataHub的架构主要有三个亮点。 联合服务使用 Kafka 与中央搜索索引和图进行通信，以支持全局搜索和发现，同时仍然实现元数据所有权的解耦。这种架构非常适合实施数据网格的公司。 3.元数据摄取架构 DataHub 支持极其灵活的摄取架构，可以支持推、拉、异步和同步模型。下图描述了将您喜爱的系统连接到 DataHub 的所有可能选项。 4.DataHub服务架构 下图显示了 DataHub 服务层的高级系统图。 主要组件称为元数据服务，并公开 REST API 和 GraphQL API，用于对元数据执行 CRUD 操作。
3.2K10编辑于 2024-01-31 - 来自专栏脑洞前端
建立元数据驱动的前端架构
在这个大前提下，建立元数据驱动的前端架构就变得很重要了。 本次分享的目标是希望从零开始，初步建立一个小小的元数据驱动的原型系统（暂时只包括前端部分），并以此介绍这套系统与业务领域的可能结合方式。 小结 理想状态下，应用架构可以划分以下两个部分： 1. 业务：领域模型 2. 4. 支持什么操作？ 5. 有什么校验逻辑？ 6. 权限如何分配？ 然后，尽可能把技术设施变成一个底层实现多样化的业务解释引擎，再去具体组合业务。 在以上的探讨中，我们已经努力去做了以下事项： 1. 实现了常见数据结构的展开机制 4. 把包含“逻辑”的部分尽可能隔离出去 在此基础上，前端部分成为了对领域模型的解释引擎，视图的组合与布局都不再影响业务正确性。 注：本文主要是为了说明基于元数据思考的方式，本身的实现很简陋，也并不代表需要这样完全从底层建立应用架构，在一些环节，社区早已存在很多相关库可以使用了。
1.3K30发布于 2021-06-09 - 来自专栏深圳架构师同盟
EA企业架构、4A架构，业务架构、IT 架构之间是什么关系？
企业架构一般谈4A架构，即业务架构，数据架构，应用架构和技术架构 。如果只谈业务架构和IT架构。那么IT架构包括了数据架构，应用架构和技术架构。 我原来有一篇文章专门谈企业架构中的4A架构的关系和集成，可以参考我公众号的历史文章文章。 我们常说的4A架构就是业务架构、数据架构、应用架构和技术架构，其实去理解4A架构的集成核心，你仍然要去参考企业架构这本书里面谈到的企业架构元模型。 大家看我今天这张图的时候也能够感觉到我其实这张图也是依托在企业架构元模型的基础上，只是做了一些调整和优化。 业务架构到应用架构集成方面，我们刚才讲到了，在业务建模里面会拆分出业务对象、业务活动、业务规则、业务角色这4个核心的要素。这4个核心的要素我们去详细考虑it实现的时候，一定会映射到它相关的应用功能。
55710编辑于 2025-11-17 - 来自专栏EAWorld
元数据如何驱动微服务报文架构？
处理相同的事情，在微服务架构下服务被拆分成多个小粒度的微服务了，报文的个数随着服务的拆分而成指数增长。 但是在微服务架构下，服务就是最小的开发粒度，无法控制所有程序猿对变量名的定义都统一，这又是一个让人头痛的问题。 五、元数据驱动的微服务报文 上面提到了微服务架构下报文面临着接口规范定义及方便使用的问题，通过元数据如何解决这些问题呢？ 既然报文结构规范定义是个问题，那就从规范入手解决。 我们在元数据定义的部分提供了元数据管理平台，在管理平台中通过配置界面去定义报文规范，并提交元数据到集成编译环境，集成编译环境会将元数据编译成Java Bean提交资源管理库。 关于作者： 姚重阳 普元解决方方案中心架构师，6年金融行业软件产品研发工作，目前主要负责解决方案中心的产品维护和技术售前。 ?
1.6K80发布于 2018-03-30 - 来自专栏摸鱼范式
深入AXI4总线-架构
知乎用户ljgibbs授权转发 本系列我想深入探寻 AXI4 总线。不过事情总是这样，不能我说想深入就深入。当前我对 AXI总线的理解尚谈不上深入。 但我希望通过一系列文章，让读者能和我一起深入探寻 AXI4。 声明1：部分时序图以及部分语句来自 ARM AMBA 官方手册 （有的时候感觉手册写得太好了，忍不住就直接翻译了。。） [二] 架构 五个独立通道 AXI4 总线的一大特征是它有 5 个独立的传输通道，这些通道都只支持单向传输。 作为类比，SPI 总线有 2 条单向传输通道：MISO， MOSI。 值得注意的是 AXI4 不再支持 WID 信号，这和 AXI4 的乱序机制有关，AXI4 规定所有数据通道的数据必须顺序发送。 结语 本文中我们了解了 AXI 总线的架构，它的五大通道以及各自的信号，最简单的读写操作流程以及AXI 总线的拓扑连接。
1.6K10发布于 2020-06-24 - 来自专栏超级架构师
(4) 微服务架构采用准则
这意味着微服务架构主要面向后端，尽管这种方法也用于前端。每个服务在其自己的进程中运行，并使用HTTP/HTTPS、WebSockets或AMQP等协议与其他进程通信。
35631发布于 2020-07-18 - 来自专栏超级架构师
微服务与SOA架构(4）
如图4-1所示，事实上，了解服务客户与服务之间所采用的远程访问协议并不意味着就了解任何一方是如何实现的，也不意味着双方在实现上要保持一致。 图4-1 SOA也支持协议感知的异构互操作能力，但是它支持得更进一步，可以做到协议无关的异构互操作能力。 例如，如图4-2所示，在.NET平台上用C#实现的某个服务客户端可以使用REST调用对应的服务，但是服务（本例中是EJB3 Bean）只能使用RMI通信。 图4-2 如果你发现自己所处的是异构环境，需要对多种使用不同协议的系统或者服务进行整合，那么很可能需要采用SOA架构而不是微服务架构。 图4-3 合约解耦显然有一些使用上的局限。如果服务所需数据无法从客户所发送数据转换获得也无法从其它数据源获得，服务调用只能返回失败，因为服务合约无法得到满足。
1.3K40发布于 2018-04-09 - 来自专栏VRPinea
评测：2499元的PICO 4值得入手吗？
空间定位和彩色透视也是此次PICO 4较为明显的升级之处。 PICO 4的分辨率是2160*2160，PPI是1200。色彩明艳度和画面细腻程度较之上代设备，具有显著的提升。 值得一提的是，PICO 4的视场角竟然达到了105°。 同时，基于骁龙XR2芯片，PICO 4实现了硬解8K视频的能力。在此之前，国内也就仅有一家电视厂商旗下的一体机能够达到同等高度。可以说，PICO 4是第一代能够真正意义上实现沉浸式观影的VR头显。 内容生态 此次，PICO 4巧妙地将生态建设的重点放在了运动健身版块。 况且Meta Quest系列进不了大陆市场，2499元的起步价也使得PICO 4在价格上具备明显优势，这也为PICO 4出海竞争提供了机遇。 具体的评测可以看老缪的视频。
1.4K30编辑于 2022-11-17 - 来自专栏代码编写世界
第4章-变换-4.3-四元数
我们从四元数的一些数学背景开始，然后用它来构造各种有用的转换。 4.3.1 数学背景 我们从四元数的定义开始。 定义：四元数 \hat{\rm\pmb{q}} 可以通过以下方式定义，都是等价的。 四元数的等价物是 image.png 根据公式4.41，单位四元数的对数函数和幂函数为： image.png 4.3.2 四元数变换 我们现在将研究四元数集的一个子类，即单位长度的子类，称为单位四元数 也就是说，取反轴 \rm\pmb{u}_q 和实部 q_w 会创建一个与原始四元数完全一样旋转的四元数。 单位四元数表示为单位球面上的点。函数slerp用于四元数之间的插值，插值的路径是球体上的一个大圆弧。 Malysau[1114]讨论了将四元数集成到渲染管线中。他指出，当不使用slerp而只是在像素着色器中对四元数进行归一化时，对于90度角，三角形方向的误差最大为 4度。
1.3K70编辑于 2021-12-20 - 来自专栏Metaverse元宇宙
4大趋势之外 清醒认知“元宇宙”
日前，在北京大学汇丰商学院联合安信证券发布的《元宇宙2022——蓄积的力量》(下称《元宇宙2022》)研究报告中，将各大厂商对元宇宙的研究探索分成“底层架构”“人工智能”“内容与场景”“后端基建”“硬件入口 按照《元宇宙2022》划分的研究框架六大组件，腾讯在底层架构(引擎Unreal Engine)、后端基建(云服务、大数据中心)、内容与场景(各类型内容产品与成熟的社交网络互通生态)这三大方向上都有着大量布局 除沉浸式硬件之外，字节跳动近两年也密集入局芯片及半导体领域，借此提升自身元宇宙实力，比如说在底层架构方面投资代码乾坤、维境视讯，在内容与场景方面布局短视频、游戏、VR社交等等。 如果按照《元宇宙2022》划分的研究框架六大组件来看，目前华为在硬件及操作系统、底层架构、后端基建这三大方向上都有着很扎实的布局。 在国内厂商的元宇宙探索方面，网易是另一个很有特色的玩家。 在《元宇宙2022》中，研究人员认为网易已经在硬件入口、人工智能、底层架构、内容与场景这四大方向上实现布局。
37810编辑于 2022-03-30 - 来自专栏闲余说
架构设计 4-高可用架构之FMEA方法
导读：《架构设计》系列为极客时间李运华老师《从0开始学架构》课程笔记。本文为第三部分，主要介绍 FMEA 方法，以及如何将 FMEA 方法应用于架构设计之中以提高服务可用性。 什么是FMEA FMEA（Failure mode and effects analysis，故障模式与影响分析）又称为失效模式与后果分析、失效模式与效应分析、故障模式与后果分析等 在架构设计领域，FMEA 的具体分析方法 给出初始的架构设计图 假设架构中某个部件发生故障 分析此故障对系统功能造成的影响 根据分析结果，判断架构是否需要进行优化 FMEA 分析表 功能点 当前的 FMEA 分析涉及的功能点， 个人理解 FMEA 方法是一种分析问题的方法，一共列出了 11 个点，我们在分析架构问题的时候，按照每个点逐一去适配、分析。 reference 从 0 开始学架构
94840编辑于 2022-08-19 - 来自专栏全栈程序员必看
4G网络架构_三大网络架构
4G能够以100Mbps以上的速度下载，比目前的家用宽带ADSL（4兆）快25倍，并能够满足几乎所有用户对于无线服务的要求。 EPC 核心网架构秉承了控制与承载分离的理念，将分组域中SGSN 的移动性管理、信令控制功能和媒体转发功能分离出来，分别由两个网元来完成，其中，MME 负责移动性管理、信令处理等功能，S-GW 负责媒体流处理及转发等功能 LTE 无线系统中取消了RNC 网元，将其功能分别移至基站eNodeB 和核心网网元，eNodeB 将直接通过S1 接口与MME、S-GW 互通，简化了无线系统的结构。 3，4G网络架构的变化 1）实现了控制与承载的分离，MME负责移动性管理、信令处理等功能，S-GW负责媒体流处理及转发等功能。 4，3G与4G系统参数的比较 版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
5.7K20编辑于 2022-11-08 - 来自专栏全栈程序员必看
UE4 GamePlay架构学习篇
现在UE4刚免费不久，网上的资料还很少，有一些UE3的大佬出了一些学习的帖子。 4>AGameSession： 游戏会话：存在于服务端的，客户端没有。 这样想就明白了了 我觉得UE4设置InOwner，InInstigator就是在射击游戏的原型上衍生出来的。 比如人拿枪，人开枪，枪发射子弹。 14>UMG->Slate： 它是UMG的底层实现，也是UE4编辑器界面使用的GUI的架构，也就是说UE4的编辑器界面就是用Slate写的。 18>USaveGame： UE4提供的一套存档的系统，单机游戏用着不错，也可作为本地存储一些数据载体。
2K30编辑于 2022-11-09 - 来自专栏VRPinea
4月，全力转向元宇宙的Meta仍在烧钱
文 |Arachne （VRPinea5月6日讯）全力押注元宇宙的Meta于4月底公布了2022年Q1财报，值得注意的是，其重金砸出来的“现实实验室”仍处于亏损阶段，估计这个局面短期内还将延续下去。 此外，4月VR圈还发生了哪些热点大事呢？ 行业动态 Meta暂停举办2022年F8开发者大会 4月7日，Meta表示将暂时取消今年的年度开发者大会，原因是需要更多时间来准备下一个大项目：元宇宙。 Epic和乐高合作打造儿童版虚拟空间 4月7日，乐高集团宣布与《堡垒之夜》的开发商Epic Games达成长期合作，将为小孩与家庭打造健康、有趣的元宇宙，共同构建元宇宙的未来。 Meta向“元宇宙”开发者抽成47.5% 比苹果30%还高 4月12日消息，Meta将向在其“元宇宙”中销售虚拟产品的开发者收取高达47.5%的费用，远高于苹果公司App Store应用商店向开发者收取 全球市场咨询巨头埃森哲将招聘 15万名元宇宙岗位新员工 全球市场咨询巨头埃森哲表示，将招聘15万名元宇宙岗位的新员工。
63710编辑于 2022-06-08 - 来自专栏实时计算
数据治理实践：元数据管理架构的演变
基于抽取的元数据 下图描述了第一代元数据架构。 1.5 代，也许一旦达到关系数据库的“递归查询”限制，就使用了处理谱系（通常是 Neo4j）图形查询的图形索引。 优点 架构简单，只需一个存储、一个搜索引擎，就可以快速聚合元数据并构建一个应用程序，使数据工作者提高工作效率。 由于架构简单，我们需要的开发人员成本也是很低的。 缺点 抽取元数据的性能压力。 第二代架构：带有服务 API 的三层应用 很快，我们找到了第二代的架构升级。单体应用程序已拆分为位于元数据存储数据库前面的服务。 第三代架构：基于事件的元数据 第 1 步：面向日志的元数据架构 元数据提供者可以实时推送或基于 API推送元数据变化日志。
1.3K11发布于 2021-08-18 - 来自专栏【腾讯云开发者】
腾讯混元大模型·4月产品动态
作为腾讯全链路自研的大模型，自2023年9月公开亮相以来，腾讯混元大模型共经历了数十次迭代，支持内部超过400个业务和场景接入，并通过腾讯云面向企业和个人开发者全面开放（API个人权益与企业客户一致，已实名腾讯云账号提供累计
56340编辑于 2024-04-28
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号