- 综合排序
- 最热优先
- 最新优先
- 来自专栏全栈程序员必看
大数据概况及Hadoop生态系统总结
觉得有帮助的，请多多支持博主，点赞关注哦~ 文章目录 大数据概况及Hadoop生态系统 1、大数据概念理解 1.1、什么是大数据？ 1.2、大数据特征(4V)？ 1.3、大数据应用场景？ 架构概述 4.7、推荐系统框架图 4.9、Hadoop前置配置 5、Hadoop运行模式 5.1、Hadoop本地模式配置 5.2、Hadoop本地模式-wordcount测试 6、日常的学习习惯 大数据概况及 保险：海量数据挖掘及风险预测，助力保险行业精准营销，提升精细化定价能力。 金融：多维度体现用户特征，帮助金融机构推荐优质客户，防范欺诈风险。 （4）Cloudera Manager 是集群的软件分发及管理监控平台，可以在几个小时内部署好一个 Hadoop 集群，并对集群的节点及服务进行实时监控。 这是管理队列及工作者集群的另一种方式。 Storm 也可被用于“连续计算”（continuous computation），对数据流做连续查询，在计算时就将结果以流的形式输出给用户。
1K10编辑于 2022-08-30 - 来自专栏华章科技
数据中台行业发展概况及展望
零售企业积累建设了包括ERP、MES、CRM、WMS、等在内的各种业务系统，加之线下门店、自有商城、电商平台、社交软件平台等各类渠道的涌现，企业获取的销售、营销数据愈发零散、且往往都是孤立存在；而日益碎片化的触达时段及场景 ▲图2-2 数据中台在零售行业的应用场景 3. 制造业 随着产业数字化进程不断加速，传统制造业企业正面临数字化转型的关键时期。 ▲图2-3 数据中台在制造业的应用场景 4. 随着数据中台在行业头部及领先企业逐渐落地，供应商经历了各类业务场景能力沉淀的过程。在深度上，数据中台厂商承载细分行业的各类定制化业务，不断沉淀业务能力。 ▲图3-3 数据中台厂商发展下沉趋势 结语 在这一新的发展阶段，真正具备强数据能力、深业务理解和科学路径规划的数据中台厂商们，将不拘于当前的架构和交付模式，在为企业解决数据孤岛问题，实现数据资产价值化的大目标下拓展出更多的解决方案形态
1.5K10编辑于 2022-03-11 - 来自专栏决策智能与机器学习
【自动驾驶专题】|自动驾驶技术概况及挑战
世界上的科技巨头，从Google、Uber到丰田及通用汽车等企业，都投入了巨资来促进该技术的成熟及商业化，因为它将是一个万亿级的市场。 而现阶段，大多数汽车则处于Level 2和Level 3之间，可见自动驾驶技术还任重道远。 ? 下图一目了然的展示了自动驾驶汽车相关的软、硬件技术。 激光雷达（LIDAR）、摄像头、GPS和超声传感器等硬件，用于检测及接受周围的环境信息。再利用先进的算法（机器学习、人工智能）实时的处理这些信息，从而实现汽车安全可靠的自动巡航。 ? 而对于本地大数据（尤其是视频图像数据）的快速压缩及解压对于某些情况是较难实现的。 此外，数据存储设备的成本也是个问题。
1.5K10发布于 2020-08-04 - 来自专栏有文化的技术人
Consul多数据中心及数据同步
多数据中心 1、搭建多数据中心 在上一篇文章中，我们讲解了单数据中心的搭建流程，这边文章将在其基础之上构建多数据中心。 3、验证数据同步 我们在dc1的节点上增加数据key： [root@karbor1 consul]# ./consul kv put ts/test/sex 'boy' Success! 3、在辅助数据中心中的所有Consul代理上配置primary_datacenter参数。 4、在辅助数据中心中的服务器上启用令牌复制。 5、将复制令牌应用于辅助数据中心中的所有服务器。 3、service_prefix 用于复制服务默认配置条目，CA和intentions数据。 2、支持重试机制 3、支持日志转储 4、...
2.9K30编辑于 2022-10-27 - 来自专栏VoiceVista语音智能
Sensory嵌入式语音识别引擎THF&TNL概况及语言支持
的二阶验证的第一阶识别，实现超低功耗的监听和识别) https://www.sensory.com/wake-word/，支持如下主要功能 超低功耗运行于DSP/MCU的嵌入式版本 & 运行于 AP及OS 层 的SDK, 同样支持Low Power Sound Detection TrulyHandsFree for AP & DSP版本概况 - TrulyHandsFree所支持的语言– Embedded
1.1K30编辑于 2022-04-02 - 来自专栏python3
cisco数据中心理论小记-3
PCH-带宽利用率提升，逻辑上单链路 l2/l3都可以使用 passive -LACP /active-Lacp/ on-Static 无协议-on 有协商-LACP neuxs 不支持PACP vPC fp=== VPC plus vpc over vxlan vpc over aci VPC guidelines: 1-switch type 平台一样 2-link speed: 10Gbp+ 3- 不同数据中心二层访问解决方案。 OTV完成了： 1-mac路由 ，实现多个数据中心二层互通 《mac in ip》===>不是大二层技术，实现特定 vlan通信，而是DCI[跨数据中心]技术 ，跨数据中心mac互通，让两个站点间vlan mac routing-- conftrol plane:isis 2-dynamic encap of l2 in l3，动态封装 3-Arp cache ，支持组播 etc...
1.3K20发布于 2020-01-09 - 来自专栏云技术+云运维
新型数据中心的建设及发展启示
2021年7月，工信部发布《新型数据中心发展三年行动计划(2021-2023年)》，明确提出了新型数据中心发展方向及路径。 可以预见，在未来发展过程中，基础设施及IT技术的创新将不断涌现，数据中心技术内涵也将变得更加丰富。 专家们预测，未来5—10年，新型数据中心将在重点行业、重点地区大规模布局，成为推动社会经济数智化转型的核心基础设施。 3、高能效。通过绿色管理、低碳发展，提升能效水平。 按照未来数据中心机架数量每年30%的增速，预计到“十四五”末，数据中心用电量在全社会用电量的占比将超过3%。 未来3~5年，仍将是数据中心的高速发展期。 新型数据中心建设将大大提高数字基础设施建设的质量，满足数字化要求，提高数字经济运营质量和效率，全面支持数字经济和数字化的协调发展。
1.6K60编辑于 2022-05-18 - 来自专栏技术杂记
BGP数据中心鉴别方法3
192.168.2.254) [*] 0.507 ms 0.523 ms 2 58.246.136.1 (58.246.136.1) [AS17621] 2.187 ms 3.021 ms 2.763 ms 3
63330编辑于 2022-04-25 - 来自专栏腾讯数据中心
数据中心人力备份冗余方案及实践
各类型后备人员需按照前述3项要求在轮岗结束后输出相应的报告，以作为后备人员熟悉机房的能力凭证。 第二阶段：职位轮岗 职位轮岗要求相对较高，需要驻场同时具备服务器、网络、资产三方面的技能。 2.职位轮岗 A机房具备常驻的服务器、网络驻场和资产管理员，能够进行3个职位之间的轮岗；每半年安排至少安排一位驻场轮岗承担另一职位工作，每次轮岗一个月。 轮岗收益 1、 潘同学原是A机房的资产管理员，在通过自身学习和其他驻场的带教下已经成功转型为服务器驻场和网络驻场，同时负责服务器和网络；现在A机房在资产管理员、服务器驻场、网络驻场这3个职位已经全部形成了双备份 小结：通过这种轮岗机制，提升了跨区域、多岗位的人力资源储备，能有效应对数据中心运营过程中的各种人力和技能问题，真正实现人力备份冗余，保障数据中心的安全稳定运营。 版权声明：本文为腾讯数据中心原创，欢迎转载，转载需保持原文（包括标题、导语、正文、图片、数据以及文尾的二维码、版权声明等全部内容）完整。
1.4K30发布于 2018-03-16 - 来自专栏腾讯数据中心
互联网数据中心运营发展及实践
我们来看下面的情况，一个数据中心经理在接手一个新的数据中心时，他就已经在面临着很多的挑战和问题了。 对于大规模IDC来说，需要做的优化工作很多，是不是所有的事情都是你的当务之急或者都是你必须需要去做的呢，如果你都去做，是不是都能来得及做，都能出效果呢？不是这样的，我们一定要找准主要矛盾。 实际上我们也做了一些测试，我们把冷冻水的出水温度提高1度，如果是在跟之前相同功耗下产冷量能提高3%，如果说提高1度的话，在相同的产冷情况下功耗能降低3%。 同时在京津地区，出水温度每提高3度的话，free colling的使用时间可以延长33天。假设我的冷机少开33天，这个节能是非常可观的。 一个数据中心的运营人员、管理人员对数据中心管得好不好或者到不到位，并不是说你的机房不出问题就一定管得好，如果你能把一个T2可用性的机房管理成为T3的机房，这个才是数据中心经理的能力，能把运营成本节约10%
2.9K131发布于 2018-03-16 YashanDB跨数据中心同步技术及最佳实践
此结构利用了redo日志的增量写入和回放技术，显著降低网络带宽压力，确保异地备份的一致性及完整性。多部署形态支持与一致性保障YashanDB支持单机主备部署、分布式集群部署及共享集群部署三种形态。 跨数据中心同步主要通过分布式高可用框架实现节点间数据及元数据的一致性。分布式部署通过MN节点管理元数据，CN节点协调调度查询，DN节点存储数据，利用Raft协议确保节点间一致性。 切换过程中采用断点续传及日志回退机制，保证主备切换时数据不会产生不一致现象。自动选主与故障切换保障高可用为适应跨数据中心故障场景，YashanDB提供多种自动选主机制。 定期演练主备切换：结合生产环境演练switchover和failover流程，确认数据一致性及切换时间，验证自动选主机制的稳定性，提升运维响应能力。 合理配置参数调整：根据实际业务访问和数据规模，调优redo日志大小、重放并行度、连接池大小及选主超时等关键参数，提升数据同步和故障恢复效率。
30710编辑于 2025-11-18- 来自专栏点云PCL
目标识别中三维特征的研究概况及技术发展趋势
最近的发展是，随着3D打印机的广泛应用，物体识别技术变得越来越熟悉，部分原因是实用的3D传感器的普及和更复杂的3D建模。 基于关键点的方法从表示为点云的模型中选择符合特定策略的3D点（关键点）和用于匹配模型数据和输入数据的输入数据，以相互比较表示其点的3D特征像局部形状的特征。图3说明了基于关键点的对象识别的基本流程。 EGI方法[20]利用物体表面上的法向量云，3DPO [21]结合使用灰度图像，VVV [22]聚焦于带有3D数据的边缘等等。 这种方法选择两个点(一对点)从整个3 d点对象模型和一些他们定义4 d特性F共有四个参数的两两距离(F1),一个角度形成了一条线段连接两个点,每个点的法线方向(F2、F3),及正常的线之间的夹角的两个点 4.1局部参考系的作用及分类 LRF是为每个关键点建立的坐标系，如图12所示。 ? 图12 局部参考系 它的主要作用是功能的灵活运用。
2.7K10发布于 2019-11-07 - 来自专栏ICT售前新说
双活数据中心建设概览-part-3
本门课程就以华为双活数据中心建设为例，详细分析一下在双活数据中心建设过程中涉及到的端到端六层双活的实现方法。 2、计算层双活：计算层双活本质上也是通过集群的方式实现的，主要是指本端数据中心和对端数据中心的虚机所使用的构建的集群。 【其实6层双活每一层都离不开集群这个词】 3、应用层双活：在物理机或虚机上都可以实现应用层双活，在物理机或者虚机里安装相关服务软件如web服务、APP服务，然后把多个应用拉到同一个集群里，当然这个操作需要借助集群软件来实现 ，那既然本端数据中心和对端数据中心的应用层都在一个应用集群里，那应用层双活自然就可以实现。 可以通过以上6层双活实现技术为载体，根据用户要求建设出一套满足未来3-5年业务发展所需的双活数据中心.
1.3K31发布于 2021-03-29 - 来自专栏网络技术联盟站
混合云数据中心：优缺点及应用场景
混合云数据中心已针对此问题进行了定制。主要价值在于支持快速发展的数字业务转型、推动成本节约和维护数据机密性。混合云数据中心理想地结合了公共云和私有云的最佳特性。 混合数据中心的工作原理 混合云数据中心的工作原理是允许企业在私有、本地或公共云环境中部署数据。随着计算需求和成本的变化，这种工作负载可以在这些环境中互换。 混合云数据中心的优点 这些是企业通过投资混合云数据中心而不是其他云环境将实现的一些好处。 敏捷 定制混合云使组织能够足够灵活地满足客户的需求。 远程访问 与远程访问的延迟时间较长的本地数据中心不同，拥有混合云数据中心的组织可以利用其云基础设施来访问远程员工。 实时处理数据 自动驾驶、工业机器人和人工智能算法等应用实际上需要靠近动作数据中心来提供实时数据处理。这种场景需要混合数据中心同时利用本地数据中心的速度和云的大数据存储容量。
1.1K30编辑于 2023-03-13 - 来自专栏SDNLAB
【连载-3】数据中心网络虚拟化 隧道技术
如何实现不同租户和应用间的地址空间和数据流量的隔离是实现数据中心网络虚拟化首先需要解决的几个问题之一。所谓地址空间的隔离是指不同租户和应用之间的网络（ip）地址之间不会产生相互干扰。 目前在数据中心内应用VXLAN技术最广泛的场景即是实现虚拟机在三层网络范围内的自由迁移。 使用VXLAN之后，原来局限于同数据中心、同物理二层网、同VLAN的虚拟机迁移可以不再受这些限制，可以按需扩展到虚拟二层网络上的任何地方。 NVGRE最初由微软公司提出，其目的是为了实现数据中心的多租户虚拟二层网络，其实现方式是将以太网帧封装在GRE头内并在三层网络上传输（MAC-in-IP）[3]。 采用NVGRE封装的数据包头格式 4.STT STT(Stateless Transport Tunneling)，无状态传输隧道技术，是在数据中心2层/3层物理网络上创建2层虚拟网络的又一种Overlay
2.6K71发布于 2018-04-02 - 来自专栏网络技术联盟站
混合云数据中心：优缺点及应用场景
混合云数据中心已针对此问题进行了定制。主要价值在于支持快速发展的数字业务转型、推动成本节约和维护数据机密性。混合云数据中心理想地结合了公共云和私有云的最佳特性。 混合数据中心的工作原理 混合云数据中心的工作原理是允许企业在私有、本地或公共云环境中部署数据。随着计算需求和成本的变化，这种工作负载可以在这些环境中互换。 要构建混合云数据中心，您将需要： 本地数据中心。 公共基础设施即服务平台。示例 Microsoft Azure、谷歌云平台、亚马逊网络服务。 公共和私有云环境之间的网络连接。 远程访问 与远程访问的延迟时间较长的本地数据中心不同，拥有混合云数据中心的组织可以利用其云基础设施来访问远程员工。 实时处理数据 自动驾驶、工业机器人和人工智能算法等应用实际上需要靠近动作数据中心来提供实时数据处理。这种场景需要混合数据中心同时利用本地数据中心的速度和云的大数据存储容量。
1.8K00编辑于 2022-04-30 - 来自专栏SDNLAB
【连载-5】数据中心网络虚拟化 网关及服务接入
（访问远程资源，及一个常用的应用场景：将私有云中的一些服务向公有云迁移），当然同样可能是Internet。 网络服务由网络服务设备（即MiddleBox）提供，旨在提供保护、管理、提高应用及服务性能。 网络服务设备包括专用的网络设备（Dedicated Network Appliance）及虚拟的网络设备（NFV，Network Function Virtualization，网络功能虚拟化），使以前在专用硬件中实现的网络功能在软件中实现 由图3可以看到共有4X4=16字节的必须内容头。 服务共享内容（Service Shared Context）：提供与服务节点相关的及服务节点间共享的一些元数据，如应用分类相关的一些信息如应用的类型。 可选变长内容头：携带元数据，此部分为变长。
1.4K91发布于 2018-04-03 - 来自专栏SDNLAB
【连载-5】数据中心网络虚拟化 网关及服务接入
（访问远程资源，及一个常用的应用场景：将私有云中的一些服务向公有云迁移），当然同样可能是Internet。 网络服务由网络服务设备（即MiddleBox）提供，旨在提供保护、管理、提高应用及服务性能。 网络服务设备包括专用的网络设备（Dedicated Network Appliance）及虚拟的网络设备（NFV，Network Function Virtualization，网络功能虚拟化），使以前在专用硬件中实现的网络功能在软件中实现 由图3可以看到共有4X4=16字节的必须内容头。 服务共享内容（Service Shared Context）：提供与服务节点相关的及服务节点间共享的一些元数据，如应用分类相关的一些信息如应用的类型。 可选变长内容头：携带元数据，此部分为变长。
1.5K80发布于 2018-04-02 - 来自专栏腾讯数据中心
数据中心高压直流系统的设计及实践
最近几年采用高压直流系统供电的数据中心相继大量建成及投产，同时相关的行业标准规范也陆续出台。高压直流供电系统已被行业广泛接受和推崇，在数据中心领域已进入高速发展的阶段。 随着互联网数据中心业务的持续快速发展，传统的 UPS 供电模式在很多实际应用中不断暴露其自身的缺陷： 1、系统效率较低； 2、系统灵活性和可扩展性不高； 3、系统复杂、可靠性较差； 4、系统维护难度大。 而由于并机复杂，正常情况下只有 2~3 台并机。假设 N=1，理论上每台 UPS 的最大负载率为：2N 系统 为 50%，2“N+1”系统为 25%。 前面分析了很多一次性投资成本 CAPEX 及占地面积的比较。对于数据中心而言，更长的生命周期处于运营阶段，而运营成本构成中很大一块是电费。 通过回顾和总结大量的项目设计及运营经验，高压直流供电系统在数据中心工程实践中的优势非常明显。
6.6K42发布于 2019-05-16 - 来自专栏技术运维分享
TencentOS数据中心资源管理及能源管理技术
导语 本文来自第 17 届中国 Linux 内核开发者大会（简称 CLK）的分享议题《TencentOS数据中心资源管理及能源管理技术》，分享嘉宾为腾讯操作系统TencentOS负责人，也是OpenCloudOS 当前主要版本是TencentOS Server3（缩写TS3），并服务至2029年。全自研版本TS4预计在2024年跟大家见面。 在耗电量上，数据中心耗电在整个社会用电量的占比也在持续增加，图中显示今年占比会接近3%，到2030年时预计达到5%。与此同时也面临很多问题。 这种方案通过观测用户请求的资源数量与它实际使用的资源之间的数量及额度之间的差异，给用户建议值，可能远低于用户预购买的资源值，通过推荐指标减少购买成本，提升资源利用率，直接降低用户使用资源的成本。 如果很多都处于闲置状态，我们甚至可以进一步做运行时的动态管理，比如输出应用报告给业务或应用的开发者，明确告诉他在资源及能耗上有什么问题，还可以做哪些优化。
1.4K20编辑于 2023-03-07
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号