- 综合排序
- 最热优先
- 最新优先
- 来自专栏全栈程序员必看
大数据概况及Hadoop生态系统总结
觉得有帮助的，请多多支持博主，点赞关注哦~ 文章目录 大数据概况及Hadoop生态系统 1、大数据概念理解 1.1、什么是大数据？ 1.2、大数据特征(4V)？ 1.3、大数据应用场景？ 架构概述 4.7、推荐系统框架图 4.9、Hadoop前置配置 5、Hadoop运行模式 5.1、Hadoop本地模式配置 5.2、Hadoop本地模式-wordcount测试 6、日常的学习习惯 大数据概况及 保险：海量数据挖掘及风险预测，助力保险行业精准营销，提升精细化定价能力。 金融：多维度体现用户特征，帮助金融机构推荐优质客户，防范欺诈风险。 （4）Cloudera Manager 是集群的软件分发及管理监控平台，可以在几个小时内部署好一个 Hadoop 集群，并对集群的节点及服务进行实时监控。 8）Hive：hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。
1K10编辑于 2022-08-30 - 来自专栏华章科技
数据中台行业发展概况及展望
零售企业积累建设了包括ERP、MES、CRM、WMS、等在内的各种业务系统，加之线下门店、自有商城、电商平台、社交软件平台等各类渠道的涌现，企业获取的销售、营销数据愈发零散、且往往都是孤立存在；而日益碎片化的触达时段及场景 能为客户提供更切身的需求分析、解决方案设计和体验更好的实施落地服务，同时在其深耕业务与垂直行业场景的过程中，沉淀了大量可快速复用的数据治理和数据服务能力； 以明略科技为代表的数据与智能公司，具有更强的人工智能技术及算法能力 随着数据中台在行业头部及领先企业逐渐落地，供应商经历了各类业务场景能力沉淀的过程。在深度上，数据中台厂商承载细分行业的各类定制化业务，不断沉淀业务能力。
1.5K10编辑于 2022-03-11 - 来自专栏决策智能与机器学习
【自动驾驶专题】|自动驾驶技术概况及挑战
世界上的科技巨头，从Google、Uber到丰田及通用汽车等企业，都投入了巨资来促进该技术的成熟及商业化，因为它将是一个万亿级的市场。 激光雷达（LIDAR）、摄像头、GPS和超声传感器等硬件，用于检测及接受周围的环境信息。再利用先进的算法（机器学习、人工智能）实时的处理这些信息，从而实现汽车安全可靠的自动巡航。 ? 而对于本地大数据（尤其是视频图像数据）的快速压缩及解压对于某些情况是较难实现的。 此外，数据存储设备的成本也是个问题。 8月30日，Waymo宣布其自动驾驶汽车在公共道路上的测试里程达到了900万英里，而在Carcraft系统里则已完成超过50亿英里的模拟测试。 ?
1.5K10发布于 2020-08-04 - 来自专栏有文化的技术人
Consul多数据中心及数据同步
多数据中心 1、搭建多数据中心 在上一篇文章中，我们讲解了单数据中心的搭建流程，这边文章将在其基础之上构建多数据中心。 我们另选一个region的两个节点，按照单数据中心的方式搭建好，然后执行如下命令，先查看下数据中心情况： [root@karbor2 consul]# . 3、在辅助数据中心中的所有Consul代理上配置primary_datacenter参数。 4、在辅助数据中心中的服务器上启用令牌复制。 5、将复制令牌应用于辅助数据中心中的所有服务器。 # If max_backoff is set to 10s and backoff is set to 1s, sleep times # would be: 1s, 2s, 4s, 8s E8%B7%A8%E6%9C%BA%E6%88%BF%E6%95%B0%E6%8D%AE%E5%90%8C%E6%AD%A5%E5%8F%AF%E8%A1%8C%E6%80%A7%E8%B0%83%E7%
2.9K30编辑于 2022-10-27 - 来自专栏VoiceVista语音智能
Sensory嵌入式语音识别引擎THF&TNL概况及语言支持
的二阶验证的第一阶识别，实现超低功耗的监听和识别) https://www.sensory.com/wake-word/，支持如下主要功能 超低功耗运行于DSP/MCU的嵌入式版本 & 运行于 AP及OS 层 的SDK, 同样支持Low Power Sound Detection TrulyHandsFree for AP & DSP版本概况 - TrulyHandsFree所支持的语言– Embedded
1.1K30编辑于 2022-04-02 - 来自专栏云技术+云运维
新型数据中心的建设及发展启示
2021年7月，工信部发布《新型数据中心发展三年行动计划(2021-2023年)》，明确提出了新型数据中心发展方向及路径。 行动计划聚焦高技术、高算力、高能效和高安全的四高特征，以及数云协同、云边协同、数网协同的协同要求，引导我国数据中心高质量发展、同时，行动计划也在布局、网络、算力、产业链、绿色低碳及安全等方面，对新型数据中心建设作出全面指引 从IT设备角度看，云计算技术的应用使得数据中心虚拟化、容器化程度不断提高，数据中心与云平台、网络、安全及运营之间的技术联接日益紧密，智能芯片、定制化服务器、分布式存储、SDN、态势感知、混沌工程、智能运维等 可以预见，在未来发展过程中，基础设施及IT技术的创新将不断涌现，数据中心技术内涵也将变得更加丰富。 按照全国一体化大数据中心体系布局，8 个国家算力枢纽节点将作为我国算力网络的骨干连接点，发展数据中心集群，开展数据中心与网络、云计算、大数据之间的协同建设，并作为国家“东数西算”工程的战略支点，推动算力资源有序向西转移
1.6K60编辑于 2022-05-18 - 来自专栏腾讯数据中心
数据中心人力备份冗余方案及实践
个职位已经全部形成了双备份； 2、 前A机房服务器驻场徐同学，通过自身学习、参与机房网络变更故障处理等网络事务，通过网络驻场面试成为正式的腾讯网络驻场，使得A机房当时的网络驻场做到了双冗余备份； 3、 2014年8月份安排 小结：通过这种轮岗机制，提升了跨区域、多岗位的人力资源储备，能有效应对数据中心运营过程中的各种人力和技能问题，真正实现人力备份冗余，保障数据中心的安全稳定运营。 版权声明：本文为腾讯数据中心原创，欢迎转载，转载需保持原文（包括标题、导语、正文、图片、数据以及文尾的二维码、版权声明等全部内容）完整。
1.4K30发布于 2018-03-16 - 来自专栏腾讯数据中心
互联网数据中心运营发展及实践
我们来看下面的情况，一个数据中心经理在接手一个新的数据中心时，他就已经在面临着很多的挑战和问题了。 我们整个数据中心的运营就靠最右边这一套的自动化运营系统，以及监控工具平台去支撑海量高效的数据中心运营。 对于大规模IDC来说，需要做的优化工作很多，是不是所有的事情都是你的当务之急或者都是你必须需要去做的呢，如果你都去做，是不是都能来得及做，都能出效果呢？不是这样的，我们一定要找准主要矛盾。 这个是我们几个不同地区IDC，8月份连续三周的PUE的实测数据，可以看得到这边相对来说是传统机房，这边是冷通道封闭的一个机房，这边是我们的TMDC，这边是市电直供加高压直流的TMDC，几个不同技术系统的 PUE的实测值，是8月份夏季最热的时候的连续三周的实测值。
2.9K131发布于 2018-03-16 YashanDB跨数据中心同步技术及最佳实践
此结构利用了redo日志的增量写入和回放技术，显著降低网络带宽压力，确保异地备份的一致性及完整性。多部署形态支持与一致性保障YashanDB支持单机主备部署、分布式集群部署及共享集群部署三种形态。 跨数据中心同步主要通过分布式高可用框架实现节点间数据及元数据的一致性。分布式部署通过MN节点管理元数据，CN节点协调调度查询，DN节点存储数据，利用Raft协议确保节点间一致性。 切换过程中采用断点续传及日志回退机制，保证主备切换时数据不会产生不一致现象。自动选主与故障切换保障高可用为适应跨数据中心故障场景，YashanDB提供多种自动选主机制。 定期演练主备切换：结合生产环境演练switchover和failover流程，确认数据一致性及切换时间，验证自动选主机制的稳定性，提升运维响应能力。 合理配置参数调整：根据实际业务访问和数据规模，调优redo日志大小、重放并行度、连接池大小及选主超时等关键参数，提升数据同步和故障恢复效率。
30610编辑于 2025-11-18- 来自专栏点云PCL
目标识别中三维特征的研究概况及技术发展趋势
图7 SHORT 特征 图8展示了Aldoma和同事[44]提出的面向对象的、独特的、可重复的聚类视点特征直方图(OUR-CVFH)特征。 ? 图8 OUR-CVFH特征 它与传统方法的显着不同之处在于它描述了通过将模型平面划分为曲线表面而获得的每个区域的特征，而传统方法的关键点由穷举点云数据或具有形状特征的点表示。（如凸起的边缘，等等）。 这种方法选择两个点(一对点)从整个3 d点对象模型和一些他们定义4 d特性F共有四个参数的两两距离(F1),一个角度形成了一条线段连接两个点,每个点的法线方向(F2、F3),及正常的线之间的夹角的两个点 4.1局部参考系的作用及分类 LRF是为每个关键点建立的坐标系，如图12所示。 ? 图12 局部参考系 它的主要作用是功能的灵活运用。 5.总结 寒露是二十四节气中的第17个节气，是干支历酉月的结束以及戌月的起始;时间点在公历每年10月8日或9日视太阳到达黄经195°(处于室女座)时。 ?
2.7K10发布于 2019-11-07 - 来自专栏网络技术联盟站
混合云数据中心：优缺点及应用场景
混合云数据中心已针对此问题进行了定制。主要价值在于支持快速发展的数字业务转型、推动成本节约和维护数据机密性。混合云数据中心理想地结合了公共云和私有云的最佳特性。 混合数据中心的工作原理 混合云数据中心的工作原理是允许企业在私有、本地或公共云环境中部署数据。随着计算需求和成本的变化，这种工作负载可以在这些环境中互换。 混合云数据中心的优点 这些是企业通过投资混合云数据中心而不是其他云环境将实现的一些好处。 敏捷 定制混合云使组织能够足够灵活地满足客户的需求。 远程访问 与远程访问的延迟时间较长的本地数据中心不同，拥有混合云数据中心的组织可以利用其云基础设施来访问远程员工。 实时处理数据 自动驾驶、工业机器人和人工智能算法等应用实际上需要靠近动作数据中心来提供实时数据处理。这种场景需要混合数据中心同时利用本地数据中心的速度和云的大数据存储容量。
1.1K30编辑于 2023-03-13 - 来自专栏网络技术联盟站
混合云数据中心：优缺点及应用场景
混合云数据中心已针对此问题进行了定制。主要价值在于支持快速发展的数字业务转型、推动成本节约和维护数据机密性。混合云数据中心理想地结合了公共云和私有云的最佳特性。 混合数据中心的工作原理 混合云数据中心的工作原理是允许企业在私有、本地或公共云环境中部署数据。随着计算需求和成本的变化，这种工作负载可以在这些环境中互换。 要构建混合云数据中心，您将需要： 本地数据中心。 公共基础设施即服务平台。示例 Microsoft Azure、谷歌云平台、亚马逊网络服务。 公共和私有云环境之间的网络连接。 远程访问 与远程访问的延迟时间较长的本地数据中心不同，拥有混合云数据中心的组织可以利用其云基础设施来访问远程员工。 实时处理数据 自动驾驶、工业机器人和人工智能算法等应用实际上需要靠近动作数据中心来提供实时数据处理。这种场景需要混合数据中心同时利用本地数据中心的速度和云的大数据存储容量。
1.8K00编辑于 2022-04-30 - 来自专栏SDNLAB
【8点20】深入了解Facebook 的Altoona数据中心网络
Facebook最近秀了一下Altoona数据中心网络的高度模块化和可扩展性。 这个社交网络巨头高调公布了数据中心网络解决方案，因为Facebook想围绕开放计算项目展开行动，在网络设备和软件生态系统方面分一杯羹。 Andreyev：我们试图解决网络拓展性差的问题并且解除超额网络的限制，换句话说就是，在数据中心内提供任何额度的带宽，在不同规模的网络中用简单、统一的架构进行拓展。 我们配置数据中心而不是单独配置组件，组件配置主要是由系统进行高级设置实现的。我们定义数据中心并且指定某个结构拓扑的物理参数。 很多数据中心运营商也采用与设备商无关的方案，尤其是开放网络用户组的成员。那么你们怎么在数据中心领域推广你们的方案？
1.3K50发布于 2018-04-04 - 来自专栏技术运维分享
TencentOS数据中心资源管理及能源管理技术
导语 本文来自第 17 届中国 Linux 内核开发者大会（简称 CLK）的分享议题《TencentOS数据中心资源管理及能源管理技术》，分享嘉宾为腾讯操作系统TencentOS负责人，也是OpenCloudOS 作为数据中心的核心资源即服务器资源以及数据中心能源的最终消费者，和服务器上业务应用的管理者，操作系统对数据中心的资源利用率、能源效率上都负有主要责任。 这种方案通过观测用户请求的资源数量与它实际使用的资源之间的数量及额度之间的差异，给用户建议值，可能远低于用户预购买的资源值，通过推荐指标减少购买成本，提升资源利用率，直接降低用户使用资源的成本。 数据中心能源管理现状分析 【PUE】 提到数据中心低碳、节能，首先想到是如何降低数据中心现在的PUE。PUE即IT设备包括服务器、网络、存储设备，设备本身耗能占整个数据中心耗能的比例。 如果很多都处于闲置状态，我们甚至可以进一步做运行时的动态管理，比如输出应用报告给业务或应用的开发者，明确告诉他在资源及能耗上有什么问题，还可以做哪些优化。
1.4K20编辑于 2023-03-07 - 来自专栏腾讯数据中心
数据中心高压直流系统的设计及实践
最近几年采用高压直流系统供电的数据中心相继大量建成及投产，同时相关的行业标准规范也陆续出台。高压直流供电系统已被行业广泛接受和推崇，在数据中心领域已进入高速发展的阶段。 因此，对于 2N 的 UPS 架构占用了 8 个机柜位，而市电 +240V HVDC 架构只占用 4 个机柜位。 这样 320KW 的 IT 负荷在数据中心 8 年的生命周期内，仅仅计算不间断电源系统效率损耗及电力室空调能耗，2N UPS 供电架构损耗电费 224.32 万，而“市电 +240V HVDC” 损耗电费 还在机房运营的 8 年生命周期内，节省运营电费 157 万。折算成 TCO，仅仅在 CAPEX 及 OPEX 的电费部分就节省投资 200 万。 通过回顾和总结大量的项目设计及运营经验，高压直流供电系统在数据中心工程实践中的优势非常明显。
6.6K42发布于 2019-05-16 - 来自专栏SDNLAB
2020年数据中心值得关注的8大趋势
在过去的8年里，企业在自己的数据中心硬件和软件上的支出一直停滞不前，而在云基础设施服务(如平台即服务和托管私有云)上的支出则大幅增加。 亚马逊继续投资数据中心 无论哪个角度来看，亚马逊都可以说是2019年最大的数据中心赢家。 ? 去年12月底，亚马逊首次推出数据中心硬件架构AWS Outposts。 超大规模的数据中心拥有数万台服务器、硬件和数百万台虚拟机。 AWS在2020年并没有放缓建设数据中心的步伐，因为该公司最近在全球最大的数据中心市场购买了土地。 ? “数据中心即服务”获得真正的吸引力 全球所有主要的数据中心供应商都认为，客户将希望以一种“ as-a-service”的方式购买和管理其数据中心基础设施。 原文链接： https://www.crn.com/slide-shows/data-center/8-biggest-data-center-trends-and-technologies-to-watch-for-in
1.2K10发布于 2020-02-21 - 来自专栏SDNLAB
【连载-5】数据中心网络虚拟化 网关及服务接入
网络服务由网络服务设备（即MiddleBox）提供，旨在提供保护、管理、提高应用及服务性能。 服务共享内容（Service Shared Context）：提供与服务节点相关的及服务节点间共享的一些元数据，如应用分类相关的一些信息如应用的类型。 可选变长内容头：携带元数据，此部分为变长。 Off-path与On-path如下图8所示。 On-path表示该网络服务设备位于数据通路上，即一旦网络服务设备发生故障，网络路径会断掉，如图8中两个紫色的服务节点任一坏掉，两个黄色的主机节点就无法通信。 图8 On-path和Off-path pSwitch包含两大部分：Switch Core和Policy Core，如图9所示，前者为正常以太网交换机的功能，后者作用是将帧重定向到服务节点上。
1.5K80发布于 2018-04-02 - 来自专栏SDNLAB
【连载-5】数据中心网络虚拟化 网关及服务接入
网络服务由网络服务设备（即MiddleBox）提供，旨在提供保护、管理、提高应用及服务性能。 服务共享内容（Service Shared Context）：提供与服务节点相关的及服务节点间共享的一些元数据，如应用分类相关的一些信息如应用的类型。 可选变长内容头：携带元数据，此部分为变长。 Off-path与On-path如下图8所示。 On-path表示该网络服务设备位于数据通路上，即一旦网络服务设备发生故障，网络路径会断掉，如图8中两个紫色的服务节点任一坏掉，两个黄色的主机节点就无法通信。 图8 On-path和Off-path pSwitch包含两大部分：Switch Core和Policy Core，如图9所示，前者为正常以太网交换机的功能，后者作用是将帧重定向到服务节点上。
1.4K91发布于 2018-04-03 - 来自专栏用户7438789的专栏
数据中心布线：12芯光缆和8芯光缆的选择
但如果将“同时使用”理解为在同一数据中心同时使用 8 芯光缆和 12 芯光缆连接技术，那么答 案就是“可以”，但有一个条件。 因此，对数据中心物理层基础设施进行管理 时要稍加注意，确保8 芯光缆和 12 芯光缆组件未在同一个光缆链路中混用。 8 芯光缆和 12 芯光缆的对比：如何选择？ 8 芯 光缆和 12 芯光缆连接技术部署在数据中心的比较优势详见下表。 虽然每个连接器使用的光纤密度不可忽视，但大多数人还是更关注如何更快迁移到 40G 和 100G 的网速。 目前，任何近期打算将数据中心迁移到 40G 或 100G 网络的人都会发现采用 8 芯光缆连 接技术更具优势。 结语 在未来的多年时间里，数据中心仍然将继续使用 8 芯光缆和 12 芯光缆连接技术。 8 芯光缆连接技术只是网络设计人员工具包中的一个备选方案，它可以确 保数据中心实现最佳的成本效益，拥有满足未来需求的网络，而且轻松迁移至 400G 的传输网 络。
3.3K20发布于 2020-06-10 - 来自专栏Dance with GenAI
Anritsu白皮书：AI数据中心的光通信测试解决方案
本文是 Anritsu 公司 2024 年 10 月发布的关于支持数据中心加速的测试解决方案报告，主要介绍了公司概况、业务概述以及数据中心相关的测试解决方案。 公司概况：Anritsu 公司 1895 年创立，原名 Sekisan-sha，1931 年更名为 Anritsu Electric Corporation 。 业务概述：公司业务涵盖多个领域，包括网络社会的演进（T&M）、食品和医疗的安全保障（PQA）、移动（5G 及应用）、网络基础设施（数据中心、光网络、无线网络）、电子（基站建设维护等）等。 数据中心激活、维护及设备验证解决方案：MT1040A Network Master Pro 支持 100G/200G/400G 以太网网络质量评估，可进行端到端服务测试、网络测试和监测测试。 制造激光二极管的解决方案：MS9740B 光谱分析仪可支持数据中心及非通信应用激光二极管的评估，还用于海底光通信系统中中继器波长特性和质量评估。
35800编辑于 2025-05-13
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号