首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏云+技术

    从传统演进历程之软件定义存储(三)

    上回书讲完了部署,部署完成之后,就开始了无休止的调优,对于Ceph人员来说最头痛的莫过于两件事:一、Ceph调优;二、Ceph。 调优是件非常头疼的事情,下面来看看小哥是如何调优的,小哥根据网上资料进行了一个调优方法论(调优总结)。 · 网络规划 万兆网络现在基本是跑Ceph必备的,网络规划上,也尽量考虑分离cilent和cluster网络。 基本做平台的,VT和HT打开都是必须的,超线程技术(HT)就是利用特殊的硬件指令,把两个逻辑内核模拟成两个物理芯片,让单个处理器都能使用线程级并行计算,进而兼容多线程操作系统和软件,减少了CPU的闲置时间 Ceph目前并未对NUMA架构的内存做过多优化,在日常使用过程中,我们通常使用2~4颗CPU,这种情况下,选择SMP架构的内存在效率还是要高一些。

    1.3K20发布于 2019-04-09
  • 来自专栏云+技术

    从传统演进历程之软件定义存储(五)

    但在现在数据中心的兴起带来的是海量数据被集中起来。相较于传统备份行业常见的小容量(小于500GB)RTO、RPO敏感型场景,在数据中心带来的挑战下完全无法作到有效保护。 关卡五:PB级数据中心灾备设计关卡 画难度:四颗星 传统的备份方式通常面向应用来做保护,依靠代理来调用应用端的接口。数据一致性能得到完全的保证。 但传统备份由于要建立索引表,面对海量小文件时或者是计算中心的PB级数据量时无论是备份速度还是存储效率都及其有限。 从安全性看还有一定隐患。 3、基于存储网关的数据保护。 且受限于商业策略和技术路线,从成本(基本都是几十万级)或者从设备的广泛兼容看(虽说各家虚拟化网关厂家都说可以做到节点平滑扩展,但最大节点数一直都在16节点以内;且都需要保持同型同代产品)都有很大限制

    97020发布于 2019-04-09
  • 来自专栏CSDN技术头条

    Hyper容器

    关于Hyper,大家比较好奇,本文将从三个方面重点分享Hyper的原理和容器:从Docker到Hyper Container,Hyper Container用于公有,容器的变化。 容器的变化 最后想分享一下我对于容器时代的一些思考。在容器时代,很多运理念跟以前不太一样了。 资源视角。以前,资源就是机器,不管是物理机还是虚机。 传统的都会有一套配置管理的工具(例如Puppet)来保证集群中每台机器的配置一致,但是在容器时代,一个应用所需要的依赖、配置全部打包进镜像里了,Puppet就不再需要了。 传统的方式,就是就是把应用的二进制文件编译好了扔到服务器,替换旧的,重启服务,发现有问题赶紧把旧文件换回来,回滚服务,这是典型的变更方式。 一开始可能很不适应,但是我相信未来的趋势是容器,我们要往这个方向去努力。

    4.1K70发布于 2018-02-13
  • 来自专栏云+技术

    从传统演进历程之软件定义存储(二)

    许多Ceph新手在测试环节以及预生产的时候会对Ceph集群的部署以及调优产生困扰,A公司小哥也遇到了部署和调优问题。下面来看看A公司小哥是如何解决这个问题的。 关卡二:部署调优关(部署) 难度:三颗星 上篇文章开头我也说到了,部署Ceph是新手的噩梦,对于传统来说部署一套Ceph是很难的事情,A公司小哥在官网以及Ceph中国社区的相关资料和帮助下才渐渐熟悉了什么是 而此时就是考验一个人员的处理故障的基本素质,好在这个小哥有过一两年的经验,经过基本排查,最终确定了是时间问题。由于三个节点时间不一致而导致的这个问题,这里称之为“OSD打摆子”。 1.某平台由于时间问题,导致主机创建不了、宕机等问题。 2.某分布式文件存储由于时间问题,导致数据分布不均衡、脑裂等问题。 所以平台也好存储也好,都会因为时间而产生不必要的故障问题,建议人员要注重时间问题。 ? 图8:Ceph集群 好了言归正传,上图是小哥新搭建好的集群。三节点、六个OSD的Ceph小集群。

    1.2K10发布于 2019-04-09
  • 来自专栏云+技术

    从传统演进历程之软件定义存储(一)

    从横向、纵向分可以分为多个维度和层次,本文试图抛开这纷繁复杂的概念,讲述一个传统的企业级人员转型到人员,尤其是软件定义存储的之间经历的沟沟坎坎。 传统的人员,以往接触的更多是硬件,如服务器、设备和风火水电;但是在数据中心时代,人员已经从面向物理设备,转变为面向虚拟化、的管理方式。 因此,数据中心的对于传统的人员提出了新的能力要求——不仅要熟悉传统硬件设备,同时要掌握虚拟化、云系统的部署、监控和管理等能力。 本文选取数据中心的其中一点,即软件定义存储(SDS)的为例,试述整个演进历程。 欲知后事,且听下文《从传统演进历程之软件定义存储(二)》,主要讲述了A公司小哥在硬件选型完毕之后开始部署Ceph遇到的一些问题以及解决办法。

    1.7K20发布于 2019-04-09
  • 来自专栏云+技术

    从传统演进历程之软件定义存储(四)

    p=465 利用Cosbench来测试Ceph Cosbench是Intel的开源存储性能测试软件,Cosbench目前已经广泛使用与存储测试,并作为存储的基准测试工具使用,Cosbench可在windows Cosbench是一个分布式的基准测试工具,测试对象存储系统,目前为止它支持一些对象存储系统的测试,Cosbench也允许用户创建额外的存储系统适配器。 在Cosbench 换算是按照1000算的。例如:若你写4096KB就是4096X1000=4096000,这个就算小文件。

    2K20发布于 2019-04-09
  • 来自专栏云+技术

    从传统演进历程之软件定义存储(五)中

    关卡五:Ceph灾备神兵利器-故障域 重要度:五颗星 转眼六篇文章过去了,还记得大明湖畔(本系列一)的小哥吗? 勿忘初心,咱们还是回到最初的小哥,小哥经历了硬件选型、部署、调优、测试的一系列转型的关卡,终于就要到最后的上线了。 小哥最初的梦想搭建一个Ceph存储集群,对接服务,底层存储实现高可用的数据访问架构。 OSD的权重代表了该OSD存储数据的比重。如果为0,其上将不会存储任何数据。而如果一个OSD的权重为1,而另一个为2的话,第一个OSD存储的数据量将只会有第二个OSD数据量的一半。 它还可以被用来减轻一个OSD的负载。 具体的Crush Map操作查看官网:http://docs.ceph.com/docs/master/rados/operations/crush-map/?

    83020发布于 2019-04-09
  • 来自专栏云+技术

    从传统演进历程之软件定义存储(六)完结

    回到最初的Ceph工程师的问题,本系列讲述的是传统向新一代转型之软件定义存储部分的转型,是企业业务系统从规划、设计、实施、交付到的最后一个步骤,也是重要的步骤。 小哥最初的梦想搭建一个Ceph存储集群,对接服务,底层存储实现高可用的数据访问架构。 传统的人员,以往接触的更多是硬件,如服务器、设备和风火水电;但是在数据中心时代,人员已经从面向物理设备,转变为面向虚拟化、的管理方式。 因此,数据中心的对于传统的人员提出了新的能力要求——不仅要熟悉传统硬件设备,同时要掌握虚拟化、云系统的部署、监控和管理等能力。 通过九篇文章简单介绍了下传统或者说是传统向SDS的转型之路。

    95420发布于 2019-04-09
  • 来自专栏云+技术

    从传统演进历程之软件定义存储(三)下

    上回书讲到了小哥的调优方法论(),对于Ceph人员来说最头痛的莫过于两件事:一、Ceph调优;二、Ceph。调优是件非常头疼的事情,下面来看看小哥是如何调优的。 中断记录情况 3.硬件加速 在大多数情况下,CPU需要负责服务器中几乎所有的数据处理任务,事实CPU并不如我们想象中的那样强大,在大量的数据处理中往往显得力不从心,于是便有了硬件加速技术。 TOE网卡可以将这些计算工作交给网卡的协处理器完成。 (2)中断处理 上面讲到,在通用网络IO的处理方式,普通网卡每个数据包都要触发一次中断,TOE网卡则让每个应用程序完成一次完整的数据处理进程后才出发一次中断,显著减轻服务对中断的响应负担。 filestore queue相关的参数对于性能影响很小,参数调整不会对性能优化有本质提升 ?

    91510发布于 2019-04-09
  • 来自专栏云+技术

    从传统演进历程之软件定义存储(五)下

    日志维护着这个p_w_picpath的所有事务的操作记录列表。它可以被视为存在于集群中的另一个rbd p_w_picpath(一系列RADOS对象)。 RBD Mirror功能的启用和禁用可以作用在整个Pool或者一个p_w_picpath。 RGW逻辑概念 Region:一般用来代表逻辑的地理区域(比如省会、国家等较大规模的地理范围),一个Region可以包含一个或多个Zone。 要实现RGW异地同步,首先需要将原本孤立零散的RGW服务,按照一定逻辑组成Region和Zone,从而打破物理地域的限制,在逻辑形成统一的命名空间。 转眼间第七篇文章也结束了,剩下最后的关卡了,预知后事如何,请期待最后的《 &演练》。

    79120发布于 2019-04-09
  • 来自专栏vivo互联网技术

    原生时代数据库体系演进

    一、原生时代数据库挑战图片1.1 数据库体系演进从数据库体系的演进历程来看,1、2000年左右,PC互联网时代兴起,商业数据库是市场主流,而开源数据库方兴未艾。 在数据库领域,则自然衍生出了计算的一个分支概念,DaaS,data as a service,数据库的方式因此由人工脚本方式转变为了数据库平台的方式。 1.2 原生时代挑战这样的时代背景下,我以为数据库主要有三个方面的挑战:原生时代应用架构普遍微服务化,一个系统拆成多个微服务,这个系统的数据库也分拆成多个。 这导致数据库实例成倍增加,数据库的工作量也成倍增加。因此大规模数据库实例如何有效?这就是第一个挑战。原生理念应用架构层面的弹性伸缩,自然也要求数据库层面做到弹性伸缩。 效率,节省了92%的数据库工作量。月均数千的总工单量,其中92%都是无需参与,由平台用户自助执行。

    1.9K40编辑于 2022-12-13
  • 来自专栏杨建荣的学习笔记

    自动化的快速演进

    整理了一下自己的思路,把近期要做的事情也分一下类别。

    73330发布于 2018-03-22
  • 来自专栏云+直播

    【抗“疫”特别专题】《腾讯工程师认证辅导课-概述》

    「腾讯大学」在疫情期间为开发者特推出了免费的「腾讯认证辅导直播课」!让您足不出户,即可享受优质的学习资源,就能完成开发技能升级。 抗击疫情,居家学习,腾讯大学与你相伴而学。欢迎大家预约直播! 本课程将介绍腾讯产品全景和分类、产品基本功能和概念,并通过数据库、掌握腾讯控制台的登录方法,并以服务器为例展示如何利用安全访问服务访问腾讯产品。 「腾讯大学」邀请 腾讯认证讲师 李晓辉 为大家带来腾讯工程师认证辅导课-概述。 李晓辉,腾讯认证讲师,熟悉OpenStack私有领域、Docker、Kubernetes容器架构设计、Ceph 分布式存储等开源技术。 对于开发者个人和企业,腾讯培训与认证都能提供极大的价值。

    2.4K50发布于 2020-02-19
  • 来自专栏云计算D1net

    CloudOps: 一种优化的框架

    随着企业越来越多地将应用程序开发和工作负载转移到,以及这些支出变得越来越复杂,一个与此相关的概念CloudOps(即“”)出现了。 CloudOps: 一种用于的多层框架 “Holistic CloudOps是一个多层次的框架,可以用于帮助企业管理生态系统的各个方面,”咨询公司Capgemini Americas的副总裁兼卓越云中心主管 “许多客户在以竖井的方式管理着他们的原生地图,使用了不同的工具和流程,并且从整体查看其整个原生地图的能力微乎其微。” 随着越来越多的企业将更多的工作和流程转移到,他们也将需要专注于构建CloudOps专业知识。 IT、安全、架构和应用团队都需要在通用的CloudOps实践协作并保持一致,”CTO说。“如果这些团队在孤岛中工作,CloudOps就不能很好地工作。”

    1.3K00编辑于 2022-09-02
  • 来自专栏腾讯专有云

    专题第7期:保险柜

    在上一期推文《混沌工程》中,我们给大家介绍的是能验证业务系统稳定性的故障演练平台,本期给大家带来的是平台中的一个重要功能组件——密码库。 密码库是什么 密码库是平台的功能组件,用于统一管理平台使用的物理机、虚拟机操作系统用户密码。 密码库为平台产品及客户第三方系统提供密码查询、密码修改、密码重置等接口,为其使用操作系统用户密码提供自动化支持。 3.密钥 SSH 协议支持 RSA 密钥对的验证方式,通过将公钥放置在远端服务器,用户即可以通过密钥验证来 SSH 登录远端服务器,从而实现免密码登录。密码库支持配置服务器为密钥登录方式。 往期 · 推荐 专题第1期:数据中枢 专题第2期:警戒哨兵 专题第3期:诊断专家 专题第4期:数据掘金者

    1.2K20编辑于 2022-06-24
  • 来自专栏kubernetes中文社区

    知乎部署发布系统演进之路

    本文将从部署系统的角度,介绍知乎应用平台从无到有的演进过程,希望可以对大家有所参考和帮助。 支持金丝雀灰度验证,期间支持故障检测以及自动回滚 支持蓝绿部署,在蓝绿部署情况下,上线和回滚时间均在秒级 支持部署 Merge Request 阶段的代码,用于调试 下文将按时间顺序,对部署系统的功能演进进行介绍 基于 Consul 和 HAProxy 的服务注册与发现 每次部署物理机时,都会先将机器从 Consul 摘除,当部署完成后,重新注册到 Consul 。 为了避免每次部署到金丝雀后,都依赖人工去观察指标系统,我们在部署系统,又开发了「金丝雀自动回滚」功能。 但是实际很多情况下,我们的代码在 Merge Request 阶段就需要进行部署,以方便开发者进行自测,或者交由 QA 团队测试。

    2.3K20发布于 2019-06-24
  • 来自专栏深度学习与python

    AI 驱动革命:腾讯如何用“顾问”重塑 SRE

    内容亮点 收获前沿行业认知,明晰 SRE 组织发展趋势与 AI 重塑 SRE 的方向 获得实用技术实践指引,学习腾讯顾问平台功能及应用,优化流程 更可借鉴多维经验,涵盖技术、组织、管理、协作、技能等方面 尽管 IT 服务管理或 IT 领域给人的印象可能较为传统,但我们依然努力将 B 端复杂逻辑和 C 端用户体验完美融合。 传统人员需要每天制作报表、分析日志,而我们的平台通过自然语言处理,让这一过程变得简单高效。 此外,根因分析功能可以从现象直接追溯到根因,这得益于我们整体的产品设计理念——按图索骥。 我们在腾讯顾问的产品化过程中也参考了这两种模式。 传统的体系通常是技术主导的,由开发运团队发起,要求所有系统上报日志,然后制定指标、配置监控告警,等待问题发生时通知。 例如,业务团队告诉我们“618”即将到来,预计用户量将增加 5 倍,团队就会根据这一需求进行扩容评估,并在平台上完成评估和扩容。

    73710编辑于 2025-06-17
  • 来自专栏腾讯云开发者社区头条

    腾讯+,助力领域技术发展

    计算时代和互联网持续高速发展的今天,数据和服务规模迅速升级,传统维面临着许多新型挑战,如何结合DevOps理念,解决计算时代的难题? 为了更好地推进领域技术交流发展,并且让更多的企业能够完成向计算的转变,腾讯云和织云联合举办“腾讯干货” 系列沙龙。 每期沙龙将会邀请腾讯领域专家,分享计算时代的思考和实践,并且为参加沙龙活动的人员提供一定金额的腾讯代金券,帮助大家0门槛体验腾讯各类产品,而针对企业用户,腾讯+创业”计划更是能给出高达百万的资扶持 [图片] (腾讯技术总监梁定安) 出品人大梁宣布了腾讯与织云的“6+6技术沙龙 六个主题覆盖的质量、效率、成本、规划、DevOps与AI的相关话题,将独家曝光大量实践的案例。

    6.3K10发布于 2017-12-18
  • 来自专栏TSINGSEE青犀视频

    EasyNTS网关中数据库检测介绍

    EasyNTS网关在诞生之初便是一个主要服务于远程的产品,在后来的改版中,我们才添加了其视频拉转推的功能,视频拉转推功能可远程的功能同时启用。 在试用远程之前,需要对数据库做个监测,而部分用户没有数据库的检测工具,而EasyNTS则提供了可以检测本地或者远程的数据库是否可以连接的功能。

    2.3K30发布于 2021-03-29
  • 来自专栏EasyNVR

    一款设备是如何解决所有视频场景需求的:直播、管理上、分析

    在之前我们发布了一篇《EasyNTS网关是如何的:设备、现场上、推流上、桌面上》,主要描述的是EasyNTS网关是如何做到设备在云端发布、在云端配置、在云端管控的,今天我们从应用场景的角度来展开 ,描述视频网关具体是什么样的东西。 直播 EasyNTS网关的直播技术能非常广泛地应用于各种直播类的基础场景,最简单的类似于之前描述的幼儿园直播、景区直播、公共画面的开放直播等,交通部的视频项目,实际就是这种形式的升级版, ,分析服务在公网云端,要打通现场和公网,就需要EasyNTS网关的现场设备穿透功能,将现场设备流端口发布到云端,这样就能够为视频分析厂商提供视频分析设备视频源了; EasyNTS网关从多个维度解决了现场设备 (包括网关本身)的需求,可以远程桌面,可以远程指令,可以远程穿透到本地调试,实实在在做到了物理问题以外的问题全面

    2.7K20发布于 2020-10-27
领券