首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏kafka专栏

    4.【kafka运维】Leader重新选举运维脚本(4)

    文章目录 kafka-leader-election Leader重新选举 More 日常运维 、问题排查 怎么能够少了滴滴开源的 滴滴开源LogiKM一站式Kafka监控与管控平台 kafka-leader-election 进行Leader重选举 > sh bin/kafka-leader-election.sh --bootstrap-server xxxx:9090 --topic test_create_topic4 和分区进行Leader重选举 先配置leader-election.json文件 { "partitions": [ { "topic": "test_create_topic4" , "partition": 1 }, { "topic": "test_create_topic4", "partition": 2 } 三者互斥 --path-to-json-file 配置文件批量选举,此参数跟--topic和all-topic-partitions 三者互斥 More Kafka专栏持续更新中…(源码、原理、实战、运维

    59020发布于 2021-08-05
  • 来自专栏python3

    python运维开发笔记4

    re.S:’ . ’并且包括换行符在内的任意字符(注意:’ . ’不包括换行符) re.U: 表示特殊字符集 \w, \W, \b, \B, \d, \D, \s, \S 依赖于 Unicode 字符属性数据库

    1.1K10发布于 2020-01-15
  • 来自专栏无量测试之道

    mysql数据库运维方案

    数据库不仅仅是dba的工作,每一个测试人员也应该懂得基本的数据运维操作,因为数据库是数据承载的地方并且是系统中非常重要的一部分,所以我们也需要熟练的对数据库进行基本维护。 testdb1.sql 3.2:导入单个库 mysql-hlocalhost -utester -p123456 < testdb1.sql 或者 mysql>source testdb1.sql; 第4组命令 4.2:导入某些数据表 mysql -uusername -ppassword testdb1 < tables.sql 或者 mysql>source tables.sql; 02、shell脚本实现数据库备份 binlog清理时间 expire_logs_days = 7 #binlog每个日志文件大小 max_binlog_size = 100m #binlog缓存大小 binlog_cache_size = 4m 总结:数据库的运维对于测试人员来说仍然是非常重要的,比如:非常重要也不太容易构建的测试数据需要做备份操作时,数据库的运维就显得很有技术含量,掌握数据的基本运维可以使测试工作做得更出色,同时也会让开发刮目相看

    12.9K20编辑于 2022-07-04
  • 来自专栏NebulaGraph 技术文章

    数据库运维 | 携程分布式图数据库NebulaGraph运维治理实践

    ,相比 JanusGraph 这类构建在第三方存储系统上的图数据库,性能和资源使用效率上具有优势; 支持两种语言,尤其是兼容主流的图技术语言 openCypher,有助于用户从其他使用 Cypher 语言的图数据库 考虑到使用图数据库的业务大多数据来自离线系统,通过离线作业将数据导入到图数据库中,数据一致的要求并不高,在这种条件下使用蓝绿部署能够在灾备和性能上得到很好的满足。 生产上的一个例子: 图片 上图为三机房情况,下图为蓝绿部署情况: 图片 中间件及运维管理 我们基于 K8s CRD 和 Operator 来进行 NebulaGraph 的部署,同时通过服务集成到现有的部署配置页面和运维管理页面 数据写入时服务 down 机 起因酒店业务在全量写入的时候,即使量不算很大(4~5w/s),在不特定的时间就会导致整个 graphd 集群完全 down 机。 NebulaGraph 二次开发 当前我们对 NebulaGraph 的修改主要集中的几个运维相关的环节上,比如新增了命令来指定迁移 storaged 中的分片,以及将 leader 迁移到指定的实例上

    5K40编辑于 2022-12-12
  • 来自专栏NebulaGraph 技术文章

    如何运维多集群数据库?58 同城 NebulaGraph Database 运维实践

    图片 NebulaGraph 实际测试表现如何 在导入性能上,数据量小的时候 NebulaGraph 的导入效率稍慢于 neo4j,但在大数据量的时候 NebulaGraph 的导入明显优于其他两款图数据库 资源申请和集群管理方式 为了更好的管理和维护,图数据库在运维部门集中运维管理。用户按需在工单平台中提交申请即可,工单中填写详细的资源需求数据和性能需求指标,由运维同学统一审核交付集群资源。 为了高效管理和运维规模化的集群,需要提前规划和制定规范。 端口 路径打包生成 rpm,作为标准安装包 图片 服务请求直接通过 DNS 和网关服务到 Graph,方便计算和存储服务直接交互,由于是通过 DNS 访问,不对外暴露 Meta 节点信息,可以更灵活的运维 ,较少服务绑定 Meta 节点 ip 带来的运维代价。

    5.4K20编辑于 2023-02-15
  • 来自专栏DBA随笔

    Redis开发与运维学习笔记---(4)

    4 迁移键 redis中,提供了3中迁移键的方法: move dump+restore migrate 下面分别介绍: 1、move move命令用户在多个数据库中进行键迁移。 它的主要功能是将键从一个数据库迁移到另外一个数据库,但是,多数据库的功能,本身是不建议在线上使用的,这个命令大家了解一下即可。 redis的IP地址 port:目标redis的端口 key|“” :redis3.0.6之前,migrate只支持迁移一个键,当需要迁移多个键,此处字符串为空 destination-db:目标redis的数据库索引 ,例如要迁移到0号数据库,此处写0即可。

    74010发布于 2020-03-31
  • 来自专栏数据和云

    数据库监控是运维之本

    前一段时间用户的系统进行应用发布和系统运维,准备了很久,结果我们最为担心的数据库维护环节没有出现问题,却在应用发布的阶段出现麻烦,因为程序未设置正确的字符集,导致插入了乱码数据,结果又不得不重来。 移动的朋友总结了一句话,非常有道理:运维保障总是从最高风险点开始逐步推进,悖论是如果这样推进的执行力有保障,出的问题总是之前觉得低风险的地方。 这也给我们一个警示:数据库运维或系统运维,每一个环节都要细致入微,唯有如此才能保障长治久安。 、数据库运维,监控是根本,及时发现、分析和解决出现的问题,是运维保障系统稳定的关键,任何一个简单的错误都不容轻忽。 加强监控,收集和分析足够多的数据,是系统的最佳保障! 图:对客户系统错误的分析。

    4.6K60发布于 2018-03-05
  • 来自专栏后端技术探索

    MySQL 数据库优化(运维角度)

    2、数据库部署 该运维工程师出场了,项目初期访问量不会很大,所以单台部署足以应对在1500左右的QPS(每秒查询率)。 net.ipv4.tcp_fin_timeout = 30 #TIME_WAIT超时时间,默认是60s net.ipv4.tcp_tw_reuse = 1 #1表示开启复用,允许TIME_WAIT socket 4、数据库架构扩展 随着业务量越来越大,单台数据库服务器性能已无法满足业务需求,该考虑加机器了,该做集群了~~~。 5、数据库维护 数据库维护是运维工程师或者DBA主要工作,包括性能监控、性能分析、性能调优、数据库备份和恢复等。 这些都是与运维相关的前沿技术,也是在存储方面主要学习对象,小伙伴们共同加油吧!哪位博友有更好的优化方案,欢迎交流哦。

    6.4K20发布于 2018-08-09
  • 来自专栏全栈工程师修炼之路

    Ansible自动化运维学习笔记4

    - name: "Demo 3" debug: msg: "{{ item }}" with_items: - 1 - 2 - 3 - 4 when: item > 1 and ( item == 3 or item ==5) #列表中的所有条件同时成立时,对应的任务才会执行 - name: "Demo 4" debug item=1) skipping: [local] => (item=2) ok: [local] => (item=3) => {"msg": 3} skipping: [local] => (item=4) testpath: /bin/bash teststr: "thisisstringdemo" testnum: 1024 a: - 2 - 5 b: [1,2,3,4,5 fail: #关键点 msg: "Interrupt running playbook" - debug: msg: "3" - debug: msg: "4"

    3.1K10发布于 2020-10-23
  • 来自专栏腾讯专有云

    运维平台第4期:数据掘金者

    通过与平台监控系统联动,帮助用户提升运维能力,降低安全风险。 日志平台预接入了专有云平台及各产品管控面的关键日志,系统运维人员无须配置即可开始快速使用,助力平台高效运维。 通过分析进一步洞悉系统风险,提升对系统问题的发现识别,为后续运维改进提供决策依据。 场景4:等保安全审计 企业在过等保或者做审计时,需要收集各种类型的日志,要求日志至少达到180天存储,部分日志需要永久保存,有的日志则要求通过相关国家安全加密。 开箱即用 预接入平台及各产品管控面的日志,不需要系统运维人员配置即可开始快速使用日志平台的各项功能。 往期 · 推荐 ‍‍‍‍‍‍‍运维专题第1期:数据中枢 运维专题第2期:警戒哨兵 运维专题第3期:诊断专家‍‍‍‍‍‍ 一朵云,搞掂!

    1.8K30编辑于 2022-06-24
  • 来自专栏后端云

    Openstack运维常见问题记录(4)

    解决: 感觉是node的信息数据库不同步 nova show 出错的vm,报cell错误 ####每次增加一个计算节点在控制节点需要执行: # su -s /bin/sh -c "nova-manage | {} | 1 | RegionOne | | 58bd5f09811a4ebcb62a4b51fb7ae444 | NULL | admin | 960580852a594c078e68fe3683e35db5 | http://keystone-ha-vip:5000/v3/ | {} | 1 | RegionOne | | a0b10cb04a5b4ca3859aaf2ea4ca2a3b [root@EXTENV-194-18-2-11 ~]# systemctl restart httpd.service memcached.service 系列文章链接 Openstack运维常见问题记录 (3) Openstack运维常见问题记录(2) Openstack运维常见问题记录(1)

    2.8K41发布于 2020-02-12
  • 来自专栏全栈工程师修炼之路

    Ansible自动化运维学习笔记4

    - name: "Demo 3" debug: msg: "{{ item }}" with_items: - 1 - 2 - 3 - 4 when: item > 1 and ( item == 3 or item ==5) #列表中的所有条件同时成立时,对应的任务才会执行 - name: "Demo 4" debug item=1) skipping: [local] => (item=2) ok: [local] => (item=3) => {"msg": 3} skipping: [local] => (item=4) testpath: /bin/bash teststr: "thisisstringdemo" testnum: 1024 a: - 2 - 5 b: [1,2,3,4,5 fail: #关键点 msg: "Interrupt running playbook" - debug: msg: "3" - debug: msg: "4"

    2K20编辑于 2022-09-28
  • 来自专栏后端云

    Kubernetes 运维遇到的问题记录(4)

    Kubernetes 集群网络有很多种实现,有很大一部分都用到了 Linux 网桥:每个 Pod 的网卡都是 veth 设备,veth pair 的另一端连上宿主机上的网桥。由于网桥是虚拟的二层设备,同节点的 Pod 之间通信直接走二层转发,跨节点通信才会经过宿主机 eth0。

    1.6K20编辑于 2023-02-10
  • 来自专栏运维之美

    「运维之美」技术周刊 ( 第 4 期 )

    链接:https://www.oschina.net/news/108481/docker-ce-19-03-0-released 5、华为将开源全球首个 AI 原生数据库 GaussDB 内核 日前, 华为在正在进行的鲲鹏计算产业论坛上宣布将开源其内部大规模使用的 GaussDB 数据库内核。 4、IPList IPList 是一个在线 IP、Hostname 查询工具,支持 IPv4、IPv6。只要输入查询内容就会显示出相关信息,也可看到打开网站你目前的 IP 地址。 8、magic-of-sysuse-scripts 一个可快速初始化服务器环境和安装常用软件环境的运维小工具。 ——「活着」 4、人生的某些障碍,你是逃不掉的。与其费尽周折绕过去,不如勇敢的地攀越,或许这会铸就你人生的高点。 —— 宫崎骏「龙猫」 ?

    82020发布于 2019-07-30
  • 来自专栏释然IT杂谈

    企业运维经典面试题汇总(4)

    解答: 0 关机 1 单用户 2 多用户,没有nfs支持 3 完全多用户, 4 保留 5 X Windows 6 重启 10、yangwen 系统中查看中文乱码,请问如何解决乱码问题? tail -1 10774:iqobject 48619/udp # iqobject 15、过滤出/etc/services 文件包含 3306 或 1521 两数据库端口的行的内容 4、描述 linux 运行级别 0-6 的各自含义 0 关机 1 单用户模式 2 多用户没有NFS网络支持 3 完全多用户模式(工作中常用) 4 保留 5 图形化界面 6 重启 5、描述 linux 下文件删除的原理 '192.168.20.130 Sed方法4: [root@yangwen ~]# ifconfig eth0|sed -n '/inet addr/p'|sed -r 's#^. *oy" ett.txt yangwen 方法4: [root@yangwen]# egrep "ol.

    86631发布于 2020-08-25
  • 来自专栏devops_k8s

    做运维的感悟(做运维需要考虑事,运维组织结构,运维学习地图....)

    数据库运维 数据库运维负责数据存储方案设计、数据库表设计、索引设计和SQL优化,对数据库进行变更、监控、备份、高可用设计等工作。详细的工作职责如下所述。 (4)数据库监控 完善数据库存活和性能监控,及时了解数据库运行状态及故障。 (7)自动化系统建设 设计开发数据库自动化运维系统,包括数据库部署、自动扩容、分库分表、权限管理、备份恢复、SQL审核和上线、故障切换等功能。 确实,【 运维 】可能是分水岭最明显的职位之一:有的人毕业6年,月薪从3K涨到到50K;有的人工作4年,依然做着重启服务器、检查机房的机械工作,这都是知乎上能看到的真实事例。 要做DBA,就要专门研究数据库,搞清楚数据库的原理结构,每个详细点。 每一门往后都有大量的东西要学习的,专精才能钱多,并且有成长。 不过当前都在往运维开发方向靠拢,未来的运维都要会一些开发才行。

    8.9K1011发布于 2020-12-23
  • 来自专栏JAVA高级架构

    运维角度浅谈MySQL数据库优化

    2、数据库部署 该运维工程师出场了,项目初期访问量不会很大,所以单台部署足以应对在1500左右的QPS(每秒查询率)。 net.ipv4.tcp_fin_timeout = 30 #TIME_WAIT超时时间,默认是60s net.ipv4.tcp_tw_reuse = 1 #1表示开启复用,允许TIME_WAIT 4、数据库架构扩展 随着业务量越来越大,单台数据库服务器性能已无法满足业务需求,该考虑加机器了,该做集群了~~~。 5、数据库维护 数据库维护是运维工程师或者DBA主要工作,包括性能监控、性能分析、性能调优、数据库备份和恢复等。 这些都是与运维相关的前沿技术,也是在存储方面主要学习对象,小伙伴们共同加油吧!哪位博友有更好的优化方案,欢迎交流哦。 ?

    5.9K100发布于 2018-04-19
  • 来自专栏AustinDatabases

    数据库到底是不是运维

    3 数据库无非就是ORACLE ,硬件配置提高点,问题就解决了,没有那么难 4 数据库就是运维的事情,找点运维的,开发的管管算了,没有必要投入太大 估计有些同学看完上面的一些上层对DB的本质工作的看法 从事这个行业有些年头了,实际上运维管理好的,开发管理好的,相对于数据库本身来说,数据库管理到位的单位相对上面两种管理好的单位,要少。 如果换成其他类型的CTO 那么可想而知,数据库就是运维这样的思路估计是根深蒂固的。 那么现代的数据库到底应该是什么样子的,在项目中承担了什么。 3 数据库与业务是紧密结合,与运维不同,属于静态,数据库与业务是息息相关的,业务量大,数据量就变大,数据的存储时间数据的处理模式,数据与程序之间的交互等等都会随着量变变成质变,而不是与运维中的静态产品 4 数据库是程序稳定运行中的一块基石,软件设计的在好,数据库类型选择错误,或者设计上出现误差,后续管理上的缺失,都是一个项目崩塌的开始。

    3.4K30编辑于 2022-04-05
  • 来自专栏杨建荣的学习笔记

    拍脑袋的数据库运维指标

    之前对数据库恢复做了相对全面的整合,为了校验数据恢复质量,我们开启了近半年的数据随机恢复测试,也就是说为了验证数据库的恢复质量和效率,我们会每天从备份机里面随机选取12个数据库实例进行数据恢复测试

    3.6K30发布于 2021-08-06
  • 来自专栏杨建荣的学习笔记

    数据库运维场景中的连接

    这是学习笔记的第 1827篇文章 在数据库运维中对运维场景建立连接是一种很不错的方式,通过建立连接使得我们可以把原本单一的问题通过流程化的方式衔接起来。 以下是近期的一些实践和思路。 业务和运维团队之间工作的一个纽带就是工单,当然目前还没有明确的工单结算方式,但是可以很明确的说,工单是我们输出给业务方的业务价值体现。 ? 在业务价值体现的过程中,我们可以把技术价值也打包进去。 当然业务巡检的情况和SQL审核类似,页面开发出来了,但是还没有完全推广用起来,我觉得这个地方的一大改进就是把监控和报警结合起来,监控数据能够推送出报警,报警信息可以间接调用巡检接口,这样对于运维同学来说

    3.6K20发布于 2018-12-26
领券