首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏kafka专栏

    3.【kafka运维】Topic的生产和发送运维脚本(3)

    Topic的消费kafka-console-consumer.sh More 日常运维 、问题排查 怎么能够少了滴滴开源的 滴滴开源LogiKM一站式Kafka监控与管控平台 1.Topic的发送 默认值) –max-partition-memory-bytes Long 为分区分配的缓冲区大小 16384 –message-send-max-retries Integer 最大的重试发送次数 3 bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --whitelist ‘.*’ --from-beginning 3. kafka.tools.NoOpMessageFormatter、kafka.tools.ChecksumMessageFormatter More Kafka专栏持续更新中…(源码、原理、实战、运维

    89420发布于 2021-08-03
  • 来自专栏python3

    日常运维 3

    crontab -e 编辑任务计划 crontab -l(小写的L) 列出任务计划 crontab -r 删除 crontab -u [username] 指定某个用户 1-5 表示范围1到5 1,2,3 --level 34 network off/on 控制network的等级3和4开关 --add [servicename] 增加一行服务,前提是在/etc/init.d/目录下有文件 --del [

    99820发布于 2020-01-14
  • 来自专栏python3

    Linux运维常用知识(3)

    )查看IP($1代表IP) #cat access_log | awk '{print $1}' (2)对IP排序 #cat access_log | awk '{print $1}'| sort (3) awk '{print $1}'|uniq -c|wc -l > ip.txt (13)查看 access.Log 文件ip统计(从高到低) cat access.log |awk '{print $3} (3) 端口不通时发送邮件 # vim /scripts/ncports.sh #! /bin/bash #denyhost ip cat /var/log/secure|egrep -i -o "[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3  > $fileRfc      done     tail /sys/class/net/eth*/queues/rx-*/{rps_cpus,rps_flow_cnt} 补充一些知识: Linux运维常见系统服务介绍

    29.6K34发布于 2020-01-08
  • 来自专栏无量测试之道

    mysql数据库运维方案

    数据库不仅仅是dba的工作,每一个测试人员也应该懂得基本的数据运维操作,因为数据库是数据承载的地方并且是系统中非常重要的一部分,所以我们也需要熟练的对数据库进行基本维护。 > testdb.sql 2.2:导入某些库 mysql-hlocalhost -utester -p123456 < testdb.sql 或者 mysql>source testdb.sql; 第3组命令 4.2:导入某些数据表 mysql -uusername -ppassword testdb1 < tables.sql 或者 mysql>source tables.sql; 02、shell脚本实现数据库备份 总结:数据库的运维对于测试人员来说仍然是非常重要的,比如:非常重要也不太容易构建的测试数据需要做备份操作时,数据库的运维就显得很有技术含量,掌握数据的基本运维可以使测试工作做得更出色,同时也会让开发刮目相看

    12.9K20编辑于 2022-07-04
  • 来自专栏kafka专栏

    3.【kafka运维】Topic的生产和消费运维脚本

    Topic的消费kafka-console-consumer.sh 3. 持续批量推送消息kafka-verifiable-producer.sh 4. 持续批量拉取消息kafka-verifiable-consumer More 日常运维 、问题排查 怎么能够少了滴滴开源的 滴滴开源LogiKM一站式Kafka监控与管控平台 1.Topic的发送 默认值) –max-partition-memory-bytes Long 为分区分配的缓冲区大小 16384 –message-send-max-retries Integer 最大的重试发送次数 3 bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --whitelist ‘.*’ --from-beginning 3. kafka.tools.LoggingMessageFormatter、kafka.tools.NoOpMessageFormatter、kafka.tools.ChecksumMessageFormatter 3.

    1.2K20编辑于 2022-04-13
  • 来自专栏NebulaGraph 技术文章

    数据库运维 | 携程分布式图数据库NebulaGraph运维治理实践

    ,相比 JanusGraph 这类构建在第三方存储系统上的图数据库,性能和资源使用效率上具有优势; 支持两种语言,尤其是兼容主流的图技术语言 openCypher,有助于用户从其他使用 Cypher 语言的图数据库 考虑到使用图数据库的业务大多数据来自离线系统,通过离线作业将数据导入到图数据库中,数据一致的要求并不高,在这种条件下使用蓝绿部署能够在灾备和性能上得到很好的满足。 生产上的一个例子: 图片 上图为三机房情况,下图为蓝绿部署情况: 图片 中间件及运维管理 我们基于 K8s CRD 和 Operator 来进行 NebulaGraph 的部署,同时通过服务集成到现有的部署配置页面和运维管理页面 但这本身并不会导致系统问题,因为 3 节点部署,只需要 2 个节点工作即可。 NebulaGraph 二次开发 当前我们对 NebulaGraph 的修改主要集中的几个运维相关的环节上,比如新增了命令来指定迁移 storaged 中的分片,以及将 leader 迁移到指定的实例上

    5K40编辑于 2022-12-12
  • 来自专栏NebulaGraph 技术文章

    如何运维多集群数据库?58 同城 NebulaGraph Database 运维实践

    资源申请和集群管理方式 为了更好的管理和维护,图数据库在运维部门集中运维管理。用户按需在工单平台中提交申请即可,工单中填写详细的资源需求数据和性能需求指标,由运维同学统一审核交付集群资源。 为了高效管理和运维规模化的集群,需要提前规划和制定规范。 61000 meta 端口;51000 ws_http_port;41000 ws_h2_port 62000 storage 端口;52000 ws_http_port;42000 ws_h2_port 运维规范 端口 路径打包生成 rpm,作为标准安装包 图片 服务请求直接通过 DNS 和网关服务到 Graph,方便计算和存储服务直接交互,由于是通过 DNS 访问,不对外暴露 Meta 节点信息,可以更灵活的运维 ,较少服务绑定 Meta 节点 ip 带来的运维代价。

    5.4K20编辑于 2023-02-15
  • 来自专栏python3

    运维的shell小编(3)

    dd if=infile.log  of=outfile.log bs=1M count=1

    71910发布于 2020-01-09
  • 来自专栏数据和云

    数据库监控是运维之本

    前一段时间用户的系统进行应用发布和系统运维,准备了很久,结果我们最为担心的数据库维护环节没有出现问题,却在应用发布的阶段出现麻烦,因为程序未设置正确的字符集,导致插入了乱码数据,结果又不得不重来。 移动的朋友总结了一句话,非常有道理:运维保障总是从最高风险点开始逐步推进,悖论是如果这样推进的执行力有保障,出的问题总是之前觉得低风险的地方。 这也给我们一个警示:数据库运维或系统运维,每一个环节都要细致入微,唯有如此才能保障长治久安。 、数据库运维,监控是根本,及时发现、分析和解决出现的问题,是运维保障系统稳定的关键,任何一个简单的错误都不容轻忽。 加强监控,收集和分析足够多的数据,是系统的最佳保障! 图:对客户系统错误的分析。

    4.6K60发布于 2018-03-05
  • 来自专栏后端技术探索

    MySQL 数据库优化(运维角度)

    2、数据库部署 该运维工程师出场了,项目初期访问量不会很大,所以单台部署足以应对在1500左右的QPS(每秒查询率)。 双机热备博文:http://lizhenliang.blog.51cto.com/7876557/1362313 3、数据库性能优化 如果将MySQL部署到普通的X86服务器上,在不经过任何优化情况下, 5、数据库维护 数据库维护是运维工程师或者DBA主要工作,包括性能监控、性能分析、性能调优、数据库备份和恢复等。 # mysqldumpslow -t 3 /var/log/mysql/mysql-slow.log #查看最慢的前三个查询 也可以使用percona公司的pt-query-digest工具,日志分析功能全面 这些都是与运维相关的前沿技术,也是在存储方面主要学习对象,小伙伴们共同加油吧!哪位博友有更好的优化方案,欢迎交流哦。

    6.4K20发布于 2018-08-09
  • 来自专栏腾讯专有云

    运维专题第3期:诊断专家

    在上一期《运维专题第2期:警戒哨兵》中,我们介绍的是运维平台中的监控系统——云哨,今天给大家带来的产品是巡检平台,在运维过程中能够跟监控系统一起为客户带来稳定的保障。 这样的产品哪里有 来腾讯专有云,给你不一样的运维服务体验。 笔者认为,首先是易用性,运维产品化也应该遵循产品设计的体验好和易用的要求,运维产品能做到开箱即用就是基本要求; 其次,是自定义能力,因为运维产品是面向运维人员,在 DevOps 潮流的今天,很多运维人员都有一定开发能力 ,那自定义开发的能力也可以是好的运维产品的能力,从而做到运维产品特性的快速扩展; 最后,是智能化,能够针对初级运维人员提供快速解决运维问题的能力,比如自动分析故障、有针对性提供知识库,让运维工作做到高效 ,提高产品SLA,这是运维工作的关键目标。

    1.3K10编辑于 2022-06-24
  • 来自专栏DBA随笔

    Redis开发与运维学习笔记---(3)

    127.0.0.1:6379> exit 这里对其他的参数做一下说明: -r -r(repeat)选项代表将命令执行多次 [root@VM_48_10_centos ~]# redis-cli -r 3 (interval)选项代表每隔几秒执行一次命令,但是-i选项必须和-r选项一起使用,下面每隔1s执行一次ping命令: [root@VM_48_10_centos ~]# redis-cli -r 3 --latency 该参数有3个选项,分别是--latency,--latency-history以及--latency-dist,其中: --latency选项可以测试客户端到目标redis的网络延迟 latency-dist会使用统计表的形式从控制台输出延迟统计信息 --stat 该选项可以试试获取Redis的重要统计信息,虽然info命令中的统计信息更全,但是能够实时看到一些增量数据,对于redis的运维还是有一定帮助 例如: redis-server --port 6380 3、配置文件启动 redis-server /dir/redis.conf 除了启动redis之外,还有一个选项--test-memory,

    66220发布于 2020-03-31
  • 来自专栏Apache IoTDB

    Apache IoTDB 系列教程-3:部署运维

    今天介绍 IoTDB 的部署运维相关知识,帮助大家玩转 IoTDB! 正文 1859 字,预计阅读时间 5 分钟。 开箱即用 IoTDB 的理念就是系统运维要简单,要一键启动、开箱即用。 nohup sbin/start-server.sh >/dev/null 2>&1 & 目录结构 使用默认配置启动并且写数据之后,项目根目录会生成下面这些文件夹,都在 data 目录下: 其中主要包括 3 3. 把 A 机器上的 IoTDB 的元数据迁移到 B 机器上,但是不要数据 把 A 机器的 data/system 目录拷贝到 B 机器的相应位置,启动 B 机器的 IoTDB 即可。

    2.2K30发布于 2020-09-27
  • 来自专栏devops_k8s

    做运维的感悟(做运维需要考虑事,运维组织结构,运维学习地图....)

    数据库运维 数据库运维负责数据存储方案设计、数据库表设计、索引设计和SQL优化,对数据库进行变更、监控、备份、高可用设计等工作。详细的工作职责如下所述。 (3)数据备份与灾备 制定数据备份与灾备策略,定期完成数据恢复性测试,保证数据备份的可用性和完整性。 (4)数据库监控 完善数据库存活和性能监控,及时了解数据库运行状态及故障。 招聘岗位和要求 /* 【岗位职责】: 1,负责服务器的配置、维护、监控、调优,故障排除等; 2,运维自动化及运维脚本开发; 3,大用户量下高性能服务器系统部署方案的制定及实施与监控; 3、探索、研究新的运维技术方向。 要做DBA,就要专门研究数据库,搞清楚数据库的原理结构,每个详细点。 每一门往后都有大量的东西要学习的,专精才能钱多,并且有成长。 不过当前都在往运维开发方向靠拢,未来的运维都要会一些开发才行。

    8.9K1011发布于 2020-12-23
  • 来自专栏JAVA高级架构

    运维角度浅谈MySQL数据库优化

    2、数据库部署 该运维工程师出场了,项目初期访问量不会很大,所以单台部署足以应对在1500左右的QPS(每秒查询率)。 双机热备博文:http://lizhenliang.blog.51cto.com/7876557/1362313 3、数据库性能优化 如果将MySQL部署到普通的X86服务器上,在不经过任何优化情况下 5、数据库维护 数据库维护是运维工程师或者DBA主要工作,包括性能监控、性能分析、性能调优、数据库备份和恢复等。 # mysqldumpslow -t 3 /var/log/mysql/mysql-slow.log #查看最慢的前三个查询 也可以使用percona公司的pt-query-digest工具, 这些都是与运维相关的前沿技术,也是在存储方面主要学习对象,小伙伴们共同加油吧!哪位博友有更好的优化方案,欢迎交流哦。 ?

    5.9K100发布于 2018-04-19
  • 来自专栏AustinDatabases

    数据库到底是不是运维

    我们来看看某些领导对于数据库本身的看法 1 放数据的地方,只要数据库不出问题,系统就很少出问题,数据库怎么老出问题 2 数据库和大数据比,没有什么意思,大数据能衍生出很多的项目,数据库就是一个运维的 3 数据库无非就是ORACLE ,硬件配置提高点,问题就解决了,没有那么难 4 数据库就是运维的事情,找点运维的,开发的管管算了,没有必要投入太大 估计有些同学看完上面的一些上层对DB的本质工作的看法 从事这个行业有些年头了,实际上运维管理好的,开发管理好的,相对于数据库本身来说,数据库管理到位的单位相对上面两种管理好的单位,要少。 如果换成其他类型的CTO 那么可想而知,数据库就是运维这样的思路估计是根深蒂固的。 那么现代的数据库到底应该是什么样子的,在项目中承担了什么。 3 数据库与业务是紧密结合,与运维不同,属于静态,数据库与业务是息息相关的,业务量大,数据量就变大,数据的存储时间数据的处理模式,数据与程序之间的交互等等都会随着量变变成质变,而不是与运维中的静态产品

    3.4K30编辑于 2022-04-05
  • 来自专栏杨建荣的学习笔记

    拍脑袋的数据库运维指标

    之前对数据库恢复做了相对全面的整合,为了校验数据恢复质量,我们开启了近半年的数据随机恢复测试,也就是说为了验证数据库的恢复质量和效率,我们会每天从备份机里面随机选取12个数据库实例进行数据恢复测试 假设成功率为S,所以可以很快得到关系: 12*n/(12*n+1)=S 得到n=S/(12-12S),我们把S=0.999带入 得到n=83 这是什么概念,也就意味着我需要在将近3个月以内只能有

    3.6K30发布于 2021-08-06
  • 来自专栏杨建荣的学习笔记

    数据库运维场景中的连接

    这是学习笔记的第 1827篇文章 在数据库运维中对运维场景建立连接是一种很不错的方式,通过建立连接使得我们可以把原本单一的问题通过流程化的方式衔接起来。 以下是近期的一些实践和思路。 业务和运维团队之间工作的一个纽带就是工单,当然目前还没有明确的工单结算方式,但是可以很明确的说,工单是我们输出给业务方的业务价值体现。 ? 在业务价值体现的过程中,我们可以把技术价值也打包进去。 当然业务巡检的情况和SQL审核类似,页面开发出来了,但是还没有完全推广用起来,我觉得这个地方的一大改进就是把监控和报警结合起来,监控数据能够推送出报警,报警信息可以间接调用巡检接口,这样对于运维同学来说

    3.6K20发布于 2018-12-26
  • 数据库运维:mysql 数据库迁移方法-mysqldump

    数据库运维:mysql 数据库迁移方法数据库运维需要掌握的技能之一数据库的迁移,而MySQL数据库是我们常用的数据库之一,掌握mysql 数据库的数据迁移,也是必备的技能选项。 数据库的迁移,我们必须要思考如下几个点: 需要迁移数据库的数据量大小 需要迁移的数据库对象是什么, 考虑使用何种迁移方法! 这三个思考要点,适合于所用的数据库迁移,请大家留意。 思考mysql 数据库迁移,第一步就需要基于数据库或表,统计每一个数据库或表占用存储空间,根据所占用的空间大小以及实际迁移时遇到的应用场景,决定使用什么迁移方法。 所以本系列mysql 数据库迁移基于数据量大小,结合不同的应用场景,实现mysql 数据库快速迁移。 统计mysql 数据库需要迁移的数据量大小统计mysql数据库的数据库大小主要考虑的数据与索引占用的空间,需要使用的系统表为information_schema.tables计算数据库总空间大小csharp

    1K10编辑于 2025-06-20
  • 来自专栏全栈工程师修炼之路

    Ansible自动化运维学习笔记3

    ] #语法2: tasks: - debug: msg: "{{item}}" with_items: [ 1, 2, 3 ] #语法3: tasks: - debug None]) => { "msg": [ 3, null #列表元素数量不同 [1,2,3] [a, b] ] with_cartesian 关键字 ']) => {"msg": "E.g 3: index is : 0 , value is a"} ok: [local] => (item=[1, u'b']) => {"msg": "E.g 3: is c"} ok: [local] => (item=[3, [u'd', u'e']]) => {"msg": "E.g 3: index is : 3 , value is [u'd', u'e' => {"msg": "3"} #TASK [Demo 3] ok: [local] => (item=number is 6.00) => {"msg": "number is 6.00"} ok

    3.1K41发布于 2020-10-26
领券