- 综合排序
- 最热优先
- 最新优先
- 来自专栏kafka专栏
2.【kafka运维】ConfigCommand运维脚本(2)
文章目录 ConfigCommand 1 查询配置 Topic配置查询 其他配置/clients/users/brokers/broker-loggers 的查询 查询kafka版本信息 2 增删改 默认配置 附件 More 日常运维 、问题排查 怎么能够少了滴滴开源的 滴滴开源LogiKM一站式Kafka监控与管控平台 ConfigCommand Config相关操作; 动态配置可以覆盖默认的静态配置 sh bin/kafka-configs.sh --describe --bootstrap-server xxxx:9092 --version 所有可配置的动态配置 请看最后面的 附件 部分 2 增删改 配置 --alter –alter 删除配置: --delete-config k1=v1,k2=v2 添加/修改配置: --add-config k1,k2 选择类型: --entity-type value 示例 consumer_byte_rate producer_byte_rate request_percentage More Kafka专栏持续更新中…(源码、原理、实战、运维
1.7K30发布于 2021-08-03 - 来自专栏kafka专栏
2.【kafka运维】ConfigCommand运维脚本
配置查询 其他配置/clients/users/brokers/broker-loggers 的查询 broker-loggers 查询指定Broker的Logger相关配置 查询kafka版本信息 2 默认配置 附件 More 日常运维 、问题排查 怎么能够少了滴滴开源的 滴滴开源LogiKM一站式Kafka监控与管控平台 ConfigCommand Config相关操作; 动态配置可以覆盖默认的静态配置 sh bin/kafka-configs.sh --describe --bootstrap-server xxxx:9092 --version 所有可配置的动态配置 请看最后面的 附件 部分 2 增删改 配置 --alter –alter 删除配置: --delete-config k1=v1,k2=v2 添加/修改配置: --add-config k1,k2 选择类型: --entity-type
3.2K10编辑于 2022-04-13 - 来自专栏开发运维工程师
运维分享｜安全运维之iptables防火墙（2）
2 安装与使用2.1 安装iptables环境在Linux操作系统中，可以使用yum管理来安装，也可以从官网下载后上传到服务器手动安装。 3.1 查看iptables已设置的规则查看已设置规则列表：iptables -L[root@otn2 ~]# iptables -LChain INPUT (policy ACCEPT)target policy ACCEPT)target prot opt source destination查看已设置规则详细列表：iptables -L -vn[root@otn2 190.168.1.200$ iptables -I INPUT -p icmp --icmp-type 8 -s 192.168.1.10 -j ACCEPT$ iptables -I INPUT 2
1.2K30编辑于 2023-11-20 - 来自专栏大数据在线
拯救运维人！智能运维如何实现1+1>2
数据量庞大且类型丰富，复杂的多云环境，繁多的监控运维工具，超级多的无效运维事件，让该集团运维工作挑战巨大，运维人员日常工作中如坐针毡，“惶惶不可终日”。 类似情况在其他企业比比皆是。 同为打工人，运维人不该被这样对待。如何改变这种局面？近年来，智能运维异军突起，成为解救企业和运维人员的及时雨。 整个集中监控体系的构建，从最早的网络管理，到后续的数据库/数据库管理、存储/服务器管理，再到之后的虚拟化/云管理，才逐渐形成集中监控体系，通过不同的监控工具来实现这些平台的实时告警查看和平台优化建议。 Gartner就预测设备和应用程序所产生的数据量正以每年2-3倍的速度增长，且数据类型多样。 2 如何让智能运维1+1>2 爱数与听云在智能运维领域开启了新模式。今年1月份，双方携手正式推出了智能运维整合方案，旨在帮助客户全面管理、深度洞察海量、多源、异构的机器数据。
93820发布于 2021-01-26 - 来自专栏无量测试之道
mysql数据库运维方案
数据库不仅仅是dba的工作，每一个测试人员也应该懂得基本的数据运维操作，因为数据库是数据承载的地方并且是系统中非常重要的一部分，所以我们也需要熟练的对数据库进行基本维护。 > alldb.sql 1.2：导入所有库 mysql -hlocalhost -utester -p123456 < alldb.sql 或者 mysql>source alldb.sql; 第2组命令 /home/q/mysql/multi/3306/socket/mysql.sock -hlocalhost -utester -p123456 --databases testdb1 testdb2 q/mysql/multi/3306/socket/mysql.sock -hlocalhost -utester -p123456 --databases testdb1 table1 table2 总结：数据库的运维对于测试人员来说仍然是非常重要的，比如：非常重要也不太容易构建的测试数据需要做备份操作时，数据库的运维就显得很有技术含量，掌握数据的基本运维可以使测试工作做得更出色，同时也会让开发刮目相看
12.1K20编辑于 2022-07-04 - 来自专栏Snova最佳实践系列
Snova运维篇（十）：gp数据库中数据操作-2
本节继续前篇数据操作的内容进一步学习相关运维工作。 图片.png 目录： 定义数据库对象 管理数据 ---- 基本概念： 视图 在 SQL 中，视图是基于 SQL 语句的结果集的可视化的表。 视图中的字段就是来自一个或多个数据库中的真实的表中的字段。我们可以向视图添加 SQL 函数、WHERE 以及 JOIN 语句，我们也可以提交数据，就像这些来自于某个单一的表。 ---- 1.定义数据库对象： （一）对大型表分区 Greenplum数据库支持： 范围分区：基于一个数字型范围划分数据，例如按照日期或价格划分。 创建分区表 定义日期范围分区表 komablog=# CREATE TABLE sales (id int, date date, amt decimal(10,2))DISTRIBUTED BY (id RENAME TO old_table; CREATE INDEX myixcolumn_ix ON old_table; VACUUM ANALYZE old_table; 索引类型 Greenplum数据库数据库支持
1.1K30发布于 2019-12-31 - 来自专栏NebulaGraph 技术文章
数据库运维 ｜ 携程分布式图数据库NebulaGraph运维治理实践
，相比 JanusGraph 这类构建在第三方存储系统上的图数据库，性能和资源使用效率上具有优势； 支持两种语言，尤其是兼容主流的图技术语言 openCypher，有助于用户从其他使用 Cypher 语言的图数据库 考虑到使用图数据库的业务大多数据来自离线系统，通过离线作业将数据导入到图数据库中，数据一致的要求并不高，在这种条件下使用蓝绿部署能够在灾备和性能上得到很好的满足。 生产上的一个例子： 图片 上图为三机房情况，下图为蓝绿部署情况： 图片 中间件及运维管理 我们基于 K8s CRD 和 Operator 来进行 NebulaGraph 的部署，同时通过服务集成到现有的部署配置页面和运维管理页面 2^8 通过配置 cache_bucket_exp = 10，将分片数改为 2^10 观察下来效果不明显，无法解决热点竞争导致的雪崩问题。 NebulaGraph 二次开发 当前我们对 NebulaGraph 的修改主要集中的几个运维相关的环节上，比如新增了命令来指定迁移 storaged 中的分片，以及将 leader 迁移到指定的实例上
4.4K40编辑于 2022-12-12 - 来自专栏NebulaGraph 技术文章
如何运维多集群数据库？58 同城 NebulaGraph Database 运维实践
资源申请和集群管理方式 为了更好的管理和维护，图数据库在运维部门集中运维管理。用户按需在工单平台中提交申请即可，工单中填写详细的资源需求数据和性能需求指标，由运维同学统一审核交付集群资源。 为了高效管理和运维规模化的集群，需要提前规划和制定规范。 meta 端口；51000 ws_http_port；41000 ws_h2_port 62000 storage 端口；52000 ws_http_port；42000 ws_h2_port 运维规范 端口 路径打包生成 rpm，作为标准安装包 图片 服务请求直接通过 DNS 和网关服务到 Graph，方便计算和存储服务直接交互，由于是通过 DNS 访问，不对外暴露 Meta 节点信息，可以更灵活的运维 ，较少服务绑定 Meta 节点 ip 带来的运维代价。
4.9K20编辑于 2023-02-15 - 来自专栏全栈工程师修炼之路
Python自动化运维2
config = yaml.load(conf) except ruamel.yaml.YAMLError as e: print("解析错误：",e) #(2) print(i, config['obj'][i]) #数组Array print(config['array'][0]['key1'], config['array'][1]['key2' ], config['array'][2]['key3']) #(3)修改与添加 config['NAME'] = "WeiyiGeek" config['add'] = " ('love', ['Computer', 'Cook', 'car'])]) array ： [ordereddict([('key1', 'I')]), ordereddict([('key2' return holderlist def main(): global destination,\ holderlist if len (sys.argv) > 2:
55520编辑于 2022-09-28 - 来自专栏全栈工程师修炼之路
Python自动化运维2
config = yaml.load(conf) except ruamel.yaml.YAMLError as e: print("解析错误：",e) #(2) print(i, config['obj'][i]) #数组Array print(config['array'][0]['key1'], config['array'][1]['key2' ], config['array'][2]['key3']) #(3)修改与添加 config['NAME'] = "WeiyiGeek" config['add'] = " ('love', ['Computer', 'Cook', 'car'])]) array ： [ordereddict([('key1', 'I')]), ordereddict([('key2' return holderlist def main(): global destination,\ holderlist if len (sys.argv) > 2:
53310发布于 2020-10-23 - 来自专栏数据和云
数据库监控是运维之本
前一段时间用户的系统进行应用发布和系统运维，准备了很久，结果我们最为担心的数据库维护环节没有出现问题，却在应用发布的阶段出现麻烦，因为程序未设置正确的字符集，导致插入了乱码数据，结果又不得不重来。 移动的朋友总结了一句话，非常有道理：运维保障总是从最高风险点开始逐步推进，悖论是如果这样推进的执行力有保障，出的问题总是之前觉得低风险的地方。 这也给我们一个警示：数据库运维或系统运维，每一个环节都要细致入微，唯有如此才能保障长治久安。 、数据库运维，监控是根本，及时发现、分析和解决出现的问题，是运维保障系统稳定的关键，任何一个简单的错误都不容轻忽。 加强监控，收集和分析足够多的数据，是系统的最佳保障！ 图：对客户系统错误的分析。
4.2K60发布于 2018-03-05 - 来自专栏后端技术探索
MySQL 数据库优化(运维角度)
2、数据库部署 该运维工程师出场了，项目初期访问量不会很大，所以单台部署足以应对在1500左右的QPS（每秒查询率）。 公共参数默认值： max_connections = 151 #同时处理最大连接数，推荐设置最大连接数是上限连接数的80%左右 sort_buffer_size = 2M #查询排序时缓冲区大小，只对order 2代表只把日志写入到系统缓存区，再每秒同步到磁盘，效率很高，如果服务器故障，才会丢失事务数据。对数据安全性要求不是很高的推荐设置2，性能高，修改后效果明显。 5、数据库维护 数据库维护是运维工程师或者DBA主要工作，包括性能监控、性能分析、性能调优、数据库备份和恢复等。 这些都是与运维相关的前沿技术，也是在存储方面主要学习对象，小伙伴们共同加油吧！哪位博友有更好的优化方案，欢迎交流哦。
5.7K20发布于 2018-08-09 - 来自专栏侯哥的Python分享
MySQL运维2-主从复制
一、主从复制概念 主从复制是指将主数据库的DDL和DML操作通过二进制日志传到从服务器中，然后在从服务器上对这些日志重新执行也叫重做，从而使得从数据库和主库的数据保持同步。 ,和下面的一条配置默认如果不配置的话，即复制所有数据库 #binlog-ignore-db=mysql #指定同步的数据库 #binlog-do-db=db01 2、配置好了之后，要重启MySQL 1 row in set (0.00 sec) 4.3 从服务器配置 1、从服务器上在MySQL的配置文件中增加下面的配置 #MySQL服务ID,保证整个集群中唯一 server-id=2 #是否只读 1代表只读 0代表读写 read-only=1 2、配置好了之后，要重启MySQL服务。 1：这里主要看Slave_IO_Running和Slave_SQL_Running这两个是否为YES,全部为YES说明配置成功 五、主从复制测试 说明1：主从原始的都是只有四张系统表 说明2：
38540编辑于 2023-09-28 - 来自专栏devops_k8s
做运维的感悟(做运维需要考虑事,运维组织结构,运维学习地图....)
（1）设计评审 在产品研发阶段，参与产品设计评审，从运维的角度提出评审意见，使服务满足运维准入的高可用要求。 （2）服务管理 负责制定线上业务升级变更及回滚方案，并进行变更实施。 数据库运维 数据库运维负责数据存储方案设计、数据库表设计、索引设计和SQL优化，对数据库进行变更、监控、备份、高可用设计等工作。详细的工作职责如下所述。 招聘岗位和要求 /* 职位一 【岗位职责】： 1、制定和优化运维解决方案，包括但不限于柔性容灾、智能调度、弹性扩容与防攻击； 2、推动及开发高效的自动化运维、管理工具，提升运维工作效率； 【 职位要求 】 计算机相关专业，本科及以上学历，至少2年以上的大规模系统运维经验，2年以上运维开发经验，有deveops开发经验或有中大型互联网公司运维自动化经验者优先； 具备openstack 要做DBA，就要专门研究数据库，搞清楚数据库的原理结构，每个详细点。 每一门往后都有大量的东西要学习的，专精才能钱多，并且有成长。 不过当前都在往运维开发方向靠拢，未来的运维都要会一些开发才行。
8K1011发布于 2020-12-23 - 来自专栏DBA随笔
Redis开发与运维学习笔记---(2)
Redis的单线程架构 Redis使用了单线程架构和I/O多路复用模型来实现高性能的内存数据库服务，我们来看Redis的单线程命令处理机制。 redis的查询模型分为4步： 1、发送命令 2、排队 3、执行命令 4、返回结果 redis的慢查询只统计步骤3的时间。 慢查询的2个配置参数 对于慢查询，redis配置了2个关键参数，其中第一个是慢查询的阈值：slowlog-log-slower-than和slowlog-max-len配置来解决这两个问题。 1) 1) (integer) 4 2) (integer) 1585235910 3) (integer) 10 4) 1) "slowlog" 2) "get" 3) "1" 2) 1) (integer) 3 2) (integer) 1585235905 3) (integer) 4 4) 1) "get" 2) "hello"
50620发布于 2020-03-31 - 来自专栏zaking's
《前端运维》三、Docker--2其他
二、数据盘 当你删除容器的时候，容器层里创建的文件也会被删除，如果有些数据你想要永久保存，比如Web服务器的日志，数据库中的数据等，那么就可以为容器创建一个数据盘。 下面，我们先在后台运行两个容器： docker run -d --name=nginx1 nginx docker run -d --name=nginx2 nginx 然后进入nginx2的伪终端 ： docker exec -it nginx2 bash 在nginx2的伪终端中，更新下apt，并安装一些依赖： apt update apt install -y inetutils-ping ip了： ping [nginx2‘s ip] 然后呢，我们可以通过--net选项，来指定容器的网络连接模式： docker run -d --name=nginx_none --net=none --net myweb nginx docker exec -it mynginx2 bash 哎？
98020编辑于 2022-05-10 - 来自专栏杨建荣的学习笔记
数据库运维场景中的连接
这是学习笔记的第 1827篇文章 在数据库运维中对运维场景建立连接是一种很不错的方式，通过建立连接使得我们可以把原本单一的问题通过流程化的方式衔接起来。 以下是近期的一些实践和思路。 业务和运维团队之间工作的一个纽带就是工单，当然目前还没有明确的工单结算方式，但是可以很明确的说，工单是我们输出给业务方的业务价值体现。 ? 在业务价值体现的过程中，我们可以把技术价值也打包进去。 当然业务巡检的情况和SQL审核类似，页面开发出来了，但是还没有完全推广用起来，我觉得这个地方的一大改进就是把监控和报警结合起来，监控数据能够推送出报警，报警信息可以间接调用巡检接口，这样对于运维同学来说
3.1K20发布于 2018-12-26 - 来自专栏杨建荣的学习笔记
拍脑袋的数据库运维指标
之前对数据库恢复做了相对全面的整合，为了校验数据恢复质量，我们开启了近半年的数据随机恢复测试，也就是说为了验证数据库的恢复质量和效率，我们会每天从备份机里面随机选取12个数据库实例进行数据恢复测试
3.2K30发布于 2021-08-06 - 来自专栏JAVA高级架构
运维角度浅谈MySQL数据库优化
2、数据库部署 该运维工程师出场了，项目初期访问量不会很大，所以单台部署足以应对在1500左右的QPS（每秒查询率）。 公共参数默认值： max_connections = 151 #同时处理最大连接数，推荐设置最大连接数是上限连接数的80%左右 sort_buffer_size = 2M #查询排序时缓冲区大小， 2代表只把日志写入到系统缓存区，再每秒同步到磁盘，效率很高，如果服务器故障，才会丢失事务数据。对数据安全性要求不是很高的推荐设置2，性能高，修改后效果明显。 5、数据库维护 数据库维护是运维工程师或者DBA主要工作，包括性能监控、性能分析、性能调优、数据库备份和恢复等。 这些都是与运维相关的前沿技术，也是在存储方面主要学习对象，小伙伴们共同加油吧！哪位博友有更好的优化方案，欢迎交流哦。 ?
5.3K100发布于 2018-04-19 - 来自专栏AustinDatabases
数据库到底是不是运维
我们来看看某些领导对于数据库本身的看法 1 放数据的地方，只要数据库不出问题，系统就很少出问题，数据库怎么老出问题 2 数据库和大数据比，没有什么意思，大数据能衍生出很多的项目，数据库就是一个运维的 3 数据库无非就是ORACLE ，硬件配置提高点，问题就解决了，没有那么难 4 数据库就是运维的事情，找点运维的，开发的管管算了，没有必要投入太大 估计有些同学看完上面的一些上层对DB的本质工作的看法 从事这个行业有些年头了，实际上运维管理好的，开发管理好的，相对于数据库本身来说，数据库管理到位的单位相对上面两种管理好的单位，要少。 如果换成其他类型的CTO 那么可想而知，数据库就是运维这样的思路估计是根深蒂固的。 那么现代的数据库到底应该是什么样子的，在项目中承担了什么。 3 数据库与业务是紧密结合，与运维不同，属于静态，数据库与业务是息息相关的，业务量大，数据量就变大，数据的存储时间数据的处理模式，数据与程序之间的交互等等都会随着量变变成质变，而不是与运维中的静态产品
2.9K30编辑于 2022-04-05
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号