首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏GitHub专栏

    专家写给工程师的 6 条人生忠告

    最近由于新公司需要招聘人员,所以接触了大量应聘者,基本都是85后的年轻人。在他们身上看到年轻的活力,也看到浮躁社会留下的烙印。 作为一个奔5的老IT人员,真心希望他们少走自己的弯路,能够成就自己的一番事业,所以想对他们说一说心里话。 人员与开发人员不同,由于基础架构部分的变动不是很大,因此人员是越老越值钱的。 说出来你们可能都不相信,对于网络人员我通常问的一个问题是:TCP/IP建立连接的过程是什么?而对于Windows人员,我的问题是:Windows域的核心是什么? 没有坚实的理论基础,无从指导实践,没有大量的实践积累,不能成为好的人员,更不用说在这个领域走得长远了。

    2.6K20发布于 2020-06-18
  • 来自专栏无量测试之道

    mysql数据库方案

    数据库不仅仅是dba的工作,每一个测试人员也应该懂得基本的数据操作,因为数据库是数据承载的地方并且是系统中非常重要的一部分,所以我们也需要熟练的对数据库进行基本维护。 4.2:导入某些数据表 mysql -uusername -ppassword testdb1 < tables.sql 或者 mysql>source tables.sql; 02、shell脚本实现数据库备份 总结:数据库对于测试人员来说仍然是非常重要的,比如:非常重要也不太容易构建的测试数据需要做备份操作时,数据库就显得很有技术含量,掌握数据的基本可以使测试工作做得更出色,同时也会让开发刮目相看

    12.1K20编辑于 2022-07-04
  • 来自专栏侯哥的Python分享

    MySQL6-Mycat垂直分库

    一、垂直分库场景   场景:在业务系统中,涉及一下表结构,但是由于用户与订单每天都会产生大量的数据,单台服务器的数据存储以及处理能力是有限的,可以对数据库表进行拆分,原有数据库如下   说明1:整个业务系统中的表 说明2:因为商品,订单和用户相关的数据,每天都会产生海量的数据,所以我们采取的分库策略是将不同业务类型数据,放在不同数据库中,即垂直分库。 二、准备工作   在192.168.3.90,192.168.3.91,192.168.3.92三台服务器上创建shopping数据库 三、配置schema.xml   说明1:在schema标签里面的 int, province_id varchar(6), city_id varchar(6), address varchar(20));     说明1:根据分库策略,创建的这三个测试表,都是属于用户和地址相关的数据 说明6:当全局表中的数据发生改变的时候,每个数据节点下的表,也都会发生数据改变。 

    48310编辑于 2023-12-18
  • 来自专栏NebulaGraph 技术文章

    数据库 | 携程分布式图数据库NebulaGraph治理实践

    经过调研,我们选择分布式图数据库 NebulaGraph 作为管理的对象,主要基于以下几个因素考虑: NebulaGraph 开源版本即拥有横向扩展能力,为大规模部署提供了基本条件; 使用自研的原生存储层 ,相比 JanusGraph 这类构建在第三方存储系统上的图数据库,性能和资源使用效率上具有优势; 支持两种语言,尤其是兼容主流的图技术语言 openCypher,有助于用户从其他使用 Cypher 语言的图数据库 考虑到使用图数据库的业务大多数据来自离线系统,通过离线作业将数据导入到图数据库中,数据一致的要求并不高,在这种条件下使用蓝绿部署能够在灾备和性能上得到很好的满足。 生产上的一个例子: 图片 上图为三机房情况,下图为蓝绿部署情况: 图片 中间件及管理 我们基于 K8s CRD 和 Operator 来进行 NebulaGraph 的部署,同时通过服务集成到现有的部署配置页面和管理页面 NebulaGraph 二次开发 当前我们对 NebulaGraph 的修改主要集中的几个相关的环节上,比如新增了命令来指定迁移 storaged 中的分片,以及将 leader 迁移到指定的实例上

    4.4K40编辑于 2022-12-12
  • 来自专栏NebulaGraph 技术文章

    如何多集群数据库?58 同城 NebulaGraph Database 实践

    资源申请和集群管理方式 为了更好的管理和维护,图数据库在运部门集中管理。用户按需在工单平台中提交申请即可,工单中填写详细的资源需求数据和性能需求指标,由同学统一审核交付集群资源。 为了高效管理和规模化的集群,需要提前规划和制定规范。 61000 meta 端口;51000 ws_http_port;41000 ws_h2_port 62000 storage 端口;52000 ws_http_port;42000 ws_h2_port 规范 端口 路径打包生成 rpm,作为标准安装包 图片 服务请求直接通过 DNS 和网关服务到 Graph,方便计算和存储服务直接交互,由于是通过 DNS 访问,不对外暴露 Meta 节点信息,可以更灵活的 ,较少服务绑定 Meta 节点 ip 带来的代价。

    4.9K20编辑于 2023-02-15
  • 来自专栏数据和云

    数据库监控是之本

    前一段时间用户的系统进行应用发布和系统,准备了很久,结果我们最为担心的数据库维护环节没有出现问题,却在应用发布的阶段出现麻烦,因为程序未设置正确的字符集,导致插入了乱码数据,结果又不得不重来。 移动的朋友总结了一句话,非常有道理:保障总是从最高风险点开始逐步推进,悖论是如果这样推进的执行力有保障,出的问题总是之前觉得低风险的地方。 这也给我们一个警示:数据库或系统,每一个环节都要细致入微,唯有如此才能保障长治久安。 、数据库,监控是根本,及时发现、分析和解决出现的问题,是保障系统稳定的关键,任何一个简单的错误都不容轻忽。 加强监控,收集和分析足够多的数据,是系统的最佳保障! 图:对客户系统错误的分析。

    4.2K60发布于 2018-03-05
  • 来自专栏运维之美

    之美」技术周刊 ( 第 6 期 )

    这里将分享一些最新相关技术和业界资讯的精彩内容,每周五发布。 欢迎投稿或推荐你自己的项目,投稿邮箱: editor@hi-linux.com 。 6、stegify 一款神奇的命令行工具,能将任意文件隐藏到图片里面。 而数据同步是异地多活的基础,所有具备数据存储能力的组件如:数据库、缓存、MQ等,数据都可以进行同步,形成一个庞大而复杂的数据同步拓扑。 本文将先从概念上介绍单元化、异地多活、就近访问等基本概念。 之后,将以数据库为例,讲解在数据同步的情况下,如何解决数据回环、数据冲突、数据重复等典型问题。 链接:http://t.cn/AiTxAqZv ? 并且需要额外维护一套中间件,成本过高。本文将介绍一个类似 MHA 的 master_ip_failover 脚本的方法来实现 VIP 切换。

    87650发布于 2019-08-13
  • 来自专栏后端技术探索

    MySQL 数据库优化(角度)

    2、数据库部署 该工程师出场了,项目初期访问量不会很大,所以单台部署足以应对在1500左右的QPS(每秒查询率)。 在这样数据库集群架构中,大大增加数据库高并发能力,解决单台性能瓶颈问题。如果从数据库一台从库能处理2000 QPS,那么5台就能处理1w QPS,数据库横向扩展性也很容易。 如果做双主,就会遇到数据库数据不一致现象,产生这个原因是在应用程序不同的用户会有可能操作两台数据库,同时的更新操作造成两台数据库数据库数据发生冲突或者不一致。 5、数据库维护 数据库维护是工程师或者DBA主要工作,包括性能监控、性能分析、性能调优、数据库备份和恢复等。 这些都是与相关的前沿技术,也是在存储方面主要学习对象,小伙伴们共同加油吧!哪位博友有更好的优化方案,欢迎交流哦。

    5.7K20发布于 2018-08-09
  • 来自专栏devops_k8s

    的感悟(做需要考虑事,组织结构,学习地图....)

    数据库 数据库负责数据存储方案设计、数据库表设计、索引设计和SQL优化,对数据库进行变更、监控、备份、高可用设计等工作。详细的工作职责如下所述。 (6数据库高可用和性能优化 对数据库单点风险和故障设计相应的切换方案,降低故障对数据库服务的影响;不断对数据库整体性能进行优化,包括新存储方案引进、硬件优化、文件系统优化、数据库优化、SQL优化等, (7)自动化系统建设 设计开发数据库自动化维系统,包括数据库部署、自动扩容、分库分表、权限管理、备份恢复、SQL审核和上线、故障切换等功能。 确实,【 】可能是分水岭最明显的职位之一:有的人毕业6年,月薪从3K涨到到50K;有的人工作4年,依然做着重启服务器、检查机房的机械工作,这都是知乎上能看到的真实事例。 要做DBA,就要专门研究数据库,搞清楚数据库的原理结构,每个详细点。 每一门往后都有大量的东西要学习的,专精才能钱多,并且有成长。 不过当前都在往开发方向靠拢,未来的都要会一些开发才行。

    8K1011发布于 2020-12-23
  • 来自专栏杨建荣的学习笔记

    数据库场景中的连接

    这是学习笔记的第 1827篇文章 在数据库中对场景建立连接是一种很不错的方式,通过建立连接使得我们可以把原本单一的问题通过流程化的方式衔接起来。 以下是近期的一些实践和思路。 业务和团队之间工作的一个纽带就是工单,当然目前还没有明确的工单结算方式,但是可以很明确的说,工单是我们输出给业务方的业务价值体现。 ? 在业务价值体现的过程中,我们可以把技术价值也打包进去。 当然业务巡检的情况和SQL审核类似,页面开发出来了,但是还没有完全推广用起来,我觉得这个地方的一大改进就是把监控和报警结合起来,监控数据能够推送出报警,报警信息可以间接调用巡检接口,这样对于同学来说

    3.1K20发布于 2018-12-26
  • 来自专栏杨建荣的学习笔记

    拍脑袋的数据库指标

    之前对数据库恢复做了相对全面的整合,为了校验数据恢复质量,我们开启了近半年的数据随机恢复测试,也就是说为了验证数据库的恢复质量和效率,我们会每天从备份机里面随机选取12个数据库实例进行数据恢复测试

    3.2K30发布于 2021-08-06
  • 来自专栏JAVA高级架构

    角度浅谈MySQL数据库优化

    2、数据库部署 该工程师出场了,项目初期访问量不会很大,所以单台部署足以应对在1500左右的QPS(每秒查询率)。 在这样数据库集群架构中,大大增加数据库高并发能力,解决单台性能瓶颈问题。如果从数据库一台从库能处理2000 QPS,那么5台就能处理1w QPS,数据库横向扩展性也很容易。 如果做双主,就会遇到数据库数据不一致现象,产生这个原因是在应用程序不同的用户会有可能操作两台数据库,同时的更新操作造成两台数据库数据库数据发生冲突或者不一致。 5、数据库维护 数据库维护是工程师或者DBA主要工作,包括性能监控、性能分析、性能调优、数据库备份和恢复等。 这些都是与相关的前沿技术,也是在存储方面主要学习对象,小伙伴们共同加油吧!哪位博友有更好的优化方案,欢迎交流哦。 ?

    5.3K100发布于 2018-04-19
  • 来自专栏AustinDatabases

    数据库到底是不是

    我们来看看某些领导对于数据库本身的看法 1 放数据的地方,只要数据库不出问题,系统就很少出问题,数据库怎么老出问题 2 数据库和大数据比,没有什么意思,大数据能衍生出很多的项目,数据库就是一个的 3 数据库无非就是ORACLE ,硬件配置提高点,问题就解决了,没有那么难 4 数据库就是的事情,找点的,开发的管管算了,没有必要投入太大 估计有些同学看完上面的一些上层对DB的本质工作的看法 从事这个行业有些年头了,实际上管理好的,开发管理好的,相对于数据库本身来说,数据库管理到位的单位相对上面两种管理好的单位,要少。 如果换成其他类型的CTO 那么可想而知,数据库就是这样的思路估计是根深蒂固的。 那么现代的数据库到底应该是什么样子的,在项目中承担了什么。 3 数据库与业务是紧密结合,与不同,属于静态,数据库与业务是息息相关的,业务量大,数据量就变大,数据的存储时间数据的处理模式,数据与程序之间的交互等等都会随着量变变成质变,而不是与中的静态产品

    2.9K30编辑于 2022-04-05
  • 维那些事儿(6):做好监控细节,让工作事半功倍

    但资深人都清楚,监控是的 “眼睛”“耳朵” 更是 “预警器”,小到一个进程的异常波动,大到整个集群的宕机风险,全靠监控及时通风报信。 的核心是保障业务稳定运行,而监控正是实现这一目标的 “最小抓手”。监控里的那些看似不起眼的小事,做好了能让效率提升一半,做差了则可能让人员熬半宿夜、忙无头绪。 归根结底,的本质是保障业务稳定,而每一个监控细节,都是在为业务稳定 “添砖加瓦”,“无小事儿”,放在监控上再合适不过。 做好监控 “小事”,提升效率的小技巧聊完容易忽略的细节,再给大家分享几个实用的小技巧,做好这些,就能轻松提升监控效率,让人员少熬夜、少踩坑,把更多精力放在更核心的工作上。 监控作为的 “眼睛”,是提前发现问题、快速定位问题、有效解决问题的关键抓手。认真对待监控里的每一件小事,把细节做扎实,就能让监控真正发挥作用,大幅提升效率,让工作更轻松、更高效。

    12311编辑于 2026-03-16
  • 来自专栏全栈程序员必看

    Oracle数据库方案及优化

    Oracle数据库方案及优化 优化 本文详细讲解了如何对Oracle数据库进行运,从各个方面来说明了如何去。 文章目录 Oracle数据库方案及优化 前言: Oracle数据库性能优化 一 为啥要哪些内容? ,这篇文章咱们讲讲关于方面的优化吧。 上一篇文章的地址: Oracle数据库性能优化 一 为啥要哪些内容? 数据库主要结合 目标系统的实际情况,提供切实可行的建设机制, 内容覆盖 ORACLE 数据库的日常维护、紧急故障处理,软件升级等,客户可依据 服务内容进行相应的定制。

    2.7K10编辑于 2022-11-01
  • 来自专栏RocketMQ原理与应用

    RocketMQ实战—6.生产优化及方案

    集群如何进行权限机制的控制2.如何对RocketMQ集群进行消息堆积的追踪3.如何处理RocketMQ的百万消息积压问题4.针对RocketMQ集群崩溃的金融级高可用方案5.为RocketMQ增加消息限流功能保证其高可用6. 此外,消费者从RocketMQ里获取到消息后,会依赖NoSQL数据库进行一些业务逻辑的处理。有一天晚上,消费者依赖的NoSQL数据库挂了,导致消费者没法继续从RocketMQ里消费数据进行处理。 此时需要把这条重要的消息进行持久化:可以是数据库、本地磁盘文件、NoSQL存储。 6.从Kafka迁移到RocketMQ的双写双读方案假设系统原来使用的MQ是Kafka,现在要从Kafka迁移到RocketMQ,那么这个迁移过程应该怎么做? 只不过从Kafka里获取到的消息还是执行核心的逻辑进行处理,落入数据库或者其他存储。而从RocketMQ里获取到的消息,虽然也用同样逻辑进行处理,但不会把处理结果落入数据库或其他存储。

    50410编辑于 2025-04-15
  • 来自专栏技术杂记

    一个人员的编程思维6

    那么我们平时习以为常的 int,long,float,double,char,boolean,指针,string,array,hash 是不是可以再追问一下,它们真是我们直观感受的那样么?它们到底是什么?

    33320发布于 2021-11-26
  • 来自专栏阿贤Linux

    Linux工程师面试题(6

    Linux工程师面试题(6)祝各位小伙伴们早日找到自己心仪的工作。持续学习才不会被淘汰。地球不爆炸,我们不放假。机会总是留给有有准备的人的。加油,打工人! 6 csrf 是什么?如何防范? 避免直接从互联网访问 mysql 数据库,确保特定主机才拥有访问权限;定期备份数据库;禁用或限制远程访问,在 my.cnf 文件里设置 bind-address 指定 ip;移除 test 数据库(默认匿名用户可以访问 阿里云、腾讯云、华为云、今日头条、百家号、GitHub、个人博客公众号:阿贤Linux个人博客:blog.waluna.tophttps://blog.waluna.top/---原文链接: Linux工程师面试题 (6).

    85130编辑于 2023-09-04
  • 数据库:mysql 数据库迁移方法-mysqldump

    数据库:mysql 数据库迁移方法数据库需要掌握的技能之一数据库的迁移,而MySQL数据库是我们常用的数据库之一,掌握mysql 数据库的数据迁移,也是必备的技能选项。 数据库的迁移,我们必须要思考如下几个点: 需要迁移数据库的数据量大小 需要迁移的数据库对象是什么, 考虑使用何种迁移方法! 这三个思考要点,适合于所用的数据库迁移,请大家留意。 思考mysql 数据库迁移,第一步就需要基于数据库或表,统计每一个数据库或表占用存储空间,根据所占用的空间大小以及实际迁移时遇到的应用场景,决定使用什么迁移方法。 所以本系列mysql 数据库迁移基于数据量大小,结合不同的应用场景,实现mysql 数据库快速迁移。 统计mysql 数据库需要迁移的数据量大小统计mysql数据库数据库大小主要考虑的数据与索引占用的空间,需要使用的系统表为information_schema.tables计算数据库总空间大小csharp

    67310编辑于 2025-06-20
  • 来自专栏kafka专栏

    【kafka】Leader重新选举脚本

    1 指定Topic指定分区用重新PREFERRED:优先副本策略 进行Leader重选举

    3.9K40编辑于 2021-12-31
领券