备份完成 xtrabackup: Creating suspend file '/data/nfs/test_full_backup/2015-12-09_00-53-03/xtrabackup_log_copied' with pid '80799' xtrabackup: Transaction log of lsn (4998915938330) to (4998984695861) was copied. 151209 02:06:09 innobackupex: Executing UNLOCK
备份完成 xtrabackup: Creating suspend file '/data/nfs/test_full_backup/2015-12-09_00-53-03/xtrabackup_log_copied' with pid '80799' xtrabackup: Transaction log of lsn (4998915938330) to (4998984695861) was copied. 151209 02:06:09 innobackupex: Executing UNLOCK
写在开始 做项目不记录日志?线上的问题永远不会知道何时发生过?只会在出现事故之后身处茫然之中。 由于之前ELK日志分析是在自己的服务器上进行试水,断断续续运行了一年多时间。 今天抽空赶紧把ELK迁移一下,由于Logstash本身就配置于各个系统之中,所以这里只是对Redis、Elasticsearch和Kibana进行了配置,当然还有一些邮件发送的配置。 由于系统环境是JDK1.7,而Elasticsearch依赖JDK1.8,同时Kibana又必须依赖Elasticsearch,只能升级作罢,按照原来的迁移。 系统架构 ? 方便开发或者运维人员统计分析和查询日志信息。 对于错误日志统一处理并发送通知。 相关软件 Logstash-2.1.1 Redis-3.2.8 Elasticsearch-2.4.4 Kibana-4.3.1 Nginx-1.6.2 JDK-1.7 sendmail 迁移说明 配置
:::info 参考链接: https://eco.dameng.com/document/dm/zh-cn/start/mysql_dm.html#2.2.6%20%E7%A7%BB%E6%A4%8D /heyyall/zwitgw/tzt3t8zy0m3nsigo? singleDoc# 《MySQL 5.7.27 迁移 DM 8》 迁移前对象统计 统计指定库中表的数目 SELECT COUNT(*) TABLES, TABLE_SCHEMA FROM INFORMATION_SCHEMA.TABLES 达梦数据库的数据文件在空间不足时自动增长,每次自动增长的大小和表空间空间上限可以自己设置,那如果说超过扩展上限就会导致表空间不足(可能会出现插入数据失败的情况) ::: 创建用户并授予权限 相关文档: DM8安全管理 ::: 自定义对象迁移策略 建议在转换中,先进行表,再进行迁移数据,这样能避免一些报错,可以看下面的小建议 点击完成,开始迁移 点击下一步 -> 点击完成 迁移小建议 建议先迁移表再迁移数据
qishToW6PlZC.UewgjQaLp9YPPTFqvLbh47F6QUhHqPhrLT6fqdEfqYr6TIGyOl0XuAiUnlvJflixfO/:16545:0:99999:7::: [root@h202 ~]# ---- 服务端检查日志 通过这种方式已经可以实现操作审记了 ---- 查看服务端数据库中的日志 检查数据库确保数据也写了一份到mysql中 [root@h105 ~]# mysql -u root -p Enter password
MySQL线上日志库迁移优化案例 说说最近的一个案例吧,线上阿里云RDS上的一个游戏日志库最近出现了一点问题,随着游戏人数的增加,在线日志库的数据量越来越大,最新的日志库都已经到50G大小了,在线变更的时间非常长 之前之所以没有发现,是因为之前一直没有进行过日志库的变更,但是随着业务的深入,需要增加一些游戏属性,要对之前的日志库进行变更,这样一来,长时间的维护窗口让业务方和DBA都望而却步,日志优化迫在眉睫。 首先看日志库的情况: 1、日志库中数据量大于5000w的大表有5张; 2、这5张表开量前每个月的数据量大概在2000w左右,开量后会更多; 3、有2个表的索引大小已经超过数据文件大小 询问了业务方和运营对这些表的要求 3、日志库在迁移的过程中,能够容忍几分钟的表数据丢失,对数据的同步实时性要求不是很高 4、线上的日志库需要支持用户活跃度等统计 5、不希望执行分库分表,有很多查询近几个月的SQL操作,表之间存在一定的耦合性 回过头来分析,表的设计上还是存在一定的问题,日志表中记录的应该只是流水数据,尽量不能出现关联查询的情况,或者说可以提前评估数据量,然后使用季度表或者月表来处理这种的大量的日志情况,这样在清理和维护的时候可能就方便的多
vue-cli@2.x项目迁移日志 虽然 vue-cli@3 早就已经巨普及了,新项目应该已经很少有人还有使用 vue-cli@2.x 。 [image] 迁移配置 新建 babel.config.js 文件, 内容是 module.exports = { presets: [ '@vue/app' ] } 新建 vue.config.js
CS231n第八节:迁移学习 传送门:Transfer Learning and Fine-tuning Convolutional Neural Networks 本系列文章基于CS231n课程 什么是迁移学习 实际上,很少的人会训练整个卷积神经网络(使用随机的初始化),因为相对来说,很少有足够大的数据集可以用于训练。 三种常见的迁移学习类型如下所示: 1.2 作为固定的特征提取器 获取一个使用ImageNet预训练的卷积神经网络,移除最后一个全连接层(这一层输出1000个类别得分),然后将剩余的卷积神经网络视为一个用于新数据集的特征提取器 如何调优 如何决定你应该在一个新的数据集上执行什么类型的迁移学习?
1.png 传统的存储行业还没有做好足够的工作来解决K8S的问题:容器可移植性、K8S自动化和多云交付。 Portworx企业版首先为K8S中大数据量的工作负载提供无缝的高可用性,无论这些工作负载是在本地系统还是在公共云中运行,都将提供无缝的高可用性。 可迁移性和易操作性 通过控制与K8S的集成方式,PX-Motion为大量数据型工作负载带来了充分的可迁移性。 只需一个命令,PX-Motion就可以跨集群和跨云移动K8S应用程序、Kubernetes配置和Portworx数据卷。 维护:它可在几分钟内迁移整个集群的应用程序和数据,以方便执行硬件的维护服务。 PX-Motion支持跨集群和云迁移,而PX-Central提供了必要的可视性操作界面来管理和控制数据的迁移。
所以数据没变很正常呀,虽然我以为改了很多东西,但是对那些玩家来说,其实根本就没有变化。
Velero 是一个用Go语言开发的开源工具,用于 Kubernetes 集群的备份、恢复、灾难恢复和迁移。 argocd,blackbox,chaosblade --ttl 240 查看定时任务 velero get schedules 其他指令 velero卸载 velero uninstall 05、k8s 集群迁移 在目标集群安装velero,安装参数的s3url(“s3Url=http://<minio-api-url>”)指向源集群的minio,在完成部署后,方可进行备份浏览和还原,但需要注意以下两个细节 velero.io/change-storage-class: RestoreItemAction data: cfs-v4: <target-sc> 06、结语 velero使kubernetes的备份、还原和迁移更加灵活和简单
JMeter自定义日志与日志分析 JMeter日志概览 JMeter与Java程序一样,会记录事件日志,日志文件保存在bin目录中,名称为jmeter.log。 当然,我们也可以在面板中直接察看日志,点击右上角黄色标志物可以打开日志面板,再次点击收起。 ? 可见,通过日志可以帮助我们定位一些不容易直接察觉的问题。 另外,JMeter可以很方便地设置日志输出级别: ? 自定义日志 前面所看到的都是系统日志,也就是JMeter本身所打印的日志。如果我们自己想输出一些日志,该怎么办呢? 在该请求下添加Beanshell断言,运行后,日志中输出了相应内容: ? 日志分析 针对该日志写一个日志分析脚本logAnalysis.sh: #!
一、前言 本篇记录使用 pytorch 官方 resnet101 实现迁移学习,迁移学习是当前深度学习领域的一系列通用的解决方案,而不是一个具体的算法模型。 Pre-training + fine-tuning(预训练+调参) 的迁移学习方式是现在深度学习中一个非常流行的迁移学习方式,有以下3步 (1)把预训练模型当做特征提取器: TensorFlow或者 (3) Learning rate: 在迁移学习的微调过程中一般不建议使用过大的学习率,通常来说1e-5是比较合适的选择 二、代码 resnet101 官网定义 import torch from torchvision.models.resnet Bottleneck, [3, 4, 23, 3], **kwargs) if pretrained: checkpoint = torch.load('resnet101-5d3b4d8f.pth
迁移MySQL 8,建表如下 create table nayi_180328_connect_test( dept_id varchar(50), parent_id varchar(50), 07 字符串转换日期 Oracle中 select to_date('2020-01-01','yyyy-mm-dd') from dual 结果 2020-01-01 00:00:00 MySQL 8中 Oracle中 select nvl(parent_id,'boot') from nayi_180328_connect_test where dept_id='root' 结果 boot MySQL 8中 在MySQL 8中 WITH TEMP AS( SELECT 'CHINA' NATION ,'GUANGZHOU' CITY FROM DUAL UNION ALL SELECT 'CHINA 在MySQL 8中 创建同样的表,同样的分区,关于MySQL表分区的分类可以参考https://www.cnblogs.com/zhouguowei/p/9360136.html CREATE TABLE
上午看了一下后续形心曲线算法的相关逻辑,跑了一下之前的程序,结果跑了一天都没有算出结果,应该是bug。
最近在使用 Fabric8 Kubernetes Client 的过程中发现了新大陆一样,感觉利用这个库可以进行很多有趣的功能尝试,其中一个便是日志的本地化。 当我看到 Fabric8 Kubernetes Client 的日志相关 API 的时候我就立刻冒出来写一个日志小工具的想法。 API简介 首先我们简单介绍一下 API,以方便快速进入场景。 后续等我自觉学得差不多了,再来列个专题给大家分享 Fabric8 Kubernetes Client 的全部 API 实践经验。 以下是 Fabric8 Kubernetes Client 日志功能的结构化总结: 功能点与 API 对照表 首选日志流 对于日志需求来讲,流式调用自然是最好不过了,可以及时获取最新的日志信息,还不用后期干预 : import com.auto.fault.framework.funtester.frame.SourceCode import com.auto.fault.framework.utils.k8s.K8sLog
我们在执行kubeclt命令也好,还是查看控制节点的日志也好,默认的日志级别较低,部分日志并不会显示出来,比如我们前面介绍的其他组件的时候就调整过组件的日志。 首先要知道的是Kubernetes的组件默认的日志级别都是5,最高是10。所以如果要查看更详细的日志,需要调整日志级别,通过更详细的日志来分析问题。 - --v=8 kube-controller-manager 添加以后,根据静态Pod特性它会自动重启kube-controller-manager容器。 会产生的日志大小也不相同,需要合理考虑。 尤其是静态Pod的未做日志切割的情况下。测试环境验证功能可以随意调整,但是生产环境调整参数还是要慎重。
022 fi 022是没问题的 看下tomcat的catlina.sh if [ -z "$UMASK" ]; then UMASK="0027" fi umask $UMASK tomcat8改成
characterEncoding=utf8&useSSL=false&serverTimezone=Asia/Shanghai&allowPublicKeyRetrieval=true' \ -- '; grant select,update,insert,delete,index on halodb.* to 'halo'@'%'; flush privileges; 配置持久化存储卷 在 k8s 中运行 halo,会涉及到主题、静态资源如上传本地图片等需要持久化到数据卷中,为了后期的数据迁移,需要配置持久卷存储这些数据,此处我们使用本地存储。 devopsman.cn.key --namespace blogs 配置ingress,提供外部访问方式 创建 halo.ingress.yaml 文件 apiVersion: networking.k8s.io
虽然可以通过Etcd v3备份与恢复来实现K8S集群备份,但是这种备份很难恢复单个 Namespace。 今天推荐 Velero 工具,它提供以下功能: 灾备场景:提供备份恢复k8s集群的能力 迁移场景:提供拷贝集群资源到其他集群的能力(复制同步开发,测试,生产环境的集群配置,简化环境配置) Velero default namespace 添加标签 $ kubectl label -n default namespace/default velero.io/exclude-from-backup=true 迁移场景 ,请注意,Velero不支持跨云提供商迁移持久卷。 当前使用velero迁移集群功能最完善的场景是在同一个云厂商的同一个region,可以恢复集群的应用和数据卷。