首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏技术杂记

    mysql 迁移8

    备份完成 xtrabackup: Creating suspend file '/data/nfs/test_full_backup/2015-12-09_00-53-03/xtrabackup_log_copied' with pid '80799' xtrabackup: Transaction log of lsn (4998915938330) to (4998984695861) was copied. 151209 02:06:09 innobackupex: Executing UNLOCK

    1.7K20编辑于 2022-03-22
  • 来自专栏技术杂记

    mysql 迁移8

    备份完成 xtrabackup: Creating suspend file '/data/nfs/test_full_backup/2015-12-09_00-53-03/xtrabackup_log_copied' with pid '80799' xtrabackup: Transaction log of lsn (4998915938330) to (4998984695861) was copied. 151209 02:06:09 innobackupex: Executing UNLOCK

    41410编辑于 2022-03-21
  • 来自专栏IT笔记

    ELK日志分析系统迁移记录

    写在开始 做项目不记录日志?线上的问题永远不会知道何时发生过?只会在出现事故之后身处茫然之中。 由于之前ELK日志分析是在自己的服务器上进行试水,断断续续运行了一年多时间。 今天抽空赶紧把ELK迁移一下,由于Logstash本身就配置于各个系统之中,所以这里只是对Redis、Elasticsearch和Kibana进行了配置,当然还有一些邮件发送的配置。 由于系统环境是JDK1.7,而Elasticsearch依赖JDK1.8,同时Kibana又必须依赖Elasticsearch,只能升级作罢,按照原来的迁移。 系统架构 ? 方便开发或者运维人员统计分析和查询日志信息。 对于错误日志统一处理并发送通知。 相关软件 Logstash-2.1.1 Redis-3.2.8 Elasticsearch-2.4.4 Kibana-4.3.1 Nginx-1.6.2 JDK-1.7 sendmail 迁移说明 配置

    1.5K40发布于 2018-04-16
  • 来自专栏云同步

    MySQL 5.7.27 迁移 DM 8

    :::info 参考链接: https://eco.dameng.com/document/dm/zh-cn/start/mysql_dm.html#2.2.6%20%E7%A7%BB%E6%A4%8D /heyyall/zwitgw/tzt3t8zy0m3nsigo? singleDoc# 《MySQL 5.7.27 迁移 DM 8迁移前对象统计 统计指定库中表的数目 SELECT COUNT(*) TABLES, TABLE_SCHEMA FROM INFORMATION_SCHEMA.TABLES 达梦数据库的数据文件在空间不足时自动增长,每次自动增长的大小和表空间空间上限可以自己设置,那如果说超过扩展上限就会导致表空间不足(可能会出现插入数据失败的情况) ::: 创建用户并授予权限 相关文档: DM8安全管理 ::: 自定义对象迁移策略 建议在转换中,先进行表,再进行迁移数据,这样能避免一些报错,可以看下面的小建议 点击完成,开始迁移 点击下一步 -> 点击完成 迁移小建议 建议先迁移表再迁移数据

    41010编辑于 2025-08-01
  • 来自专栏技术杂记

    日志服务器(8

    qishToW6PlZC.UewgjQaLp9YPPTFqvLbh47F6QUhHqPhrLT6fqdEfqYr6TIGyOl0XuAiUnlvJflixfO/:16545:0:99999:7::: [root@h202 ~]# ---- 服务端检查日志 通过这种方式已经可以实现操作审记了 ---- 查看服务端数据库中的日志 检查数据库确保数据也写了一份到mysql中 [root@h105 ~]# mysql -u root -p Enter password

    1.1K20发布于 2021-10-20
  • 来自专栏DBA随笔

    MySQL线上日志迁移优化案例

    MySQL线上日志迁移优化案例 说说最近的一个案例吧,线上阿里云RDS上的一个游戏日志库最近出现了一点问题,随着游戏人数的增加,在线日志库的数据量越来越大,最新的日志库都已经到50G大小了,在线变更的时间非常长 之前之所以没有发现,是因为之前一直没有进行过日志库的变更,但是随着业务的深入,需要增加一些游戏属性,要对之前的日志库进行变更,这样一来,长时间的维护窗口让业务方和DBA都望而却步,日志优化迫在眉睫。 首先看日志库的情况: 1、日志库中数据量大于5000w的大表有5张; 2、这5张表开量前每个月的数据量大概在2000w左右,开量后会更多; 3、有2个表的索引大小已经超过数据文件大小 询问了业务方和运营对这些表的要求 3、日志库在迁移的过程中,能够容忍几分钟的表数据丢失,对数据的同步实时性要求不是很高 4、线上的日志库需要支持用户活跃度等统计 5、不希望执行分库分表,有很多查询近几个月的SQL操作,表之间存在一定的耦合性 回过头来分析,表的设计上还是存在一定的问题,日志表中记录的应该只是流水数据,尽量不能出现关联查询的情况,或者说可以提前评估数据量,然后使用季度表或者月表来处理这种的大量的日志情况,这样在清理和维护的时候可能就方便的多

    80130发布于 2019-11-06
  • 来自专栏log

    vue-cli@2.x项目迁移日志

    vue-cli@2.x项目迁移日志 虽然 vue-cli@3 早就已经巨普及了,新项目应该已经很少有人还有使用 vue-cli@2.x 。 [image] 迁移配置 新建 babel.config.js 文件, 内容是 module.exports = { presets: [ '@vue/app' ] } 新建 vue.config.js

    67900发布于 2019-06-07
  • 来自专栏机器学习炼丹之旅

    CS231n:8 迁移学习

    CS231n第八节:迁移学习 传送门:Transfer Learning and Fine-tuning Convolutional Neural Networks 本系列文章基于CS231n课程 什么是迁移学习 实际上,很少的人会训练整个卷积神经网络(使用随机的初始化),因为相对来说,很少有足够大的数据集可以用于训练。 三种常见的迁移学习类型如下所示: 1.2 作为固定的特征提取器 获取一个使用ImageNet预训练的卷积神经网络,移除最后一个全连接层(这一层输出1000个类别得分),然后将剩余的卷积神经网络视为一个用于新数据集的特征提取器 如何调优 如何决定你应该在一个新的数据集上执行什么类型的迁移学习?

    35220编辑于 2022-08-08
  • 来自专栏Portworx云原生容器存储

    K8S数据迁移方法

    1.png 传统的存储行业还没有做好足够的工作来解决K8S的问题:容器可移植性、K8S自动化和多云交付。 Portworx企业版首先为K8S中大数据量的工作负载提供无缝的高可用性,无论这些工作负载是在本地系统还是在公共云中运行,都将提供无缝的高可用性。 可迁移性和易操作性 通过控制与K8S的集成方式,PX-Motion为大量数据型工作负载带来了充分的可迁移性。 只需一个命令,PX-Motion就可以跨集群和跨云移动K8S应用程序、Kubernetes配置和Portworx数据卷。 维护:它可在几分钟内迁移整个集群的应用程序和数据,以方便执行硬件的维护服务。 PX-Motion支持跨集群和云迁移,而PX-Central提供了必要的可视性操作界面来管理和控制数据的迁移

    2.3K30发布于 2019-11-29
  • 来自专栏Sign

    精灵之息 开发日志8

    所以数据没变很正常呀,虽然我以为改了很多东西,但是对那些玩家来说,其实根本就没有变化。

    43230发布于 2021-08-20
  • 来自专栏SRE运维手记

    k8s集群备份与迁移

    Velero 是一个用Go语言开发的开源工具,用于 Kubernetes 集群的备份、恢复、灾难恢复和迁移。 argocd,blackbox,chaosblade --ttl 240 查看定时任务 velero get schedules 其他指令 velero卸载 velero uninstall 05、k8s 集群迁移 在目标集群安装velero,安装参数的s3url(“s3Url=http://<minio-api-url>”)指向源集群的minio,在完成部署后,方可进行备份浏览和还原,但需要注意以下两个细节 velero.io/change-storage-class: RestoreItemAction data: cfs-v4: <target-sc> 06、结语 velero使kubernetes的备份、还原和迁移更加灵活和简单

    93110编辑于 2024-09-13
  • 来自专栏测试基础

    【JMeter系列-8】JMeter自定义日志日志分析

    JMeter自定义日志日志分析 JMeter日志概览 JMeter与Java程序一样,会记录事件日志日志文件保存在bin目录中,名称为jmeter.log。 当然,我们也可以在面板中直接察看日志,点击右上角黄色标志物可以打开日志面板,再次点击收起。 ? 可见,通过日志可以帮助我们定位一些不容易直接察觉的问题。 另外,JMeter可以很方便地设置日志输出级别: ? 自定义日志 前面所看到的都是系统日志,也就是JMeter本身所打印的日志。如果我们自己想输出一些日志,该怎么办呢? 在该请求下添加Beanshell断言,运行后,日志中输出了相应内容: ? 日志分析 针对该日志写一个日志分析脚本logAnalysis.sh: #!

    3.6K32发布于 2020-09-16
  • 来自专栏全栈程序员必看

    pytorch(8)– resnet101 迁移学习记录

    一、前言 本篇记录使用 pytorch 官方 resnet101 实现迁移学习,迁移学习是当前深度学习领域的一系列通用的解决方案,而不是一个具体的算法模型。 Pre-training + fine-tuning(预训练+调参) 的迁移学习方式是现在深度学习中一个非常流行的迁移学习方式,有以下3步 (1)把预训练模型当做特征提取器: TensorFlow或者 (3) Learning rate: 在迁移学习的微调过程中一般不建议使用过大的学习率,通常来说1e-5是比较合适的选择 二、代码 resnet101 官网定义 import torch from torchvision.models.resnet Bottleneck, [3, 4, 23, 3], **kwargs) if pretrained: checkpoint = torch.load('resnet101-5d3b4d8f.pth

    1.2K30编辑于 2022-11-08
  • 来自专栏算法之名

    Oracle迁移MySQL 8特殊SQL处理 顶

    迁移MySQL 8,建表如下 create table nayi_180328_connect_test( dept_id varchar(50), parent_id varchar(50), 07 字符串转换日期 Oracle中 select to_date('2020-01-01','yyyy-mm-dd') from dual 结果 2020-01-01 00:00:00 MySQL 8中 Oracle中 select nvl(parent_id,'boot') from nayi_180328_connect_test where dept_id='root' 结果 boot MySQL 8中 在MySQL 8中 WITH TEMP AS( SELECT 'CHINA' NATION ,'GUANGZHOU' CITY FROM DUAL UNION ALL SELECT 'CHINA 在MySQL 8中 创建同样的表,同样的分区,关于MySQL表分区的分类可以参考https://www.cnblogs.com/zhouguowei/p/9360136.html CREATE TABLE

    1.4K20发布于 2020-05-18
  • 技术日志挑战——第8天:0731

    上午看了一下后续形心曲线算法的相关逻辑,跑了一下之前的程序,结果跑了一天都没有算出结果,应该是bug。

    45700编辑于 2024-07-31
  • 来自专栏FunTester

    Fabric8 Kubernetes 日志工具实践

    最近在使用 Fabric8 Kubernetes Client 的过程中发现了新大陆一样,感觉利用这个库可以进行很多有趣的功能尝试,其中一个便是日志的本地化。 当我看到 Fabric8 Kubernetes Client 的日志相关 API 的时候我就立刻冒出来写一个日志小工具的想法。 API简介 首先我们简单介绍一下 API,以方便快速进入场景。 后续等我自觉学得差不多了,再来列个专题给大家分享 Fabric8 Kubernetes Client 的全部 API 实践经验。 以下是 Fabric8 Kubernetes Client 日志功能的结构化总结: 功能点与 API 对照表 首选日志流 对于日志需求来讲,流式调用自然是最好不过了,可以及时获取最新的日志信息,还不用后期干预 : import com.auto.fault.framework.funtester.frame.SourceCode import com.auto.fault.framework.utils.k8s.K8sLog

    44410编辑于 2025-04-22
  • 来自专栏运维小路

    Kubenetes(k8s)-集群日志

    我们在执行kubeclt命令也好,还是查看控制节点的日志也好,默认的日志级别较低,部分日志并不会显示出来,比如我们前面介绍的其他组件的时候就调整过组件的日志。 首先要知道的是Kubernetes的组件默认的日志级别都是5,最高是10。所以如果要查看更详细的日志,需要调整日志级别,通过更详细的日志来分析问题。 - --v=8 kube-controller-manager 添加以后,根据静态Pod特性它会自动重启kube-controller-manager容器。 会产生的日志大小也不相同,需要合理考虑。 尤其是静态Pod的未做日志切割的情况下。测试环境验证功能可以随意调整,但是生产环境调整参数还是要慎重。

    23010编辑于 2025-02-28
  • 来自专栏SY小站的专栏

    迁移到k8s换成tomcat8 nginx报403

    022 fi 022是没问题的 看下tomcat的catlina.sh if [ -z "$UMASK" ]; then UMASK="0027" fi umask $UMASK tomcat8改成

    83620发布于 2020-06-29
  • 来自专栏云原生生态圈

    博客(halo)迁移到 K8s 上了

    characterEncoding=utf8&useSSL=false&serverTimezone=Asia/Shanghai&allowPublicKeyRetrieval=true' \ -- '; grant select,update,insert,delete,index on halodb.* to 'halo'@'%'; flush privileges; 配置持久化存储卷 在 k8s 中运行 halo,会涉及到主题、静态资源如上传本地图片等需要持久化到数据卷中,为了后期的数据迁移,需要配置持久卷存储这些数据,此处我们使用本地存储。 devopsman.cn.key --namespace blogs 配置ingress,提供外部访问方式 创建 halo.ingress.yaml 文件 apiVersion: networking.k8s.io

    48070编辑于 2022-11-02
  • 来自专栏YP小站

    K8S备份、恢复、迁移神器 Velero

    虽然可以通过Etcd v3备份与恢复来实现K8S集群备份,但是这种备份很难恢复单个 Namespace。 今天推荐 Velero 工具,它提供以下功能: 灾备场景:提供备份恢复k8s集群的能力 迁移场景:提供拷贝集群资源到其他集群的能力(复制同步开发,测试,生产环境的集群配置,简化环境配置) Velero default namespace 添加标签 $ kubectl label -n default namespace/default velero.io/exclude-from-backup=true 迁移场景 ,请注意,Velero不支持跨云提供商迁移持久卷。 当前使用velero迁移集群功能最完善的场景是在同一个云厂商的同一个region,可以恢复集群的应用和数据卷。

    8.9K20发布于 2020-07-01
领券