- 综合排序
- 最热优先
- 最新优先
- 来自专栏IT笔记
ELK日志分析系统迁移记录
写在开始 做项目不记录日志？线上的问题永远不会知道何时发生过？只会在出现事故之后身处茫然之中。 由于之前ELK日志分析是在自己的服务器上进行试水，断断续续运行了一年多时间。 今天抽空赶紧把ELK迁移一下，由于Logstash本身就配置于各个系统之中，所以这里只是对Redis、Elasticsearch和Kibana进行了配置，当然还有一些邮件发送的配置。 由于系统环境是JDK1.7，而Elasticsearch依赖JDK1.8，同时Kibana又必须依赖Elasticsearch，只能升级作罢，按照原来的迁移。 系统架构 ? 方便开发或者运维人员统计分析和查询日志信息。 对于错误日志统一处理并发送通知。 相关软件 Logstash-2.1.1 Redis-3.2.8 Elasticsearch-2.4.4 Kibana-4.3.1 Nginx-1.6.2 JDK-1.7 sendmail 迁移说明 配置
1.5K40发布于 2018-04-16 - 来自专栏DBA随笔
MySQL线上日志库迁移优化案例
MySQL线上日志库迁移优化案例 说说最近的一个案例吧，线上阿里云RDS上的一个游戏日志库最近出现了一点问题，随着游戏人数的增加，在线日志库的数据量越来越大，最新的日志库都已经到50G大小了，在线变更的时间非常长 之前之所以没有发现，是因为之前一直没有进行过日志库的变更，但是随着业务的深入，需要增加一些游戏属性，要对之前的日志库进行变更，这样一来，长时间的维护窗口让业务方和DBA都望而却步，日志优化迫在眉睫。 首先看日志库的情况： 1、日志库中数据量大于5000w的大表有5张； 2、这5张表开量前每个月的数据量大概在2000w左右，开量后会更多； 3、有2个表的索引大小已经超过数据文件大小 询问了业务方和运营对这些表的要求 3、日志库在迁移的过程中，能够容忍几分钟的表数据丢失，对数据的同步实时性要求不是很高 4、线上的日志库需要支持用户活跃度等统计 5、不希望执行分库分表，有很多查询近几个月的SQL操作，表之间存在一定的耦合性 回过头来分析，表的设计上还是存在一定的问题，日志表中记录的应该只是流水数据，尽量不能出现关联查询的情况，或者说可以提前评估数据量，然后使用季度表或者月表来处理这种的大量的日志情况，这样在清理和维护的时候可能就方便的多
80030发布于 2019-11-06 - 来自专栏log
vue-cli@2.x项目迁移日志
vue-cli@2.x项目迁移日志 虽然 vue-cli@3 早就已经巨普及了，新项目应该已经很少有人还有使用 vue-cli@2.x 。 [image] 迁移配置 新建 babel.config.js 文件， 内容是 module.exports = { presets: [ '@vue/app' ] } 新建 vue.config.js
67200发布于 2019-06-07 - 来自专栏乐沙弥的世界
批量迁移Oracle数据文件，日志文件及控制文件
有些时候需要将Oracle的多个数据文件以及日志文件重定位或者迁移到新的分区或新的位置，比如磁盘空间不足，或因为特殊需求。 对于这种情形可以采取批量迁移的方式将多个数据文件或者日志文件实现一次性迁移。当然备份恢复也是其中的方式之一。本文主要描述如何使用批量方式来迁移数据文件，日志文件。 源路径：数据库SYBO2SZ所有的数据文件，日志文件，控制文件全部位于SYBO2SZ下的相应子目录。 sys@SYBO2SZ> @/users/robin/dba_scripts/custom/sql/transfer_db_files -->调用脚本进行数据及日志文件的迁移 Step 1, --如果仅仅是迁移数据文件以及日志文件则上述步骤完成即可 --如果需要修改相关的参数文件以及迁移控制文件则继续下面的步骤 --由于控制文件的在mount状态下被校验，因此我们在nomount状态下来处理
1.4K20发布于 2018-08-14 - 来自专栏AI 协作日志
ChatGPT 辅助重构：老旧 jQuery 项目迁移到 React 的协作日志
整个重构过程历时6周，最终成功将项目从jQuery 1.12迁移到React 18，不仅保持了所有原有功能，还实现了40%的性能提升和60%的代码量减少。 在这个过程中，ChatGPT不仅帮助我快速分析和理解复杂的遗留代码，还协助制定了详细的迁移策略，生成了大量的样板代码，甚至帮助我发现了原项目中的多个潜在bug。 通过这篇协作日志，我将详细记录整个重构过程中的关键决策、技术难点、协作技巧和最终成果，希望能为面临类似挑战的开发者提供有价值的参考和启发。 主要功能：${projectInfo.features.join(', ')}- 技术栈：jQuery ${projectInfo.jqueryVersion} + Bootstrap 3- 目标：迁移到 这不仅仅是一次技术栈的迁移，更是一次开发模式的革新。
25900编辑于 2025-09-16 - 来自专栏全栈程序员必看
动态迁移_动作迁移
概念 在虚拟化环境中的迁移，又分为动态迁移，静态迁移，也有人称之为冷迁移和热迁移，或者离线迁移在线迁移；静态迁移和动态迁移的 区别就是静态迁移明显有一段时间客户机的服务不可用，而动态迁移则没有明显的服务暂停时间 ，静态迁移有两种1，是关闭客户机将其硬板镜像复制到另一台宿主机系统，然后回复启动起来，这种迁移不保留工作负载，2是，两台客户机公用一个存储系统，关闭一台客户机，防止其内存到另一台宿主机，这样做的方式是， 保存迁移前的负载 迁移效率的衡量 1)整体的迁移时间：从源主机迁移操作系统开始，到客户机迁移到目主机并恢复起服务所花的时间 2）服务器停机时间：在迁移过程中，源主机和目的主机都处于不可用的状态，源主机服务已经停止 ，目的主机还没有启动服务 3）对服务性能的影响：不仅包括迁移后客户机中应用程序性能的比较，还包括源主机性能是否下降 迁移的应用场景 1）负载均衡：当一台为服务器的负载较高时，可以将其上运行的客户机动态迁移到负载低的主机 2）接触硬件依赖：当系统管理员需要在宿主机上添加硬件设备，可以把宿主机的应用暂时迁移到其他的客户机上，这样用户就感觉不到服务有任何暂停的问题 3）节约资源：当几台客户机的负载都较低的情况下，可以把应用都暂时迁移到一台客户机上
1.9K20编辑于 2022-11-17 - 来自专栏运维小路
kvm-虚拟机迁移(冷迁移&故障迁移)
：冷迁移，热迁移和故障迁移。 冷迁移，主要指的是虚拟机在处于关机状态下的迁移。热迁移则说的是虚拟机在运行中的迁移。故障迁移则说的是虚拟机所在节点故障以后触发的迁移。 由于为了演示热迁移，所以迁移将分两小节来讲解，本小节将主要介绍冷迁移和故障迁移。 那么故障迁移肯定是无法做到的，因为虚拟机因为机器故障已经失联，我们无法操作该虚拟机对应的文件和配置文件。 冷迁移 冷迁移是指在虚拟机关机的状态下进行的迁移。 前面说过，使用本地数据是没有办法故障迁移的，所以故障迁移的前提条件是镜像文件和配置文件都不保存在本地。
96610编辑于 2024-11-04 - 来自专栏云上计算
CDH迁移 | CDHHDP迁移之路
容器化技术，提供极致的安装部署升级体验； 提供TDH产品用户认证、权限管理、资源配额管理等；支持细粒度的RBAC权限角色控制，增强认证和SSL、TSL等加密设置； 提供TDH各个子产品监控仪表盘、告警通知、日志生命周期管理 、日志检索等开箱即用的可视化运维能力； 提供了TDH平台用户的数据操作的存储和审计功能，危险操作告警，防止潜在的数据泄露操作。 兼容性 兼容性，直接决定迁移成本。 星环科技TDH 1）TDH基础存储和计算组件兼容CDH/HDP，迁移成本低； 2）TDH提供迁移工具，数据一键迁移； 3）大量迁移成功案例，不存在迁移风险。 企业业务迁移成本高 •支持的存储过程编译技术主要是HPL兼容的语法比较有限•支持SQL 2003标准与存储过程，降低开发难度；兼容Teradata，Oracle，DB2等方言，方便业务平滑迁移，降低迁移成本
3.1K30编辑于 2022-04-04 - 来自专栏方丈的寺院
数据迁移(2) - 如何快速迁移
摘要 在上一篇中我们介绍了数据迁移的套路，但是没有介绍具体的方案，这篇着重介绍下具体的数据迁移方案 一. 设计目标 设计一个数据迁移的方案，需要实现以下目标 迁移速度 qps 需要达到1k，这样能保证1亿的数据能够在1~2天内跑完 迁移qps可控 迁移有可能对线上服务有影响，需要可动态调整qps 数据完整， 不丢失 不能遗漏数据，虽然事后我们有数据校验的过程，但是设计数据迁移方案时，需要尽可能的包装数据不丢失。 进度可控 迁移过程可中断，可重试。比如先迁移10分之一的数据，再继续来 二. 架构设计 数据迁移任务大致分为3个步骤，如下图所示 ? 因为有迁移速度的要求，我们将每个步骤进行分解，确保每个部分可以异步化，并发处理。这样可以提升速度。 遍历数据 完整遍历老的数据库。
4.4K10发布于 2020-05-20 - 来自专栏Go语言指北
账号迁移-迁移确认成功
最近几天在开通留言的功能，因为微信设定的在18年之后注册的个人号，没有留言功能，要想开通，只能通过账号迁移来实现（具体实现细节，感兴趣的可以找我私聊）。截止到昨天，账号算是迁移完毕。 等迁移结束，就迫不及待的登上后台看了看，还好诸位老朋友都在，在此再次感谢各位的厚爱。 后续会接着分享Go技术相关的文章，欢迎大家与我交流啊~ ? ? ?
1.3K30发布于 2021-08-18 - 来自专栏脑机接口
迁移学习中的负迁移：综述
今天介绍的是华中科技大学伍冬睿教授团队关于迁移学习中的负迁移领域进行的一个综述。 虽然这篇综述的主要内容讲述的是迁移学习与负迁移的研究进展，然而将迁移学习应用于脑机接口、脑电数据处理时也必须考虑到训练和测试样本往往来自不同分布的问题。 关于脑机接口中的迁移学习综述可以查看：《华中科技大学伍冬睿教授：非侵入式脑机接口中的迁移学习综述（2016-2020）》、《伍冬睿教授：脑机接口中迁移学习的完整流程》、《脑机接口中的流形嵌入知识迁移学习 当这些假设不满足时，负迁移就会产生，即使用源域的数据或知识反而会让学习性能变差，不如直接用目标域的数据进行训练，如下图所示： ? 可靠的迁移学习需要同时考虑3个问题： 迁移什么？ 如何迁移？ 何时迁移？ 然而大多数迁移学习研究只考虑了前2个问题。 尽管负迁移是个很常见和严重的问题，人们也提出了很多克服负迁移的方法，但是目前并不存在关于负迁移的详尽的综述。
2.8K30发布于 2020-11-11 - 来自专栏JusterZhu
日志ILog（文件日志控制台日志控件日志网络日志）
日志接口ILog ILog是日志输出标准接口 ///
写日志 /// <param name="level">日志级别</param> /// <param name 日志对象可以独立控制是否启用，以及日志等级Level。 Off = 0xFF } 文件日志 文本文件日志是最重要的日志，也是XTrace.Log的默认实现。 日志写入使用队列实现，避免影响应用层性能 如果连续5秒没有日志写入，则自动关闭日志文件句柄，此时用户可以根据需要移动或删除日志文件 这里的10M和100个，最大日志占用1G，可以有效的避免异常信息写爆磁盘 控制台日志ConsoleLog没有日志头，其它跟文本文件日志一样，输出时间、线程信息和日志内容。 控制台日志多了个彩色显示，不同线程以不同颜色区分，便于快速区分同一个线程的日志。1.8K20编辑于 2022-12-07 - 来自专栏PPV课数据科学社区
迁移学习
摘要： 到底是迁移学习？什么时候使用它？如何使用它？ 所谓迁移学习是指针对新问题重新使用预先训练的模型。由于它能用较少的数据训练深度神经网络，这使得目前它在深度学习领域非常流行。 通过这篇文章您将会了解什么是迁移学习，它是如何工作的，为什么应该使用它以及何时可以使用它。同时这篇文章将向您介绍迁移学习的不同方法，并为您提供一些已经预先训练过的模型的资源。 ? 目录： 1. 迁移学习的方法（训练一个模型以重用它，使用预训练模型，特征提取） 5. 受欢迎的预训练模型 它是什么？ 在迁移学习中，能够使用预先训练模型的问题只能是与之不同但相类似的问题。 迁移学习的总体思路是利用已有知识，即一个模型从一项任务中学到的很多被标记的训练数据可以用在另外一个我们没有很多数据的新任务中。 迁移学习的方法 1. 训练一个模型并运用它 举个例子，你想解决任务A，但没有足够的数据来训练深度神经网络。
1.1K21发布于 2018-07-24 - 来自专栏腾讯云迁移服务平台团队
MSP迁移实践-对象存储迁移篇
常见的迁移场景中，通常用户需要先了解源和目标两端的访问方法，自己开发脚本实施迁移。这使得迁移的难度高、周期长，并且由于迁移并非用户熟悉的常规操作，经常会遇到意料之外的问题。 为方便用户迁移，腾讯云建立了MSP迁移服务平台，目标是通过全界面化的操作为用户提供快速简便和高效的迁移能力。 本篇针对对象存储迁移场景中的不同情况进行分析，说明如何针对不同的迁移类型和条件，基于MSP平台建立最合适的迁移方案并实施迁移。 计划迁移的数据量 数据量的大小直接影响到对迁移资源的需求，并且影响迁移时间。 是否需要增量迁移 因为迁移前后需要保障文件的完整性和一致性，如果迁移过程中迁移源有持续增加的新文件，需要根据客户的具体情况针对这些增量文件制定双写或增量迁移方案 是否存在低频、冷数据 如果迁移源存在低频和冷数据
2.5K312发布于 2019-07-03 - 来自专栏全栈程序员必看
图像风格迁移_图像风格迁移算法
传统的图像风格迁移；基于神经网络的图像风格迁移和基于对抗生成网络的图像迁移。 至于图像风格迁移可以用来做什么，大多数情况下可以实现类似于滤镜的图像处理效果；基于对抗生成网络实现的风格迁移甚至可以实现语义上的迁移（橘子变苹果，马变斑马，卡车变汽车以及一些侵犯肖像权的不好变换…）。 这一方法没有流行起来的原因是当时纹理迁移的是基于像素的底层图像特征，并没有过多的考虑语义信息，因此图像的迁移结果并不理想。 但是随着深度学习的飞速发展，基于神经网络的图像迁移方法有了巨大的进步，以下的介绍都是基于神经网络的图像迁移方法。 总结一下，这篇开山之作的算法虽然生成的图片看起来很不错，但是仍存在以下问题： 由于每次迁移都要对网络进行训练，速度是非常慢的，无法实现实时迁移； 应用在照片上进行风格迁移，会出现失真的情况； 针对第一个问题
4K20编辑于 2022-11-01 - 来自专栏信息化漫谈
原来我不懂热迁移、冷迁移
客户的原有认知是vmware私有云，因此会自然将vmware中的冷迁移、热迁移套用至公有云中的相应功能。接下来我们就讲一讲相应的区别。 一、冷迁移，实际是关机迁移 冷迁移的应用场景主要是当虚拟机之下的物理机故障时，通过共享存储中的客户操作系统及数据在另一台物理机主机中将业务进行重新加载。 二、热迁移，实际是将内存数据与硬盘数据同步迁移 热迁移的应用场景主要是：1、硬件或系统的主动升级但又不希望中断虚机上的重要业务 2、某台物理机的负载太重，进行主动的虚拟机迁移 热迁移的好处是对用户业务的非常小，中断时间可到ms级，ping一般中断在2-6个包中断；用户内存数据进行了迁移，对业务应用无感知。 坏处是迁移过程不可中断，操作复杂。 因热迁移主要场景是服务商后端运维使用，因此在公有云中一般不提供热迁移功能。 图一，采用共享存储，只需要保存内存数据或同步内存数据 ?
8.6K41发布于 2019-09-24 - 来自专栏sofu456
迁移学习
迁移学习 from __future__ import print_function import torch import torch.nn as nn from torch.autograd
81620发布于 2019-07-09 - 来自专栏cuijianzhe
Gitlab迁移
docker-compose 创建的 gitlab 迁移到 ECS 安装 gitlab 需要的组件： ssh-copy-id -i ~/.ssh/id_rsa.pub backup_ip #授信免密登陆 gitlab-ce/yum/el7/gitlab-ce-11.8.1-ce.0.el7.x86_64.rpm rpm -ivh gitlab-ce-11.8.1-ce.0.el7.x86_64.rpm 进行备份迁移 -p /data/gitlab/git-data [root@iZ2zed92f8g67tyf26ql2wZ ~]# chown git:git /data/gitlab/git-data/ # 进行迁移 日志路径： /var/log/gitlab 查看所有日志：gitlab-ctl tail 查看 nginx 日志：gitlab-ctl tail nginx/gitlab_access.log storing-git-data-in-an-alternative-directory https://www.cnblogs.com/ssgeek/p/9392104.html ---- 标题：Gitlab迁移
77010编辑于 2022-06-14 - 来自专栏光城(guangcity)
风格迁移
风格迁移 导语 本节学习来源斯坦福大学cs20课程，有关本节源代码已同步只至github，欢迎大家star与转发，收藏！ dataset = dataset.map(_parse_function) 风格迁移 风格转移是一种模型，其中使用两个图像将一个图像的样式应用于一个图像。 下图是Deadpool图片： ? 如果将这两个图像应用于风格迁移模型，则可以将毕加索的Guernica图片样式应用于Deadpool图片。也就是说，它看起来如下图所示： ? 在该模型中定义了两个重要的损失。
1.8K10发布于 2019-09-20 - 来自专栏运维小路
kvm-虚拟机迁移(热迁移)
上一小节我们介绍了冷迁移和故障迁移，本小节将介绍热迁移。 热迁移 热迁移是指在虚拟机保持运行状态的同时将其从一个宿主服务器迁移到另一个宿主服务器。 热迁移的过程大致如下： 初始化传输：将虚拟机的内存状态从源服务器传送到目标服务器。 持续同步：在迁移过程中，源服务器继续向目标服务器发送内存页的更新。 ，由于kvm虚拟机迁移命令并不会迁移本地数据，所以镜像文件必须是使用共享存储。 并且在虚拟机系统里面运行一个程序，确保该程序不受迁移影响。 原宿主机 目标主机 被迁移虚拟机 远程到虚拟机里面执行了一个shell脚本。 migrate 迁移参数 --live 在线迁移 myvm1 被迁移的主机名字 --unsafe 使用不安全模式，这个是由于涉及到虚拟机使用磁盘的几种模式 qemu+ssh
92210编辑于 2024-11-04
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号