备份完成 xtrabackup: Creating suspend file '/data/nfs/test_full_backup/2015-12-09_00-53-03/xtrabackup_log_copied' with pid '80799' xtrabackup: Transaction log of lsn (4998915938330) to (4998984695861) was copied. 151209 02:06:09 innobackupex: Executing UNLOCK
备份完成 xtrabackup: Creating suspend file '/data/nfs/test_full_backup/2015-12-09_00-53-03/xtrabackup_log_copied' with pid '80799' xtrabackup: Transaction log of lsn (4998915938330) to (4998984695861) was copied. 151209 02:06:09 innobackupex: Executing UNLOCK
这次看的这篇paper主要提出一个基于深度卷积网络迁移学习的有效脸部表情识别模型。 在MSRA-CFW数据库中通过1580类脸部识别的任务训练深度卷积网络(ConvNets),且从训练的深度模型迁移高层特征去识别脸部表情。 主要工作: 设计了一个有效的面部表情识别模型,通过一个从深度ConvNets迁移学习的新想法去提取鲁棒特征用于面部表情识别,并提供了新的混合深度ConvNets去提高迁移特征的鲁棒性适用于遮挡情况。 二、面部表情识别 深度ConvNets充分训练后,采用多类SVM和来自训练好的深度ConvNets迁移的120维高层特征去分类7个表情状态(6个基本表情和一个自然表情)。 图5 在遮挡面部块的改进前后模型结果 五、总结 提出了一种有效的面部表情识别模型,其是来自训练的深度ConvNets迁移的鲁棒特征。
:::info 参考链接: https://eco.dameng.com/document/dm/zh-cn/start/mysql_dm.html#2.2.6%20%E7%A7%BB%E6%A4%8D /heyyall/zwitgw/tzt3t8zy0m3nsigo? singleDoc# 《MySQL 5.7.27 迁移 DM 8》 迁移前对象统计 统计指定库中表的数目 SELECT COUNT(*) TABLES, TABLE_SCHEMA FROM INFORMATION_SCHEMA.TABLES 达梦数据库的数据文件在空间不足时自动增长,每次自动增长的大小和表空间空间上限可以自己设置,那如果说超过扩展上限就会导致表空间不足(可能会出现插入数据失败的情况) ::: 创建用户并授予权限 相关文档: DM8安全管理 ::: 自定义对象迁移策略 建议在转换中,先进行表,再进行迁移数据,这样能避免一些报错,可以看下面的小建议 点击完成,开始迁移 点击下一步 -> 点击完成 迁移小建议 建议先迁移表再迁移数据
iOS的表情,也就是系统自带的emoji表情。 上网了解了一下emoji表情,原来一般的字符包括中文用utf8的话,mysql是用3个字节去存储的,而emoji表情要用4个字节的utf8,也就是utf8mb4格式。 'OPTIONS': {'charset':'utf8mb4'}, }, } 主要是这句'OPTIONS': {'charset':'utf8mb4'} 然后再尝试插入emoji表情,结果正常 ,collate为 utf8mb4_unicode_ci,发现其实也可以用,那么应该是只需要保证连接mysql的时候是用utf8mb4,并且mysql数据的编码格式是utf8mb4即可。 网上有更完整的关于存储emoji表情到mysql的例子可以参考:http://blog.manbolo.com/2014/03/31/using-emojis-in-django-model-fields
找到后请在以下三部分里添加如下内容: [client] default-character-set = utf8mb4 [mysql] default-character-set = utf8mb4 = utf8mb4_unicode_ci init_connect='SET NAMES utf8mb4' 3. utf8mb4 character_set_server utf8mb4 character_set_system utf8 collation_connection utf8mb4_unicode_ci 但必须保证这几个变量必须是utf8mb4。 将数据库、表、列三个同时也转换成utf8mb4 更改数据库编码:ALTER DATAbase alfredsw CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci
血淋淋的惨痛教训 众所周知 mysql 存 emoji 表情要用 utf8mb4 这个字符集 OK 没问题,设置 nick_name 为 utf8mb4 varchar(50) 测试的结果: ? emoji 表情储存成功 没有问题 完全oj8k 发生产! 微信公众号做了推送,为了抗住流量,还准备了100台服务器。 晚上监控流量,服务器各项指标正常。 总结: 1、我设置了utf8mb4 还是无法储存部分 moji 表情的原因是:新的moji 表情越来越多,mysql 版本却没有跟上,导致新的moji 表情存不进去。 2、mysql 存 moji 表情 不要完全依赖 utf8mb4这个字符集来帮你处理 , 可以就选用utf8 长度给长一点 转 base64 后存,取的时候再转成字符串就行,当然转base64 的 encode 5、学会批判的看事情,百度得到的答案不一定对,相信很多人遇到要存moji 表情 都是 直接谷歌或是百度 mysql 如何存 emoji表情,然后看到一堆文章,找了篇看起来很多的,就拿着参考开始实践了。
各种运算图和各种阶段各种流程的兼容问题: Nan问题和clip注意事项: 生产队列报错: 打印graph 其他操作失误与注意事项: 网盘 git链接: ---- 概要: 问题来源: kaggle的一个表情识别的训练集 老虎伍兹左边那张图,之前是全身的,预测neutral,放大到近景截图保存以后,正确预测了surprise; 紫薇是没办法抢救了; 图10黑人可能是像素不行,对比度不行,怎么调也是neutral; 柯南和表情包可能比较特殊了 这图尔康应该是“幸福”,也就是“Happiness”,不好说,表情太淡吧也许,确实不算笑的“happy”。裁剪成大头,依然没改变! Disgust :-8.54 Fear :-2.30 Happy :0.83 Sad :0.84 Surprise :-4.88 Neutral :1.84 相比老模型,表情包的 后边灰度转换直接变8位。 其他要注意的,bytes确实是按8位存数据,并且只支持8位数据,转bytes存储前,灰度转换,数据已经不大于255.
CS231n第八节:迁移学习 传送门:Transfer Learning and Fine-tuning Convolutional Neural Networks 本系列文章基于CS231n课程 什么是迁移学习 实际上,很少的人会训练整个卷积神经网络(使用随机的初始化),因为相对来说,很少有足够大的数据集可以用于训练。 三种常见的迁移学习类型如下所示: 1.2 作为固定的特征提取器 获取一个使用ImageNet预训练的卷积神经网络,移除最后一个全连接层(这一层输出1000个类别得分),然后将剩余的卷积神经网络视为一个用于新数据集的特征提取器 如何调优 如何决定你应该在一个新的数据集上执行什么类型的迁移学习?
1.png 传统的存储行业还没有做好足够的工作来解决K8S的问题:容器可移植性、K8S自动化和多云交付。 Portworx企业版首先为K8S中大数据量的工作负载提供无缝的高可用性,无论这些工作负载是在本地系统还是在公共云中运行,都将提供无缝的高可用性。 可迁移性和易操作性 通过控制与K8S的集成方式,PX-Motion为大量数据型工作负载带来了充分的可迁移性。 只需一个命令,PX-Motion就可以跨集群和跨云移动K8S应用程序、Kubernetes配置和Portworx数据卷。 维护:它可在几分钟内迁移整个集群的应用程序和数据,以方便执行硬件的维护服务。 PX-Motion支持跨集群和云迁移,而PX-Central提供了必要的可视性操作界面来管理和控制数据的迁移。
HeadOn的视频演示: 研究人员在论文里将这个系统称为“首个人体肖像视频的实时的源到目标(source-to-target)重演方法,实现了躯干运动、头部运动、面部表情和视线注视的迁移”。 为了解决视线注视的问题,该团队之前开发了FaceVR: 研究团队去年在Face2Face上所做的工作为HeadOn的大部分能力提供了框架,但Face2Face只能实现面部表情的转换,HeadOn增加了身体运动和头部运动的迁移 这个虚拟形象具有完整头部的参数化3D模型,使用混合形状进行表情控制,并与个性化的上身模型集成。 自动合成一个上半身模型 一种新的实时重现算法利用这个代理来真实地映射面部表情和眼睛注视,以及捕获的源参与者对目标参与者的头部动作和身体动作。 如果你曾使用Animoji或Bitmoji来聊天,你可能已经注意到这些表情看起来是多么不自然——至少对我们这些看动画片长大的人来说很不自然——说话时不会动脑袋和脖子,面部表情也只有那几种。
Velero 是一个用Go语言开发的开源工具,用于 Kubernetes 集群的备份、恢复、灾难恢复和迁移。 argocd,blackbox,chaosblade --ttl 240 查看定时任务 velero get schedules 其他指令 velero卸载 velero uninstall 05、k8s 集群迁移 在目标集群安装velero,安装参数的s3url(“s3Url=http://<minio-api-url>”)指向源集群的minio,在完成部署后,方可进行备份浏览和还原,但需要注意以下两个细节 velero.io/change-storage-class: RestoreItemAction data: cfs-v4: <target-sc> 06、结语 velero使kubernetes的备份、还原和迁移更加灵活和简单
迁移MySQL 8,建表如下 create table nayi_180328_connect_test( dept_id varchar(50), parent_id varchar(50), 07 字符串转换日期 Oracle中 select to_date('2020-01-01','yyyy-mm-dd') from dual 结果 2020-01-01 00:00:00 MySQL 8中 Oracle中 select nvl(parent_id,'boot') from nayi_180328_connect_test where dept_id='root' 结果 boot MySQL 8中 在MySQL 8中 WITH TEMP AS( SELECT 'CHINA' NATION ,'GUANGZHOU' CITY FROM DUAL UNION ALL SELECT 'CHINA 在MySQL 8中 创建同样的表,同样的分区,关于MySQL表分区的分类可以参考https://www.cnblogs.com/zhouguowei/p/9360136.html CREATE TABLE
一、前言 本篇记录使用 pytorch 官方 resnet101 实现迁移学习,迁移学习是当前深度学习领域的一系列通用的解决方案,而不是一个具体的算法模型。 Pre-training + fine-tuning(预训练+调参) 的迁移学习方式是现在深度学习中一个非常流行的迁移学习方式,有以下3步 (1)把预训练模型当做特征提取器: TensorFlow或者 (3) Learning rate: 在迁移学习的微调过程中一般不建议使用过大的学习率,通常来说1e-5是比较合适的选择 二、代码 resnet101 官网定义 import torch from torchvision.models.resnet Bottleneck, [3, 4, 23, 3], **kwargs) if pretrained: checkpoint = torch.load('resnet101-5d3b4d8f.pth
qqFace中文表情符号转为表情gif 做聊天室引入qqFace的是否发现我们发出来的是 [:偷笑] 格式。我们需要对其发送的文本内容进行替换。 替换成成功后 目前网上的教程没有新版本的qqFace.js的中文表情符号转为表情gif的教程,所以只能自己动手去写一个。 思路: 正则匹配到[:偷笑]等中文表情符号代码 console.log(replace_em('[:偷笑]')); function replace_em(str,path) { path :'qqface/gif/';//path为表情 *.gif 所在的目录 return str.replace(/\[:([\s\S]+?)
022 fi 022是没问题的 看下tomcat的catlina.sh if [ -z "$UMASK" ]; then UMASK="0027" fi umask $UMASK tomcat8改成
characterEncoding=utf8&useSSL=false&serverTimezone=Asia/Shanghai&allowPublicKeyRetrieval=true' \ -- '; grant select,update,insert,delete,index on halodb.* to 'halo'@'%'; flush privileges; 配置持久化存储卷 在 k8s 中运行 halo,会涉及到主题、静态资源如上传本地图片等需要持久化到数据卷中,为了后期的数据迁移,需要配置持久卷存储这些数据,此处我们使用本地存储。 devopsman.cn.key --namespace blogs 配置ingress,提供外部访问方式 创建 halo.ingress.yaml 文件 apiVersion: networking.k8s.io
虽然可以通过Etcd v3备份与恢复来实现K8S集群备份,但是这种备份很难恢复单个 Namespace。 今天推荐 Velero 工具,它提供以下功能: 灾备场景:提供备份恢复k8s集群的能力 迁移场景:提供拷贝集群资源到其他集群的能力(复制同步开发,测试,生产环境的集群配置,简化环境配置) Velero default namespace 添加标签 $ kubectl label -n default namespace/default velero.io/exclude-from-backup=true 迁移场景 ,请注意,Velero不支持跨云提供商迁移持久卷。 当前使用velero迁移集群功能最完善的场景是在同一个云厂商的同一个region,可以恢复集群的应用和数据卷。
前言 一般来说大家都用etcd备份恢复k8s集群,但是有时候我们可能不小心删掉了一个namespace,假设这个ns里面有上百个服务,瞬间没了,怎么办? velero可以帮助我们: 灾备场景,提供备份恢复k8s集群的能力 迁移场景,提供拷贝集群资源到其他集群的能力(复制同步开发,测试,生产环境的集群配置,简化环境配置) 下面我就介绍一下如何使用 Velero 完成备份和迁移。 5s nginx-deployment-5c689d88bb-rt2zk 0/1 ContainerCreating 0 5s 可以看到已经恢复了 另外迁移和备份恢复也是一样的 spm=a2c4e.11163080.searchblog.140.1a8b2ec1TYJPbF
前言 一般来说大家都用etcd备份恢复k8s集群,但是有时候我们可能不小心删掉了一个namespace,假设这个ns里面有上百个服务,瞬间没了,怎么办? velero可以帮助我们: 灾备场景,提供备份恢复k8s集群的能力 迁移场景,提供拷贝集群资源到其他集群的能力(复制同步开发,测试,生产环境的集群配置,简化环境配置) 下面我就介绍一下如何使用 Velero 完成备份和迁移。 下载Velero客户端 Velero 由客户端和服务端组成,服务器部署在目标 k8s 集群上,而客户端则是运行在本地的命令行工具。 5s nginx-deployment-5c689d88bb-rt2zk 0/1 ContainerCreating 0 5s 可以看到已经恢复了 另外迁移和备份恢复也是一样的