- 综合排序
- 最热优先
- 最新优先
- 来自专栏图像处理与模式识别研究所
MDS
reshape((8,8)) plt.imshow(img,cmap=plt.cm.binary) plt.xticks([]) plt.yticks([]) plt.title('选择64维数字数据集') #MDS 嵌入数字数据集 print("计算MDS嵌入") clf=manifold.MDS(n_components=2,n_init=1,max_iter=100) t0=time() X_mds=clf.fit_transform Stress: %f"%clf.stress_) plot_embedding(X_mds,"MDS嵌入数字数据集 (时间 %.2fs)" %(time()-t0)) plt.show() 算法：MDS
57340编辑于 2022-05-29 - 来自专栏生信修炼手册
MDS多维尺度分析
MDS是一种常用的降维算法，其基本思想是保证高维空间映射到低维空间之后，样本间的相对距离基本不变。 可以划分成以下两大类 1. metric multidimensional scaling 2. non-metric multidimensional scaling, 缩写为NMDS 区别在于，metric MDS 以欧式距离为例，MDS要实现将原始的D维空间投影到低维空间Z, 并保持降维前后，样本点之间的距离不变，对应的公式如下 ? MDS算法的流程总结如下如下 1. 计算原始空间中样本点的距离矩阵 2. 计算内积矩阵B 3. 对矩阵B进行特征值分解，获得特征值矩阵和特征向量矩阵 4. 取特征值矩阵最大的前Z项及其对应的特征向量，构成最终降维之后的结果 在scikit-learn中，应用MDS降维的代码如下 >>> from sklearn.manifold import MDS >>
1.9K30发布于 2021-04-14 - 来自专栏分布式存储
Ceph MDS问题分析
MDS_HEALTH_CLIENT_RECALL_MANY 描述: 客户端有各自的元数据缓存，客户端缓存中的条目（比如索引节点）也会存在于 MDS 缓存中，所以当 MDS 需要削减其缓存时（保持在 如果有客户端没响应或者有缺陷，就会妨碍 MDS 将缓存保持在 mds_cache_size 以下， MDS 就有可能耗尽内存而后崩溃。 1.4 mds夯住问题或慢查询 客户端搜索遍历查找文件（不可控) session的 inode太大导致mds负载过高 日志级别开的太大，从而导致mds负载高 2. handle_mds_map i am now mds.0.2738 2018-04-27 19:27:42.206658 7f53015d7700 1 mds.0.2738 handle_mds_map 的性能测试 ) mds在主处理流程中使用了单线程，这导致了其单个MDS的性能受到了限制，最大单个MDS可达8k ops/s，CPU利用率达到的 140%左右。
2.9K20发布于 2020-07-20 - 来自专栏分布式存储
Ceph MDS States状态详解
MDS States 元数据服务器（MDS）在CephFS的正常操作过程中经历多个状态。例如，一些状态指示MDS从MDS的先前实例从故障转移中恢复。 Should the active MDS fail, having a standby MDS in replay mode is desirable as the MDS is replaying 这种状态是不可见的，因为监视器立即将MDS分配给可用的秩或命令MDS作为备用操作。这里记录了完整性的状态。 mds不会同步记录文件打开的信息，原因是需要避免在访问mds时产生多余的延迟，并且大多数文件是以只读方式打开。 紫色: MDS和rank为停止. 红色: MDS指示一个状态，该状态导致被标记为损坏. Shape 圈：MDS保持这种状态. 六边形：没有MDS保持这个状态.
2.2K31发布于 2020-07-20 - 来自专栏分布式存储
ceph 运维操作-MDS
常用操作 2.1 查看mds的状态 $ ceph mds stat test_fs-1/1/1 up test1_fs-1/1/1 up {[test1_fs:0]=ceph-xx-osd03.gz01 .0.37 up:active seq 151200 2.3 删除mds节点 $ ceph mds rm 0 mds.ceph-xx-osd00 2.4 增加数据存储池 $ ceph mds add_data_pool <pool> 2.5 关闭mds集群 $ ceph mds cluster_down marked fsmap DOWN 2.6 启动mds集群 $ ceph mds cluster_up unmarked mds $ ceph mds stop <node1> 2.12 向某个mds发送命令 $ ceph mds tell <node> <args> [<args>...] 2.13 添加mds机器 #添加一个机器 " 2.14 查看客户端session ceph daemon mds.ceph-xx-mds01.gz01 session ls
2.4K40发布于 2020-07-20 - 来自专栏分布式存储
CEPH MDS锁实现介绍
锁的作用 MDS中的锁是为了保护log的正常写入。 每次对目录树进行操作前，需要先将目标path中涉及的节点加锁，在内存中修改完目录树（修改方式类似于RCU，即生成一个新节点，push_back到 队列 中）后，将新的目录树信息（只是此条path，不是整个目录树）记录到MDS 可从src/mds/Server.cc中观察这一操作： handle_client_xxx |-- rdlock_path_xlock_dentry或rdlock_path_pin_ref |-- mds->locker->acquire_locks(mdr, rdlocks, wrlocks, xlocks) 对于一个路径进行操作时，最后一个dentry之前的dentry都要加 ，前者负责保护当前目录的统计信息inode_t::dirstat，后者负责保护当前目录的递归统计信息inode_t::rstat；由于一个目录可以分成多个分片,甚至同一个分片也可以有多个副本分散于各个mds
1.9K20发布于 2020-07-20 - 来自专栏云技术+云运维
ceph的mds与cephx
在CEPH中，块和对象是不用MDS的，在其文件系统中，元数据服务器MDS才是必不可少的。Ceph MDS为基于POSIX文件系统的用户提供了一些基础命令，例如ls、find等命令。 {id} mon ‘allow rwx’ osd ‘allow *’ –o /var/lib/ceph/osd/ceph-{id}/keyring 5.为每个mds生成一个key，{id}是mds的号 ceph auth get-or-create mds. {id} mon ‘allow rwx’ osd ‘allow *’ mds ‘allow *’ –o /var/lib/ceph/mds/ceph-{id}/keyring 6.通过设置[global 1、直接关闭此节点的mds进程 [root@bgw-os-node153 ~]# /etc/init.d/ceph stop mds === mds.bgw-os-node153 === Stopping
2.1K41发布于 2019-10-29 - 来自专栏鱼的爱情看不出泪水
使用MDS无法下载macOS解决办法
最近macOS更新了，我之前制作的U盘部署版本太老了，每次都要再更新一次，所以我重新通过MDS制作U盘 MDS新版本已无该问题，该问题可以废置了。 MDS部署 MDS Tool 部署上，其实无论是否看教程，都无所谓，都能够猜测出来基本步骤。这次写博客主要是针对使用MDS部署前下载macOS产生问题的解决办法。 我们可以通过fetch-installer-pkg.py下载的pkg文件，安装后，就会在Applications出现Install.app再使用MDS选择macos系统时将该app安装包位置选好即可。 (MDS只支持dmg和app, 不支持pkg文件)
1K20编辑于 2023-03-03 - 来自专栏分布式存储
ceph分布式存储-MDS介绍
2. mds冷备/热备 冷备就是备份的mds，只起到一个进程备份的作用，并不备份lru元数据。 热备除了进程备份，元数据缓存还时时刻刻的与主mds保持同步，当 active mds挂掉后，热备的mds直接变成主mds，并且没有replay()的操作，元数据缓存大小和主mds保持一致。 3. mds主备切换策略 默认每个standby都一样 指定后补 mds standby for name指定一 MDS 守护进程的名字，此进程将作为它的候补 mds standby for rank 此 MDS 将作为本机架上 MDS 守护进程的候补 优先级最高standby replay 4. 节点失效机制 一个活跃的MDS定期向monitor发送交互信息，如果一个MDS在mds_beacon_grace(默认15s)时间内没有向monitor注册，则认为该MDS失效。 5.
3.1K20发布于 2020-07-20 - 来自专栏分布式存储
mds元信息缓存不释放问题
,MDS_HEALTH_CLIENT_RECALL_MANY 描述: 客户端有各自的元数据缓存，客户端缓存中的条目（比如索引节点）也会存在于 MDS 缓存中，所以当 MDS 需要削减其缓存时（保持在 mds_cache_size 如果有客户端没响应或者有缺陷，就会妨碍 MDS 将缓存保持在 mds_cache_size 以下， MDS 就有可能耗尽内存而后崩溃。 主从mds切换问题 mds在切换过程中，导致繁忙cpu很高，在mds_beacon_grace(默认15s)时间内没有向monitor注册，没有及时汇报心跳给mon，导致mds自杀。 热备除了进程备份，元数据缓存还时时刻刻的与主mds保持同步，当 active mds挂掉后，热备的mds直接变成主mds，并且没有replay()的操作，元数据缓存大小和主mds保持一致。 节点失效机制： 一个活跃的MDS定期向monitor发送交互信息，如果一个MDS在mds_beacon_grace(默认15s)时间内没有向monitor注册，则认为该MDS失效。
2.6K20发布于 2020-07-20 - 来自专栏分布式存储
【问题修复】mds0: Metadata damage detected
故障现场 通过监控发现集群状态是HEALTH_ERR状态， 并且发现mds0: Metadata damage detected。 顾名思义，猜测应该是元信息损坏导致的。 2. 这条消息表明损坏之处已经被妥善隔离了，以使 MDS 继续运作，如此一来，若有客户端访问损坏的子树就返回 IO 错误。关于损坏的细节信息可用 damage ls 管理套接字命令获取。 修复这个目录元信息 ceph --admin-daemon /var/run/ceph/ceph-mds.00.asok scrub_path /dir repair 10. #L2245 https://github.com/ceph/ceph/blob/5cdf9c3380098f5d2b1d988ab623c74baad55ee3/src/mds/MDCache.cc# 总结 11.1 问题过程回顾 集群ERR 发现mds0: Metadata damage detected 查看damage ino 根据ino定位跟踪目录 根据目录名知道业务存储的数据 修复问题 12
2.4K30发布于 2020-07-20 - 来自专栏运维一切
ceph mds的客户端告警记录 原
mds0: Client dev:jenkins failing to respond to cache pressure 解决操作 ceph daemon mds.0 session ls 查看状态是 "state": "stale",的客户端连接 然后进行驱逐 ceph daemon mds.d139 session evict $ID
66610发布于 2018-08-01 - 来自专栏yiyun 的专栏
多元统计分析：多维标度 MDS 分析
简介 多元统计分析：多维标度 MDS 分析 案例 各地区工资水平的多维标度分析 library(openxlsx) Case12 = read.xlsx(".. rowNames = T) head(Case12) image-20201212193858279 # isoMDS 需 MASS library(MASS) D = dist(Case12) mds = isoMDS(D, k = 2);mds image-20201212193949415 # 注意：这三句需同时执行，不能分开，因为是作用于一图 plot(mds$points);abline (h = 0, v = 0, lty = 3) text(mds$points, row.names(Case12), cex = 0.8) image-20201212194045611 可以发现
56120编辑于 2022-04-01 - 来自专栏话梅糖のAndroid学习
LS-NET-006-思科MDS 9148S 查看内存
LS-NET-006-思科MDS 9148S 查看内存 方法一：使用 show version 命令 该命令可显示设备的基本系统信息，包括内存总量。 登录交换机的CLI（通过控制台或SSH连接）。 兼容性：上述命令适用于Cisco NX-OS系统，确认交换机运行的版本为 Cisco MDS NX-OS 6.2(9)或更高 。 物理内存限制：根据硬件规格，MDS 9148S的内存容量固定为约4.15 GB，不支持扩展 。
28000编辑于 2025-03-20 - 来自专栏单细胞天地
Seurat3教程: 自定义降维方法MDS
虽然不是作为Seurat包的一部分，但它很容易在r中运行多维缩放(MDS)。 如果你有兴趣运行MDS并将输出存储在Seurat对象中: # Before running MDS, we first calculate a distance matrix between all pairs ) <- paste0("MDS_", 1:2) # We will now store this as a custom dimensional reduction called 'mds' pbmc_small [["mds"]] <- CreateDimReducObject(embeddings = mds, key = "MDS_", assay = DefaultAssay(pbmc_small)) pbmc_small <- ProjectDim(pbmc_small, reduction = "<em>mds</em>") MDS_ 1 Positive: HLA-DPB1, HLA-DQA1, S100A9
2K30发布于 2020-07-01 - 来自专栏话梅糖のAndroid学习
LS-NET-013-思科MDS 9148S 开启SNMP
LS-NET-013-思科MDS 9148S 开启SNMP 标题： Cisco MDS 9148S交换机SNMP配置全解：三步实现监控对接 摘要： 本文详解Cisco MDS 9148S光纤交换机SNMP 作为企业级存储网络核心设备，Cisco MDS 9148S需通过SNMP协议实现： 性能监控（端口流量、CPU/内存利用率） 故障告警（端口宕机、FC链路异常） 自动化运维（对接Zabbix/Nagios auth sha Auth@Pass123 priv aes Priv@Key456 定期审计：通过show snmp user检查账户状态 结论：SNMP配置的价值链 通过三步配置，Cisco MDS
35110编辑于 2025-07-10 - 来自专栏用户2910674的专栏
工具技巧_01_Mac电脑开机后mds_stores进程CPU飙升
结果登录成功了，电脑还是呜呜响（风扇疯狂转），打开活动监视器一看，有一个奇怪进程mds_stores 疯狂占用cpu。 查询后发现 mds_stores 是 Spotlight（聚焦）功能的子进程，Spotlight 是 macOS 内置的搜索引擎，能够在磁盘中快速搜寻文件、应用程序、联系人、电子邮件等。 ” 参考： https://www.xtplayer.cn/macos/mds-stores-use-high-cpu/ https://zhuanlan.zhihu.com/p/349206470
6.7K10编辑于 2023-09-09 - 来自专栏磨磨谈
CephFS: No space left on device
: Client XXX.XXX.XXX.XXX failing to respond to cache pressure mds0: Client XXX.XXX.XXX.XXX failing to respond to cache pressure mds0: Client XXX.XXX.XXX.XXX failing to respond to mds.lab8106-----mds------ --mds_server-- ---objecter--- -----mds_cache----- ---mds_log---- rlat inos journal ceph daemon mds.xxx flush journal 停止掉所有mds stop all mds 执行 cephfs-data-scan scan_links 重启mds restart mds 执行命令 ceph daemon mds.x scrub_path / recursive repair 执行完了以后去对目录进行一次ll，可以看到mds_cache的stry
2.1K50发布于 2018-08-06 - 来自专栏存储内核技术交流
聊聊Lustre服务端的IO线程
IO服务线程参数 MDS中的meta的IO线程的初始化是通过mds_start_ptlrpc_service函数读取mds_num_threads参数来设定。 大部分的内置服务运行的的线程通过mds_num_threads来设定. // mds中内服服务的启动线程 static unsigned long mds_num_threads; module_param (mds_num_threads, ulong, 0444); MODULE_PARM_DESC(mds_num_threads, "number of MDS service threads to start "); // mds的IO的最大服务线程 int mds_max_io_threads = 512; module_param(mds_max_io_threads, int, 0444); MODULE_PARM_DESC (mds_max_io_threads, "maximum number of MDS IO service threads"); static int mds_start_ptlrpc_service
93820编辑于 2023-02-26 - 来自专栏分布式存储
CephFS 异常测试
测试组件 测试场景 挂载方式 测试方法 MDS 单MDS fuse/kernel 单个MDS挂掉情况 2s/10s/60s IO情况 主从MDS时 fuse/kernel 单主挂掉情况 2s/10s/ 测试步骤 4.1 MDS 4.1.1 单MDS挂掉 不需要测试，目前都是主从结构。 4.1.2 主从MDS主挂掉 #测试多个文件 #! , io会出现稍微的抖动 多个文件 停掉主MDS,会发生1-2秒的io夯住 kernel 单个文件 停掉主MDS, io会出现稍微的抖动 多个文件 停掉主MDS,会发生1-2秒的io夯住 单个文件 ,40s左右io夯死 多个文件 停掉主从MDS, io立马夯死 kernel 单个文件 停掉主从MDS,40s左右io夯死 多个文件 停掉主从MDS, io立马夯死 单个文件模式： ? 客户端的写入无影响 多个文件 停掉一个osd，MDS客户端的写入无影响. kernel 单个文件 停掉一个osd，MDS客户端的写入无影响 多个文件 停掉一个osd，MDS客户端的写入无影响. 4.3.3
1K20发布于 2020-07-20
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号