- 综合排序
- 最热优先
- 最新优先
- 来自专栏开源部署
PostgreSQL中的大容量空间探索时间序列数据存储
除了这些例行要求外，ESDC也需要存储和处理地理空间和时间序列数据。地理空间数据是那些附有位置信息的数据，比如行星在天空中的位置。这必须在不使用不同类型或数据源的不同数据存储的情况下完成。 PostGIS、pg_sphere和q3c扩展运行ESDC使用常规SQL来运行基于位置的查询以及更专业的分析。 这对写入速度要求很低，因为收集到的数据存储在本地的卫星上，“用于每天的地面站通行期间的稍后下行链路”，并分批次插入数据库。 过去有一些方法可以把时间序列数据存储在PostgreSQL上。它最近的分区特性试图解决这样的问题：将大表索引保存在内存中，并在每次更新时将其写入磁盘，方法是将表分割成更小的分区。 当按时间进行分区时，分区也可以用于存储时间序列数据，遵循着这些分区上的索引。ESDC存储时间序列数据的时候，遇到了性能问题，于是转而使用名为TimescaleDB的扩展。
3.9K20编辑于 2022-08-17 - 来自专栏全栈开发那些事
弹出USB大容量存储设备时出问题的解决方案
1、打开计算机管理 2、点击事件查看器->自定义视图->管理事件 3、双击管理事件里面的警告事件，打开它， 4、点击详细信息 5、记住上面的进程ID,然后打开任务管理器，找到刚才的那个进程，鼠标右键后点击结束进程树
5K30编辑于 2023-02-27 - 来自专栏礼拜八不工作
Windows10出现大容量存储设备禁用情况
至此重新插拔存储设备即可解决以上问题。
1.3K10编辑于 2024-11-29 - 来自专栏NLP小白的学习历程
操作系统复习——第十二章 大容量存储器结构
而且，这种设置也使系统有机会改善数据存储的可靠性，因为可在多个磁盘上存储冗余信息。因此，一个磁盘损坏并不会导致数据丢失。 12.8稳定存储实现 稳定存储：存储在稳定存储上的数据是永远不会丢失的。为了实现这种存储，需要在多个具有独立出错模式的存储设备（通常为磁盘）上复制所需信息。 12.1 大容量存储器结构简介 11.1.1磁盘 读写头“飞行”于每个磁盘片的表面之上。磁头与磁臂（disk arm）相连，磁臂能将所有磁头作为一个整体而一起移动。 常用磁盘驱动器的存储容量是按GB来计算的。 当磁盘在使用时，驱动器马达会高速旋转磁盘。大多数驱动器每秒可转60~200圈。磁盘速度有两部分。 这个过程称为低级格式化（或物理格式化） ECC纠错代码 error-correcting code 1、 低级格式化 2、 分区 将磁盘分成由一个或多个柱面组成的分区 3、 逻辑格式化（创建文件系统）
1.7K20发布于 2020-11-12 - 来自专栏分布式存储
ceph分布式存储-集群容量评估
作其它测试时可以设置为：1. randread（随机读random reads） 2. read（顺序读sequential reads） 3. write（顺序写sequential writes [ 2735] bw ( KiB/s): min=155648, max=253952, per=57.11%, avg=210261.33, stdev=50053.95, samples=3 iops : min= 38, max= 62, avg=51.33, stdev=12.22, samples=3 lat (msec) : 50=1.95%, 100 集群能力评估 参考： 由于Ceph存储结构不同于物理硬件，所以影响其IOPS的因素主要有网络、副本数量、日志、OSD(硬盘)数量、OSD服务器数量、OSD IOPS等。 +349)/2 * 36 / 3 = (最小值： 3078MB/s ~ 最高值：9234MB/s)
2.7K20发布于 2020-07-20 - 来自专栏FreeBuf
如何使用usbsas安全地读取不受信任的USB大容量存储设备
关于usbsas usbsas是一款功能强大的开源（GPLv3）工具&框架，该工具可以帮助广大用户以安全的方式读取不受信任的USB大容量存储设备。 支持的文件系统有FAT、exFat、ext4、NTFS和ISO9660； 2、使用远程防病毒软件分析文件； 3、将新文件系统上的文件复制到受信任的USB设备，支持的文件系统有 FAT、exFAT 设备内容； usbsas架构 1、Web客户端/服务器：作为usbsas的主程序，可以部署一个安全的USB文件传输中转站； 2、Fuse实现：使用usbsas以只读模式挂载USB设备； 3、 Python：usbsas可以和Python搭配使用，并使用脚本将数据从一台设备拷贝到另一台设备； 工具依赖组件 ntfs3g FatFs fontawesome bootstrap
2.5K20编辑于 2022-11-14 - 来自专栏用户4681625的专栏
基于清单分析对象存储容量使用
根据客户的实际反馈，在文件数目非常大的情况下，这种方式不是特别友好，耗时非常久，还需要长期占有主机端资源做list object以及统计容量操作。 如果对于容量统计的时效性要求不高，可以采用清单的方式。COS支持每天生成一次清单，清单中包含了存储桶中所有对象的列表以及每个对象对应的一些信息，包括每个对象的大小。 from cos_inventory; SELECT count() FROM cos_inventory Query id: 6dc11b6a-4f5d-497a-8193-2b120bc8e3a5 统计cos_user目录下（以cos_user/为前缀）的所有文件的容量综合： localhost.localdomain :) select formatReadableSize(sum(size)) 'cos_user/%'); SELECT count() FROM cos_inventory WHERE key LIKE 'cos_user/%' Query id: 442eba9a-a3cc
1.8K50编辑于 2022-05-18 【Prometheus·部署篇】存储与容量规划：本地存储、远程存储与长期保存
前言Prometheus默认只适合短期存储（15-30天）。但企业往往需要保存数月甚至数年的监控数据用于趋势分析和合规审计。本篇深入TSDB存储机制、容量规划、远程存储方案和Thanos长期存储。 +WAL压缩合并↓小Block→大Block（2h→8h→24h→...）压缩合并过程展开代码语言：TXTAI代码解释时间轴：|---B1(2h)---|---B2(2h)---|---B3(2h)-- Thanos对象存储+Sidecar架构简单，无侵入S3延迟高VictoriaMetrics自有TSDB高性能，低资源自有协议Cortex/Mimir分布式TSDB高可用部署复杂M3DB分布式TSDB高性能运维复杂 ───────────────┐│S3/MinIO││对象存储│└───────────────┘↓Query┌───────────────┐│Grafana│└───────────────┘部署ThanosSidecar =时间序列数×样本大小×保留天数用metric_relabel_configs删除不需要的指标控制基数Thanos=Prometheus+Sidecar+S3+Query+Compactor降采样让长期数据占更少空间下一篇预告存储和容量搞定后
27310编辑于 2026-09-07- 来自专栏腾讯架构师的专栏
云硬盘存储系统容量管理实践
摘要 如果说云计算拼的就是运维的话，那么公有云的运维拼的就是容量管理。公有云上容量管理（以下容量管理特指公有云上容量管理）就是要保障有充足的资源可对外售卖，即“有货可卖”。 本文主要对容量管理相关问题进行总结和分析，同时介绍云硬盘存储系统容量管理实践方案。 很多时候线上整体可售卖的资源还有很多，但是这些资源都分布在很多个Set，就会导致无法提供大规格的整块资源。 图2 全局资源看板示例 自动交付，弹性伸缩 图3 设备生命周期 设备一旦到货以及需要紧急扩容的情况下，我们需要具备快速自动交付能力，降低售罄风险的同时也能优化运维人力。 后端会定期对Set的装箱和使用情况进行分析，将大规格的云盘打散分布；同时会综合各个Set的底层存储使用率，自动发起盘迁移和均衡操作。
6.4K20发布于 2017-11-01 - 来自专栏方丈的寺院
存储优化(3)-mongo大表加索引
摘要 在存储优化(2)-排序引起的慢查询优化中我们提到过排序对查询选择索引的影响。但是的解决办法就是增加一个索引。在线上给mongo的大表增加一个索引要慎重。 "historyRecord","filter":{"bizId":1234567},"sort":{"_id":-1},"limit":1}} 增加一个索引 bizId,_id 增加索引过程 对于大表 总结 最后解决是通过强制索引来避免索引误判，当然也可以将排序改成 sort({bizId:-1,_id:-1}) 这样也不会误判 总结一下： 大表加索引，需要确保不会block表的其他操作，尽量选择空闲时候
3.4K10发布于 2020-04-01 - 来自专栏John Wong's Blog
Linux对大容量磁盘分区
1.使用fdisk -l命令,查看可分区的磁盘 2.使用parted命令进行分区 parted /dev/sdb 3.创建分区表 mklabel 磁盘类型选择 gpt , 警告选择yes,代表清除磁盘原有信息 起始结束按要求,然后Ignore忽略警告 ,,, 其中 结束点可以使用百分比, 比如100%,,来代表使用剩余的空间 注意, 分第一个分区时,最好使用分区对齐,否则会出现警告,对齐方法(可能会损失几M容量 vdb1 /data ext4 defaults 0 0' >> /etc/fstab 使用mount查看分区 [root@localhost ~]# mount -a 查看最后3个
4.2K20编辑于 2021-12-23 - 来自专栏深度学习与python
如何解决Prometheus的存储容量问题？
一般来讲，一个 vmstorage 集群，有一二十个节点还是比较健康的，这个容量就已经非常大了，能满足大部分公司的需求，所以这不是个大问题。 我个人比较建议你在选型远程存储的时候使用 VictoriaMetrics，架构简单，更有掌控力。像 M3 虽然容量比 VM 大得多，但是架构复杂，出了问题反而无从着手，不建议使用。 相比日志之类的数据，指标数据的体量较小，一般存储 3 个月就够了，所以对象存储的优势就显得没那么大了。如果是我来选型，VictoriaMetrics 和 Thanos 之间，我会选择前者。 小 结 这一讲我们重点关注了 Prometheus 生态常见的存储扩展问题，并给出了 3 种集群解决方案。 远程存储方案：通过 Remote Read/Write 协议，Prometheus 可以和第三方存储对接，把存储的难题抛给了第三方来解决，常用方案是 M3DB、VictoriaMetrics、Thanos
2.5K10编辑于 2023-02-10 小容量SLC工业存储卡市场展望
SLC 主要由128MB 256MB 512MB三种主力容量，智能产品和AI技术的不断创新和发展，小容量存储产品会何去何从呢。 我们以512MB为例，来了解一下现有市场的应用：、工业人机界面与嵌入式控制 典型设备如15英寸工业触摸屏，板载512MB DDR3与4GB eMMC，并预留MicroSD扩展至128GB，用于本地日志 仪器仪表与计量设备 部分手持/便携式仪器为保证兼容性与耐久，仍采用小容量存储卡（最大至512MB）作为数据记录介质，例如某型振动水平仪支持SD卡存储，单台设备最大支持512MB容量，便于现场更换与长期归档 未来走向与替代路径容量定位 512MB在消费级已属边缘容量，但在工业/车载/仪器等对容量需求不高、强调可靠性与长供货周期的细分场景，仍将作为低成本、可插拔的启动/日志/配置介质长期存在； 技术趋势影响 SD Express（PCIe 4.0 x2，理论至4GB/s）与更高标准推动高端应用向大容量/高速卡迁移；但UHS‑I/Class 10等级的512MB卡在写入吞吐≤10–12MB
38910编辑于 2025-10-16- 来自专栏前端知识开放麦
现代Web存储技术（二）：存储容量规划与传统方案对比
除了三大主力存储技术，浏览器还有一些传统存储方式。虽然它们有各自的局限性，但在特定场景下仍然有用武之地。本文将详细介绍这些传统存储方式，以及如何管理浏览器存储容量。 1传统存储方式：能用但有坑除了CacheAPI、IndexedDB和OPFS这三大主力，浏览器还有一些老牌存储方式。它们不是不能用，但都有各自的问题。 addEventListener('click',()=>{codeEditor.saveAsFile();});2存储容量：比你想象的大得多2.1到底能存多少东西？ 一首3分钟的歌（128kbps）：约3MB1GB能存300多首歌Chrome给的空间能存10万首歌！一个新闻应用能存多少文章？ 3存储容量检测与管理3.1使用StorageManagerAPI检测容量现代浏览器提供了StorageManagerAPI来查询存储使用情况：收起代码语言：JavaScript运行AI代码解释//存储容量监控器
39420编辑于 2025-09-30 - 来自专栏存储公众号：王知鱼
【合集】深入理解大容量SSD设计
Fig-3：L2P 表在数据存储过程的作用 图片解释了固态硬盘中逻辑到物理 (L2P) 表的作用和重要性。 尽管如此，对于大容量的固态硬盘，将存储空间划分为子驱动器并在其内部进行磨损管理，可以提供一种管理驱动器寿命的方法。 适用场景 主要用于优化大容量固态硬盘的内部管理 适用于对写入模式有特定要求的应用场景，例如数据库、日志记录等，通过主机优化数据放置来提高性能和寿命 总结： 虽然子驱动器和 ZNS 都涉及将固态硬盘的存储空间划分为更小的单元进行管理 Part 3：大 IU 落地的生态 Fig14：LBA 逻辑块大小与 IU大小匹配的优与劣 图片探讨了将逻辑块地址（LBA）扇区格式与间接单元（IU）大小相匹配的优缺点。 Cite Samsung 在大IU生态落地的创新，除了LBS 的设计，在之前整理的一篇文章中曾提出 大块内存的抽象管理 folio，可参考阅读下文： Samsung：从QLC应用生态来看大容量SSD前景
1.5K10编辑于 2025-04-24 - 来自专栏Portworx云原生容器存储
如何自动扩展K8S存储池容量？
Portworx技术视频系列：通过PX-AutoPilot自动扩展存储池容量 视频内容 欢迎来到Portworx技术系列视频，我是Ryan Wallner。今天我们来介绍一下存储容量管理。 应用会使用PVCs，后续可能有更多的应用，数据库，服务会运行在K8S上，当它们开始使用存储容量的时候，假设它们使用了150G的空间。这是所有存储容量的一半。我们如何来管理这些容量？如何触发动作呢？ 还有其他配置方式，主要的配置方式就是规则、动作、和方式，当存储池增长到了60%，Prometheus会探测到，Autopilot就会触发规则，来进行相应的动作，这里动作就是增加存储池容量，增加磁盘会增加存储池容量 这样我们的容量使用率就不再是60%了，Portworx增加总容量后，它就会低于60%，这个规则仍然是有效的，因为后续可能会进一步需要存储容量。 上面我们介绍了Autopilot，自动增加磁盘容量，以及存储池容量，希望对您有用，谢谢！
1.4K30发布于 2020-06-22 - 来自专栏我在本科期间写的文章
主芯片与存储协同效应：NXP 双核架构与大容量 SD NAND 的高端应用
MKDV8GIL-AST 8Gb SD NAND 低功耗、存储容量较大且读写速度快。 程序存储器容量是 64KB，需要电压 2V~3.6V。 是经典的低功耗 32 位 MCU，具有较高性价比，能满足基本数据处理需求，MKDV32GCL-STPA 低功耗、高速读写、SMART 稳定性好特性，高容量可保障数据存储安全可靠，且成本相对较低，适合大规模生产 主频可达 204MHz， 存储容量 ：具有 1MB 的闪存和 136kB 的 SRAM， 接口 ：支持 Ethernet、两个 USB 接口、LCD 接口等。 MKDV64GCL-STPA 具有低功耗、高速读写、SMART 特性，存储容量大。
1.5K10编辑于 2025-06-13 - 来自专栏新智元
LeCun力荐：Facebook推出十亿参数超大容量存储器
本文介绍了一种可以轻松集成到神经网络中的结构化存储器。该存储器在设计上非常大，架构的容量显著增加，参数数量可达十亿个，而增加的计算成本基本上可忽略不计。 神奇的“存储器层”：性能翻倍，计算成本不增加 本文提出了一个键值存储器（key memory）层，可以扩展到非常大的规模，同时保持对关键空间的搜索精度。 实验表明，为各种复杂性的transformer网络架构添加更多存储器层，可以为目标任务提供系统而显著的性能提升。 ? 图3：左：典型的transformer模块由自注意力层和FFN层（双层网络）组成。 右图：在我们的系统用product存储器层替换了FFN层，这类似于具有非常大的隐藏状态的稀疏FFN层。 但是，为模型添加内存比增加层数更有利;例如，当隐藏单元的数量为1024和1600时，具有单个存储器和12层的模型优于具有相同隐藏尺寸和24层的无记忆模型。 添加2或3个存储层进一步提高了性能。
74020发布于 2019-07-16 - 来自专栏硬件大熊
浅析3种电池容量监测方案
电子系统设计人员通常将注意力集中在提高电源转换效率、配置芯片休眠模式、提高电池容量等方面。然而，关于电池电量检测的精度的检测问题却很容易被忽略。 问：为什么要关注电池电量检测精度？ 答：我们花费极大精力对功耗进行优化，然而电池电量检测的误差范围却是±10%，那么意味着系统低电量报警时，有10%电池容量或运行时间此时并未处于需要报警的地步。 对于可充放电的电池而言，这种方法非常有效，但是对于不可充电电池，如智能门窗传感器中的纽扣电池，设计者无法知晓用户用的是哪家品牌的电池，因此没有一个准确的电池初始容量数据，由于一次性使用的电池用完即报废， 库仑计只有在完全充电以后立即进行完全放电才能对电池的容量进行更新，这种弊端在便携式的IOT产品中非常明显。 关于阻抗的测试，介绍一个方法：首先在电池处于低电流输出的情况下检测电池电压Ua，然后对电池进行大电流I抽电(实际应用过程中，为了避免不必要的电量浪费，建议结合产品的大电流动作进行检测)，待大电流抽电结束的瞬间
1.9K30编辑于 2022-06-23 - 来自专栏IT技术精选文摘
高并发大容量NoSQL解决方案探索
本文分享两大方向内容：一、公司在KV存储上的架构演进以及运维需要解决的问题；二、对NoSQL如何选型以及未来发展的一些思考。 但一直到1970年RDMBS的出现，大家才找到通用的数据存储方案。 Replication能解决读的扩展性问题和HA（高可用），但是无法解决读和容量的扩展性。而Sharding可以解决读写和容量的扩展性。一般NoSQL解决方案都是将二者组合起来。 但是它有两个缺陷：一是它使用MySQL作为后端存储，TPS有上限；二是不够灵活。比如：一个集群放在一百台机器上，要做聚合指标，就很困难。 Redis3主从重置的概率比Redis2大大减少，Redis4支持节点重启以后也能增量同步，这是Redis本身进行了很多改进。 ? 我们现在主要使用的是2.8.20,属于比较容易能产生主从重置。
1.2K30发布于 2018-06-22
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号