- 综合排序
- 最热优先
- 最新优先
- 来自专栏开源部署
PostgreSQL中的大容量空间探索时间序列数据存储
除了这些例行要求外，ESDC也需要存储和处理地理空间和时间序列数据。地理空间数据是那些附有位置信息的数据，比如行星在天空中的位置。这必须在不使用不同类型或数据源的不同数据存储的情况下完成。 这对写入速度要求很低，因为收集到的数据存储在本地的卫星上，“用于每天的地面站通行期间的稍后下行链路”，并分批次插入数据库。 过去有一些方法可以把时间序列数据存储在PostgreSQL上。它最近的分区特性试图解决这样的问题：将大表索引保存在内存中，并在每次更新时将其写入磁盘，方法是将表分割成更小的分区。 当按时间进行分区时，分区也可以用于存储时间序列数据，遵循着这些分区上的索引。ESDC存储时间序列数据的时候，遇到了性能问题，于是转而使用名为TimescaleDB的扩展。 blog.timescale.com/when-boring-is-awesome-building-a-scalable-time-series-database-on-postgresql-2900ea453ee2
3.9K20编辑于 2022-08-17 - 来自专栏全栈开发那些事
弹出USB大容量存储设备时出问题的解决方案
1、打开计算机管理 2、点击事件查看器->自定义视图->管理事件 3、双击管理事件里面的警告事件，打开它， 4、点击详细信息 5、记住上面的进程ID,然后打开任务管理器，找到刚才的那个进程，鼠标右键后点击结束进程树
5K30编辑于 2023-02-27 - 来自专栏礼拜八不工作
Windows10出现大容量存储设备禁用情况
至此重新插拔存储设备即可解决以上问题。
1.3K10编辑于 2024-11-29 - 来自专栏NLP小白的学习历程
操作系统复习——第十二章 大容量存储器结构
而且，这种设置也使系统有机会改善数据存储的可靠性，因为可在多个磁盘上存储冗余信息。因此，一个磁盘损坏并不会导致数据丢失。 12.8稳定存储实现 稳定存储：存储在稳定存储上的数据是永远不会丢失的。为了实现这种存储，需要在多个具有独立出错模式的存储设备（通常为磁盘）上复制所需信息。 12.1 大容量存储器结构简介 11.1.1磁盘 读写头“飞行”于每个磁盘片的表面之上。磁头与磁臂（disk arm）相连，磁臂能将所有磁头作为一个整体而一起移动。 常用磁盘驱动器的存储容量是按GB来计算的。 当磁盘在使用时，驱动器马达会高速旋转磁盘。大多数驱动器每秒可转60~200圈。磁盘速度有两部分。 这个过程称为低级格式化（或物理格式化） ECC纠错代码 error-correcting code 1、 低级格式化 2、 分区 将磁盘分成由一个或多个柱面组成的分区 3、 逻辑格式化（创建文件系统）
1.7K20发布于 2020-11-12 - 来自专栏分布式存储
ceph分布式存储-集群容量评估
3.10.0-514.16.1.el7.x86_64 1.2 硬件环境 cpu型号： Intel(R) Xeon(R) CPU E5-2630 v4 @ 2.20GHz cpu核数： 40 硬盘： hdd 2. 作其它测试时可以设置为：1. randread（随机读random reads） 2. read（顺序读sequential reads） 3. write（顺序写sequential writes 2000=18.75% cpu : usr=0.00%, sys=9.41%, ctx=188, majf=0, minf=802 IO depths : 1=0.4%, 2= 集群能力评估 参考： 由于Ceph存储结构不同于物理硬件，所以影响其IOPS的因素主要有网络、副本数量、日志、OSD(硬盘)数量、OSD服务器数量、OSD IOPS等。 ) 4k块大小： IOPS = （164+349)/2 * 36 / 3 = (最小值： 3078MB/s ~ 最高值：9234MB/s)
2.7K20发布于 2020-07-20 - 来自专栏FreeBuf
如何使用usbsas安全地读取不受信任的USB大容量存储设备
关于usbsas usbsas是一款功能强大的开源（GPLv3）工具&框架，该工具可以帮助广大用户以安全的方式读取不受信任的USB大容量存储设备。 支持的文件系统有FAT、exFat、ext4、NTFS和ISO9660； 2、使用远程防病毒软件分析文件； 3、将新文件系统上的文件复制到受信任的USB设备，支持的文件系统有 FAT、exFAT 将文件上传到远程服务器； 5、支持制作USB设备镜像； 6、擦除USB设备内容； usbsas架构 1、Web客户端/服务器：作为usbsas的主程序，可以部署一个安全的USB文件传输中转站； 2、
2.5K20编辑于 2022-11-14 - 来自专栏用户4681625的专栏
基于清单分析对象存储容量使用
根据客户的实际反馈，在文件数目非常大的情况下，这种方式不是特别友好，耗时非常久，还需要长期占有主机端资源做list object以及统计容量操作。 如果对于容量统计的时效性要求不高，可以采用清单的方式。COS支持每天生成一次清单，清单中包含了存储桶中所有对象的列表以及每个对象对应的一些信息，包括每个对象的大小。 INSERT INTO cos_inventory FORMAT CSV"; done 三、数据查询 数据导入之后就可以进入到ClickHouse-Client进行先关的查询： root@VM-16-2- 统计cos_user目录下（以cos_user/为前缀）的所有文件的容量综合： localhost.localdomain :) select formatReadableSize(sum(size)) cos_user/%'); SELECT count() FROM cos_inventory WHERE key LIKE 'cos_user/%' Query id: 442eba9a-a3cc-4bd2-
1.8K50编辑于 2022-05-18 【Prometheus·部署篇】存储与容量规划：本地存储、远程存储与长期保存
前言Prometheus默认只适合短期存储（15-30天）。但企业往往需要保存数月甚至数年的监控数据用于趋势分析和合规审计。本篇深入TSDB存储机制、容量规划、远程存储方案和Thanos长期存储。 一、TSDB本地存储机制存储结构展开代码语言：TXTAI代码解释/data/prometheus/├──wal/#Write-AheadLog（预写日志）│├──00000001#WAL段文件│├──00000002 /#压缩合并的大Block├──snapshots/#快照└──lock#文件锁Block生命周期展开代码语言：TXTAI代码解释HeadBlock（内存）→2小时后→持久化为Block↑最新写入↓内存 +WAL压缩合并↓小Block→大Block（2h→8h→24h→...）压缩合并过程展开代码语言：TXTAI代码解释时间轴：|---B1(2h)---|---B2(2h)---|---B3(2h)-- +Compactor降采样让长期数据占更少空间下一篇预告存储和容量搞定后，下一篇【Prometheus·部署篇】高可用方案：联邦集群与Thanos架构将讲解如何构建高可用的监控系统。
27310编辑于 2026-09-07- 来自专栏腾讯架构师的专栏
云硬盘存储系统容量管理实践
本文主要对容量管理相关问题进行总结和分析，同时介绍云硬盘存储系统容量管理实践方案。 很多时候线上整体可售卖的资源还有很多，但是这些资源都分布在很多个Set，就会导致无法提供大规格的整块资源。 图2 全局资源看板示例 自动交付，弹性伸缩 图3 设备生命周期 设备一旦到货以及需要紧急扩容的情况下，我们需要具备快速自动交付能力，降低售罄风险的同时也能优化运维人力。 合理装箱，自动均衡 典型的部署模型提供的最小容量单位为Set，用户可购买的云盘的规格为2G-16T，这是一个很典型的装箱问题。 后端会定期对Set的装箱和使用情况进行分析，将大规格的云盘打散分布；同时会综合各个Set的底层存储使用率，自动发起盘迁移和均衡操作。
6.4K20发布于 2017-11-01 - 来自专栏John Wong's Blog
Linux对大容量磁盘分区
1.使用fdisk -l命令,查看可分区的磁盘 2.使用parted命令进行分区 parted /dev/sdb 3.创建分区表 mklabel 磁盘类型选择 gpt , 警告选择yes,代表清除磁盘原有信息 起始结束按要求,然后Ignore忽略警告 ,,, 其中 结束点可以使用百分比, 比如100%,,来代表使用剩余的空间 注意, 分第一个分区时,最好使用分区对齐,否则会出现警告,对齐方法(可能会损失几M容量 第一个起始位置,可以是 3584s 另外,注意一点,,,分区尽量采用%来分区,,,比如 3584s - 32% 32%-50% 50%-100%,,,系统会自动对齐 格式化ext4格式，代码如下； mke2fs 把UUID写入/etc/fstab blkid | grep sdb | awk '{print $2}' | xargs echo >> /etc/fstab 修改 vi /etc/fstab 按照格式进行修改
4.2K20编辑于 2021-12-23 - 来自专栏深度学习与python
如何解决Prometheus的存储容量问题？
所以 Prometheus 也存在一些不足之处，其中一个广受诟病的问题就是单机存储不好扩展。所以今天我们就针对这个问题来聊聊如何扩展 Prometheus 的存储。 所有场景都需要扩展容量吗？ 虽然我们聊的是 Prometheus 容量扩展问题，不过我必须先说明一点，大部分场景其实不需要扩展，因为数据量压根达不到 Prometheus 的容量上限。 一般来讲，一个 vmstorage 集群，有一二十个节点还是比较健康的，这个容量就已经非常大了，能满足大部分公司的需求，所以这不是个大问题。 我个人比较建议你在选型远程存储的时候使用 VictoriaMetrics，架构简单，更有掌控力。像 M3 虽然容量比 VM 大得多，但是架构复杂，出了问题反而无从着手，不建议使用。 相比日志之类的数据，指标数据的体量较小，一般存储 3 个月就够了，所以对象存储的优势就显得没那么大了。如果是我来选型，VictoriaMetrics 和 Thanos 之间，我会选择前者。
2.5K10编辑于 2023-02-10 小容量SLC工业存储卡市场展望
SLC 主要由128MB 256MB 512MB三种主力容量，智能产品和AI技术的不断创新和发展，小容量存储产品会何去何从呢。 车载与运输终端 在T-BOX、导航/IVI、ADAS等场景，512MB常用于存放地图离线包（约2GB需预加载）、用户配置（约512MB）、以及7天车辆状态日志（约300MB）等关键数据；同时，面向车载的工业级 仪器仪表与计量设备 部分手持/便携式仪器为保证兼容性与耐久，仍采用小容量存储卡（最大至512MB）作为数据记录介质，例如某型振动水平仪支持SD卡存储，单台设备最大支持512MB容量，便于现场更换与长期归档 未来走向与替代路径容量定位 512MB在消费级已属边缘容量，但在工业/车载/仪器等对容量需求不高、强调可靠性与长供货周期的细分场景，仍将作为低成本、可插拔的启动/日志/配置介质长期存在； 技术趋势影响 SD Express（PCIe 4.0 x2，理论至4GB/s）与更高标准推动高端应用向大容量/高速卡迁移；但UHS‑I/Class 10等级的512MB卡在写入吞吐≤10–12MB
38910编辑于 2025-10-16- 来自专栏前端知识开放麦
现代Web存储技术（二）：存储容量规划与传统方案对比
除了三大主力存储技术，浏览器还有一些传统存储方式。虽然它们有各自的局限性，但在特定场景下仍然有用武之地。本文将详细介绍这些传统存储方式，以及如何管理浏览器存储容量。 1传统存储方式：能用但有坑除了CacheAPI、IndexedDB和OPFS这三大主力，浏览器还有一些老牌存储方式。它们不是不能用，但都有各自的问题。 addEventListener('click',()=>{codeEditor.saveAsFile();});2存储容量：比你想象的大得多2.1到底能存多少东西？ 一篇图文并茂的新闻：约50KB1GB能存2万篇文章够你看一辈子了一个在线文档应用能存多少文档？ 3存储容量检测与管理3.1使用StorageManagerAPI检测容量现代浏览器提供了StorageManagerAPI来查询存储使用情况：收起代码语言：JavaScript运行AI代码解释//存储容量监控器
39420编辑于 2025-09-30 - 来自专栏运维小路
Etcd-2GB容量限制
MySQL PostgreSQL MongoDB Redis Etcd（本章节） 传统的数据库是没有容量限制的，但是Etcd是一个特殊数据库，因为他是有容量上限的，今天我们这个小节就来介绍这个容量限制。 在Etcd的技术讨论中，“2GB容量限制”是被问及频率最高的话题之一。许多初次接触etcd的开发者会本能地认为：这是一个应该被“突破”或“优化”的瓶颈。 一、配额机制：主动熔断，而非被动崩溃 Etcd的存储配额由参数--quota-backend-bytes控制，默认值2GB，官方建议上限8GB。 2GB的定位：它是安全与容量的均衡点。 标准恢复流程如下： 第一步：压缩（Compact） etcdctl compact 压缩之前的所有历史版本（这个就是我们前面讲过的数据存储）。
47310编辑于 2026-02-28 - 来自专栏存储公众号：王知鱼
【合集】深入理解大容量SSD设计
根据 IDEMA 的规范，这个容量大约包含 2.34 亿个逻辑块。如果每个 IU 的物理地址需要 32 位来跟踪，那么 L2P 表就需要大约 937.7MB 的 DRAM 来存储这些映射信息。 Part 2：优化 IU 容量的方案 Fig-9：增加L2P位数来扩容SSD物理容量 图片探讨了增加 L2P 表中每个条目所占位数的影响。 增加位数可以直接扩大固态硬盘可以支持的最大容量。 尽管如此，对于大容量的固态硬盘，将存储空间划分为子驱动器并在其内部进行磨损管理，可以提供一种管理驱动器寿命的方法。 适用场景 主要用于优化大容量固态硬盘的内部管理 适用于对写入模式有特定要求的应用场景，例如数据库、日志记录等，通过主机优化数据放置来提高性能和寿命 总结： 虽然子驱动器和 ZNS 都涉及将固态硬盘的存储空间划分为更小的单元进行管理 Cite Samsung 在大IU生态落地的创新，除了LBS 的设计，在之前整理的一篇文章中曾提出 大块内存的抽象管理 folio，可参考阅读下文： Samsung：从QLC应用生态来看大容量SSD前景
1.5K10编辑于 2025-04-24 - 来自专栏Portworx云原生容器存储
如何自动扩展K8S存储池容量？
Portworx技术视频系列：通过PX-AutoPilot自动扩展存储池容量 视频内容 欢迎来到Portworx技术系列视频，我是Ryan Wallner。今天我们来介绍一下存储容量管理。 应用会使用PVCs，后续可能有更多的应用，数据库，服务会运行在K8S上，当它们开始使用存储容量的时候，假设它们使用了150G的空间。这是所有存储容量的一半。我们如何来管理这些容量？如何触发动作呢？ 也可以增加一些限制，例如，每个存储池的上限不要超过2TB，这是考虑你有成本限制的情况。这就是通过Autopilot来设定一些自动化的规则，以及设定限制。 还有其他配置方式，主要的配置方式就是规则、动作、和方式，当存储池增长到了60%，Prometheus会探测到，Autopilot就会触发规则，来进行相应的动作，这里动作就是增加存储池容量，增加磁盘会增加存储池容量 上面我们介绍了Autopilot，自动增加磁盘容量，以及存储池容量，希望对您有用，谢谢！
1.4K30发布于 2020-06-22 - 来自专栏我在本科期间写的文章
主芯片与存储协同效应：NXP 双核架构与大容量 SD NAND 的高端应用
MKDV2GIL-AST 2Gb SLC SD NAND 存储芯片在低功耗、数据存储可靠上表现出色。 二者结合，在无线传输心电数据时，nRF52832 能快速处理采集到的心电信号，MKDV2GIL-AST 可高效存储数据。 MKDV8GIL-AST 8Gb SD NAND 低功耗、存储容量较大且读写速度快。 主频可达 204MHz， 存储容量 ：具有 1MB 的闪存和 136kB 的 SRAM， 接口 ：支持 Ethernet、两个 USB 接口、LCD 接口等。 MKDV64GCL-STPA 具有低功耗、高速读写、SMART 特性，存储容量大。
1.5K10编辑于 2025-06-13 - 来自专栏新智元
LeCun力荐：Facebook推出十亿参数超大容量存储器
本文介绍了一种可以轻松集成到神经网络中的结构化存储器。该存储器在设计上非常大，架构的容量显著增加，参数数量可达十亿个，而增加的计算成本基本上可忽略不计。 神奇的“存储器层”：性能翻倍，计算成本不增加 本文提出了一个键值存储器（key memory）层，可以扩展到非常大的规模，同时保持对关键空间的搜索精度。 更多细节如图2所示，该结构隐含地定义了一组非常大的键，每个键与值存储器槽相关。值向量集中引入了大量参数，因为参数数量与子键的数量成平方关系。 ? 图2：product key示意图。 这样做的原因是，BERT 和GPT-2 取得了巨大成功，证明了增加大型模型的容量，能够直接转化为对语言建模性能的大幅改进，反过来又能促进双语言理解任务和文本生成任务的性能提升。 右图：在我们的系统用product存储器层替换了FFN层，这类似于具有非常大的隐藏状态的稀疏FFN层。
74020发布于 2019-07-16 - 来自专栏IT技术精选文摘
高并发大容量NoSQL解决方案探索
本文分享两大方向内容：一、公司在KV存储上的架构演进以及运维需要解决的问题；二、对NoSQL如何选型以及未来发展的一些思考。 但一直到1970年RDMBS的出现，大家才找到通用的数据存储方案。 Replication能解决读的扩展性问题和HA（高可用），但是无法解决读和容量的扩展性。而Sharding可以解决读写和容量的扩展性。一般NoSQL解决方案都是将二者组合起来。 但是它有两个缺陷：一是它使用MySQL作为后端存储，TPS有上限；二是不够灵活。比如：一个集群放在一百台机器上，要做聚合指标，就很困难。 Redis3主从重置的概率比Redis2大大减少，Redis4支持节点重启以后也能增量同步，这是Redis本身进行了很多改进。 ? 我们现在主要使用的是2.8.20,属于比较容易能产生主从重置。
1.2K30发布于 2018-06-22 - 来自专栏CNCF
存储容量跟踪在Kubernetes 1.24中正式GA
作者：Patrick Ohly（英特尔） Kubernetes v1.24 将存储容量[1]跟踪升级到 GA。 我们已经解决的问题 正如在之前一篇博客文章[2]中详细解释的那样，存储容量跟踪允许 CSI 驱动程序发布关于剩余容量的信息。 为升级到 GA 而再次进行的负载测试[3]证实，集群中的所有存储都可以由具有存储容量跟踪的 pod 使用，而没有存储容量跟踪的 pod 会被卡住。 对于具有存储容量跟踪功能的 CSI 驱动程序，在这PR[5]中开发并讨论了一个原型。 参考资料 [1] 存储容量: https://kubernetes.io/docs/concepts/storage/storage-capacity/ [2] 之前一篇博客文章: https://kubernetes.io
89530编辑于 2022-06-10
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号