首页
学习
活动
专区
圈层
工具
发布
首页标签大数据存储

#大数据存储

在海量大数据分析中,实现计算与存储分离,对存储冷热分层

爬完别忘了存:社交媒体快照上 OSS/S3 的 4 个必做优化

jackcode

去年帮一个客户做品牌舆情留存,要每天把 3 万条微博和小红书笔记的 HTML 原件全量存下来,保留 90 天,防止博主删帖改帖后证据丢失。第一版方案很简单:爬虫...

7910

MinIO 闭源了?RustFS 来了

AI存储专家

每隔几个月,技术群里就会冒出一句"MinIO 是不是闭源了"。第一次听到的人会一激灵,毕竟自己生产环境里可能正跑着它。先给结论:MinIO 没有闭源,它至今仍是...

15020

从监测数据到防汛决策:水库信息化管理平台如何构建智能化水情感知与预警体系

吴同

水库信息化管理平台通过接入自动监测数据,将水位、雨量、流量、库容等关键指标进行统一管理,并结合地图展示、趋势分析、预警规则和事件处置流程,形成从数据采集到风险研...

2400

MinIO商业化弃坑后,实测7款替代S3存储(2026最新):RustFS成本地开发最优解

AI存储专家

2025年末,开源圈掀起一阵不小的波动——老牌本地S3模拟存储工具 MinIO 官宣转向商业化,放弃原有开源维护路线。这一变动直接影响了海量开发者的日常工作:绝...

48610

AI存储vs传统存储:带宽、IO、架构全面对比,企业选型别再踩坑

AI存储专家

随着大模型训练、多模态数据集、视频资源数据量爆发式增长,大量企业依旧沿用NAS、SAN这类传统存储搭建算力集群。

27720

邮件文件存储格式对性能的影响

TurboEx技术分享

邮件存储层的性能瓶颈,从来不在于磁盘吞吐上限,而是文件锁争抢、inode 消耗、目录检索、元数据查询这类细碎的内核态开销。多数邮件服务后期性能崩坏,根源都是初期...

18410

qData 企业级数据中台产品体系解读 | 第 03 篇:一个成熟数据中台背后的 11 个关键设计取舍

吴同

在数据逐渐成为核心资产的今天,越来越多企业开始建设数据中台。但在实际推进过程中,一个普遍存在的问题是:系统建成后难以持续演进,维护成本不断升高,甚至需要推倒重来...

35700

不是简单搜索,而是理解:让获取的论文会“语义对话”

jackcode

如果你做过科研、写过文献综述,或者只是帮同事找过一篇论文,你大概率体验过这种心情:

43010

网页快照这件事,比“更新”复杂得多

jackcode

01|事情是这样开始的:凌晨,我被电话吵醒了有些项目真的是越做越清醒,尤其是那种能把人从睡梦里叫醒的。几个月前,我们负责的某个政府采购网站上线了新版页面结构。按...

32310

百万级并发下的去重挑战:Bloom Filter 与 Redis 的组合方案

jackcode

你花了一整晚采集到几百万条数据,结果发现有三分之一是重复的,心情立刻从“数据工程师”变成“搬砖机器人”。

48110

数据湖新纪元:Apache Iceberg如何重塑大数据存储与计算格局

gavin1024

1K10

网页快照的结构化保存方案:对象存储 + 可搜索元数据设计

jackcode

任务听起来不复杂——每天定时抓取各大新闻网站的首页和详情页,存下来做后续的文本分析、情感识别和舆情追踪。

39010

StarRocks:Connect Data Analytics with the World

StarRocks

在过去五年中,StarRocks 始终保持着快速迭代。今年 10 月,StarRocks 即将发布 4.0 版本,至此已经完成了从 1.0 到 4.0 的四次重...

1.1K00

企业如何用现代数仓架构挖掘新业务盈利点?AllData产品从目标、路径、结果给出答案

奥零数据科技

🔥🔥 AllData大数据产品是可定义数据中台,以数据平台为底座,以数据中台为桥梁,以机器学习平台为中层框架,以大模型应用为上游产品,提供全链路数字化解决方案。

40110

相关产品

  • 大数据存储

    在海量大数据分析中,实现计算与存储分离,对存储冷热分层

领券