首页
学习
活动
专区
圈层
工具
发布
首页标签分布式

#分布式

分布式系统(distributed system)是建立在网络之上的软件系统。由于软件的特性,分布式系统具有高度的内聚性和透明性。

深入内存优化:如何防止分布式爬虫在长时运行中导致的内存暴涨?

jackcode

重启,跑了一个小时,又炸了。看 Grafana 曲线,内存像楼梯一样一格格往上走,中间偶尔 GC 回落一点,但总体趋势是不回头地涨。我盯着那条曲线看了十分钟,心...

4810

集中式数据库选型避坑指南:缓冲池瓶颈排查、分布式事务代价与三年TCO对比

数据库小学妹

上周有个朋友找到我,说公司要上新系统,CTO拍板用分布式数据库,理由是"集中式太老了,迟早被淘汰"。我问他日均多少笔交易、数据量多大、需不需要跨地域部署,他愣了...

8510

壁仞科技首次推出NPO光互连、分布式解耦架构、最大1024卡超节点方案

芯智讯

7月17日-20日,2026世界人工智能大会(WAIC)正式在上海拉开帷幕,壁仞科技正式推出下一代NPO光互连、分布式解耦架构超节点方案,支持单个超节点1024...

21410

Python定时任务5种方法,从入门到精通

用户11081884

其实Python提供了5种处理定时任务的方法,从最基础到最专业,从简单脚本到分布式系统,总有一款适合你。

8110

Python 5个处理定时任务的方法,高效实用

用户11081884

Celery是一个强大的分布式任务队列系统,特别适合处理复杂的定时任务和异步任务。它支持多种消息代理(如Redis、RabbitMQ),能够实现任务的分布式执行...

9510

集群与分布式架构差异分析:主从延迟、分片策略与共享存储实战

数据库小学妹

搜了一圈,网上的答案要么是两个名词的定义解释,要么是厨师配菜师的类比。道理都讲得通,但很少有人写过——把这两个概念搞混之后,实际要付出什么代价。

9710

PyTorch 核心机制参考 · Autograd

用户7511514

梯度累积对象:“在反向传播 (.backward()) 期间,只有requires_grad=True的叶张量 (leaf tensors)的梯度才会被累积到其...

9110

数据库国产化替换实战:架构选型、Oracle兼容与信创合规评估

数据库小学妹

前不久帮团队做数据库替换方案,我花了整整一周时间,把市面上二三十款国产数据库产品翻了个底朝天。选型最痛苦的不是没有好产品,而是选择太多,又怕选错。

10400

分布式数据库落地实战:架构选型、迁移改造与性能调优

数据库小学妹

上个月,一个做供应链的朋友找我诉苦。他们公司两年前上了分布式数据库,现在反而天天加班。我问为什么,他说了一句让我印象很深的话:原理都懂,跑起来完全是另一回事。

13410

WholeGraph分布式图存储

用户10637292

WholeGraph 帮助训练大规模的图神经网络(GNN)。 WholeGraph 提供了一种称为 WholeMemory 的底层存储结构。 W...

8310

系统架构设计师必考:CAP定理与分布式一致性原理全解析

程序员古德

CAP定理又称布鲁尔定理,由加州大学伯克利分校的计算机科学家埃里克布鲁尔于二零零零年在分布式计算原理研讨会上首次提出。当时布鲁尔并没有给出严格的数学证明,而是以...

11310

第四组导读-训练引擎与分布式核心

anzhsoft

第三组把推理嵌入训练:response 不是训练脚本里顺手调用的一次生成,而是由 rollout service、backend adapter、KV cach...

7700

海量分布式日志分词解析与时间精度全域优化技术方案

云技术以及云存储

海量分布式日志分词解析与时间精度全域优化技术方案 一、方案概述 在云原生、微服务、分布式架构深度落地的数字化场景下,系统日志已成为故障溯源、链路观测、性...

7910

OceanBase 在下一盘大棋

用户4035096

来AI 时代, 入口争夺已经成红海, 以往 Claude, Codex 靠自家模型的优势吸引用户, 开放第三方模型接入后, 大肆吸引国内用户.

17610

PG系国产数据库已经被逼到墙角了

用户4035096

而左上角,那份手册里画出的“非PG主战场”,是什么?是金融核心账务、是大型券商集中交易、是运营商BOSS计费。客单价2000万到一个亿!客户愿意为“原生分布式”...

16610

透明分布式是蜜糖还是毒药?

用户4035096

咱们今天直接把分布式数据库这层“皇帝的新衣”给扒了。现在业内动不动就喊“透明分布式”,号称应用一层皮都不用改,就能获得无限扩展的能力。

9610

“强一致”和“最终一致”, 哪个才是未来方向

用户4035096

我们反方从不否认分布式架构的价值,但我们坚持认为,核心业务必须坚持CP(一致性/分区容忍性)原则! 现代数据库技术(如分布式事务、多副本同步复制、新型分布式关系...

9600

AI 原生数据库的终极形态:“万金油”PK“组合”方案

用户4035096

你们总说单节点没法扩展?请醒醒!我们 SeekDB 是针对 AI/ML 开发、边缘计算设计的!大部分 Agent 和 RAG 应用,初期根本不需要天文数字的集群...

12110
领券