- 综合排序
- 最热优先
- 最新优先
- 来自专栏推荐系统杂谈
哪来的TB级推荐模型
可以推算1TB左右大小的模型大概有130-250亿项Embedding，而每一项Embedding背后是一个离散特征，换言之TB级模型约等于常说到的百亿特征千亿参数模型。 哪来的百亿特征 推荐场景中最为庞大的特征组就是User和Item的ID，哪怕对于头部业务而言两者加起来无非也就10亿的量级，靠原始数据要凑出百亿特征几乎不可能。 可以用Item的ID和User的性别、年龄进行三联交叉派生，特征空间能达到Item量级的百倍，有亿级Item的场景光这一项就能产出百亿特征。 大维度Embedding vs 海量Embedding 如果没有百亿特征又想要TB级模型，是不是可以发扬“土法大炼钢”精神，把Embedding维度统统提到100以上呢？ 做大模型不是为了验证系统承载能力，而是为了更好记忆业务场景数据。尽管笔者并没有找到大维度Embedding不如海量Embedding的理论依据，不过据观察在当前的条件下细嚼慢咽依然比囫囵吞枣更有效。
90951编辑于 2022-08-08 - 来自专栏推荐系统杂谈
如何上线TB级推荐模型
百亿KV的压力图片 推荐上一篇文章说到所谓TB级模型主要的问题在于百亿离散特征，反映在物理层面就是由百亿KV对构成的Embedding表。 与统一写入KV存储相比，更合理的做法是将这百亿KV对打成若干个数据包来提供服务。 分布式Embedding服务 虽说拥有TB级内存的服务器已经不是什么稀罕物了，但是在云原生时代为一种服务准备专用机器不是什么好主意，一般来说还是考虑分布式服务。 真正的软肋 说到TB级模型上线的困难，一般人很容易想起费内存和访问慢。从前文分析可知，访问其实并没有非常慢。 个人认为TB级模型上线真正的软肋在于更新难，模型更新与业务需求以及基础存储条件密切相关，本文暂不展开讨论，日后有机会再填坑。
49770编辑于 2022-08-08 - 来自专栏肉眼品世界
TB级微服务海量日志监控平台
cnblogs.com/dengbangpang/ p/12961593.html 我们的解决方案 我们的架构 日志可视化 ---- 本文主要介绍怎么使用 ELK Stack 帮助我们打造一个支撑起日产 TB 级的日志监控系统。 在企业级的微服务环境中，跑着成百上千个服务都算是比较小的规模了。在生产环境上，日志扮演着很重要的角色，排查异常需要日志，性能优化需要日志，业务排查需要业务等等。 也很难挖掘业务日志的数据价值。 那么将日志统一输出到一个地方集中管理，然后将日志处理化，把结果输出成运维、研发可用的数据是解决日志管理、协助运维的可行方案，也是企业迫切解决日志的需求。 所以我们采用了过滤、清洗、动态调整日志优先级采集等方案。首先把日志全量采集到 Kafka 集群中，设定一个很短的有效期。 我们目前设置的是一个小时，一个小时的数据量，我们的资源暂时还能接受。
1.8K30发布于 2021-10-27 - 来自专栏铭毅天下
Elasticsearch 8.X 如何生成 TB 级的测试数据 ?
1、实战问题 我只想插入大量的测试数据，不是想测试性能，有没有自动办法生成TB级别的测试数据？ 有工具？还是说有测试数据集之类的东西？ 实战业务场景中在没有大规模数据之前，可能会构造生成一些模拟数据，以实现性能测试等用途。 真实业务场景一般不愁数据的，包含但不限于： 生成数据 业务系统产生数据 互联网、设备等采集生成的数据 其他产生数据的场景..... 回归问题，Elasticsearch 8.X 如何构造呢？ 生成虚假数据的命令行工具。 ，可以作为测试数据的来源。
1.2K20编辑于 2023-11-06 《深度剖析：Java ZGC 如何重塑 TB 级实时 AI 数据处理格局》
在ZGC横空出世之前，传统垃圾回收器在面对TB级实时AI数据处理时，暴露出诸多难以克服的弊端。实时AI数据处理的一大特点是数据的海量性与持续性，这使得内存中的对象数量与数据规模急剧膨胀。 在实时AI数据处理中，对内存的高效利用和快速回收至关重要，传统垃圾回收器显然难以满足这一需求。ZGC的出现，为TB级实时AI数据处理带来了曙光。 这使得它在处理TB级实时AI数据时，游刃有余，不会因为内存规模的庞大而出现性能瓶颈。无论是大规模的深度学习模型训练，还是海量数据的实时分析，ZGC都能提供稳定而高效的内存管理支持。 在TB级实时AI数据处理中，内存分配与释放的频率极高。ZGC通过优化内存分配算法，能够快速地为新的AI数据对象分配内存，同时及时回收不再使用的内存空间。 在实际应用中，已经有众多企业和项目成功地运用ZGC优化TB级实时AI数据处理。以某知名互联网公司为例，其在开发一款基于AI的实时推荐系统时，面临着海量用户数据的处理和分析任务。
18610编辑于 2025-06-08- 来自专栏Loki
如何用LogQL在几秒内查询TB级的日志
LogQL是Loki特有的语句，在本文中，我们将提供LogQL的快速过滤器查询技巧，这些查询可以在几秒钟内过滤掉数TB的数据。 在Loki中，我们可以使用三种类型的过滤器： ? Label matchers Label matchers（标签匹配器）是你的第一道防线，是大幅减少你搜索的日志数量（例如，从100TB到1TB）的最好方法。 基本上，标签应该定义的类型包括，工作负载、集群、命名空间和容器等，这样你就可以在多个不同的维度上对数据进行切分。 否则，你将不得不提取整个索引数据。 但有一个例外。
1K20发布于 2021-05-13 - 来自专栏对线JAVA面试
用ELK搭建TB级微服务海量日志监控系统
本文主要介绍怎么使用 ELK Stack 帮助我们打造一个支撑起日产 TB 级的日志监控系统。很多细节知识，一篇文章是不够的，本文主要介绍了核心知识点。 在企业级的微服务环境中，跑着成百上千个服务都算是比较小的规模了。在生产环境上，日志扮演着很重要的角色，排查异常需要日志，性能优化需要日志，业务排查需要业务等等。 也很难挖掘业务日志的数据价值。 那么将日志统一输出到一个地方集中管理，然后将日志处理化，把结果输出成运维、研发可用的数据是解决日志管理、协助运维的可行方案，也是企业迫切解决日志的需求。 所以我们采用了过滤、清洗、动态调整日志优先级采集等方案。首先把日志全量采集到 Kafka 集群中，设定一个很短的有效期。 我们目前设置的是一个小时，一个小时的数据量，我们的资源暂时还能接受。 可为 DBA 提供优化数据库的依据，如按查询的 SQL 创建索引。 高峰时段按业务类型的权重指标、日志等级指标、每个服务在一个时段内日志最大限制量指标、时间段指标等动态清洗过滤日志。
70330编辑于 2022-10-27 - 来自专栏全栈程序员必看
100TB大数据存储方案
sort=created 请问，在家里攒一套 100TB-200TB 的存储有什么架构方案可以借鉴的？ 假定你搭个 100个结点的集群，每个结点就是 100TB，然后每个结点以 175MB 的速度写入，大约需要一个星期写满，这还不包括冗余。 工作方式： 既然是一个集中化的磁盘阵列，那么就支持主机系统通过IP网络进行文件级别的数据访问，或通过光纤协议在SAN网络进行块级别的数据访问。 不同于Hadoop和Spark，Storm不进行数据的收集和存储工作，它直接通过网络实时的接受数据并且实时的处理数据，然后直接通过网络实时的传回结果。 Hadoop，Spark和Storm是目前最重要的三大分布式计算系统，Hadoop常用于离线的复杂的大数据处理，Spark常用于离线的快速的大数据处理，而Storm常用于在线的实时的大数据处理。
1.7K20编辑于 2022-11-08 - 来自专栏性能与架构
如何打造一个TB级微服务海量日志监控平台
本文主要介绍怎么使用 ELK Stack 帮助我们打造一个支撑起日产 TB 级的日志监控系统。在企业级的微服务环境中，跑着成百上千个服务都算是比较小的规模了。 也很难挖掘业务日志的数据价值。 那么将日志统一输出到一个地方集中管理，然后将日志处理化，把结果输出成运维、研发可用的数据是解决日志管理、协助运维的可行方案，也是企业迫切解决日志的需求。 所以我们采用了过滤、清洗、动态调整日志优先级采集等方案。首先把日志全量采集到 Kafka 集群中，设定一个很短的有效期。 我们目前设置的是一个小时，一个小时的数据量，我们的资源暂时还能接受。 所以从成本上考虑，我们在 Log Streams 服务引入了过滤器，过滤没有价值的日志数据，从而减少了日志服务使用的资源成本。 技术我们采用 Kafka Streams 作为 ETL 流处理。 可为 DBA 提供优化数据库的依据，如按查询的 SQL 创建索引。 高峰时段按业务类型的权重指标、日志等级指标、每个服务在一个时段内日志最大限制量指标、时间段指标等动态清洗过滤日志。
1.3K20发布于 2021-11-02 - 来自专栏气象学家
ERA5再分析数据、GPM L3降水数据下载(27TB、4TB)
目前，气象学家公众号分发的ERA5数据分为两部分： ERA5常规变量再分析数据，11TB左右 ERA5-land陆面高分辨率再分析数据，16TB左右 另外，GPM L3降水数据半小时/逐日的已上传至百度云盘 ERA5在4月14号发布的官方修正数据后，经过逐一匹对和校验，针对潜在可能存在缺陷的数据还是全部进行了重新下载，气象学家公众号分发的27TB数据中，目前只有再分析数据的常规变量中61个文件可能需要替换( ERA5-Land（~16TB）数据共享出来，在ECMWF的使用条款中合法的复制与分发都是符合规定的，不存在数据使用上的法律纠纷问题。 2.ERA5常规变量属性： 数据大小：11 TB （3块5TB盘拷贝） 数据格式：NetCDF (.nc) 存储方式：不同变量分开存放,每天1个文件(24时次) 时间：1979.1.1-2021.1.31 pageId=82870405#ERA5:datadocumentation-Table7 4.ERA5-LAND变量属性： 数据大小：~16TB （4块5TB盘拷贝） 数据格式：NetCDF (.nc
2.4K60发布于 2021-07-28 - 来自专栏祝威廉
Bug剖析篇-Facebook 60TB+级的Apache Spark应用案例
Facebook 60TB+级的Apache Spark应用案例 里大体有两方面的PR，一个是Bug Fix，一个是性能优化。这篇文章会对所有提及的Bug Issue进行一次解释和说明。 前言 Facebook 60TB+级的Apache Spark应用案例,本来上周就准备看的，而且要求自己不能手机看，要在电脑上细细的看。然而终究是各种忙拖到了昨天晚上。 输入流，返回一个迭代器(Iterator) 既然都是读取数据流，如果数据流因为某种异常原因关闭，那必然会抛出错误。 很多情况下，ReduceStage 去读取数据MapStage 的数据会失败，可能的原因比如有节点重启导致MapStage产生的数据有丢失，此外还有GC超时等。 Int的最大值，但是在特定数据分布下且数据集>268.43 million 并则会触发这个Bug。
50340发布于 2018-08-27 - 来自专栏CSDN技术头条
【问底】Yao Yu谈Twitter的百TB级Redis缓存实践
Timeline服务（一个数据中心）Hybrid List使用情况： 分配40TB左右的内存堆栈 3000万QPS（query per second） 超过6000个实例 BTtree（一个数据中心）使用状态 ： 分配65TB的内存堆栈 900万QPS 超过4000个实例 下文将会带你详细的学习BTree和Hybrid。 如果一个数据集的大小大于单Redis实例可以支撑的极限，或者单Redis实例并不能提供足够的吞吐量，key space需要被分割，数据则会横跨一组实例在多个分片上保存，路由器将会为key选择应该保存的数据分片 原文：How Twitter Uses Redis to Scale - 105TB RAM, 39MM QPS,10,000+ Instances （http://highscalability.com /blog/2014/9/8/how-twitter-uses-redis-to-scale-105tb-ram-39mm-qps-10000-ins.html） （编译/童阳 责编/仲浩）
1.2K70发布于 2018-02-08 - 来自专栏云计算行业
大咖分享预告丨云时代，如何防范TB级DDoS攻击？
直播预告 7月21日（周二）19:30 腾讯云大学将邀请 腾讯安全网络安全负责人 高毅 带来有关DDoS攻击防范的精彩分享 戳“阅读原文”或扫描“海报二维码”即可预约直播哦~👇 腾讯云大学公众号 长按识别二维码关注 “腾讯云大学” 了解更多免费、专业 行业最新技术动态分享 戳“阅读原文”即可预约直播噢！
39920编辑于 2023-05-29 - 来自专栏Loki
如何用LogQL在几秒内快速查询TB级的日志
LogQL是Loki特有的语句，在本文中，我们将提供LogQL的快速过滤器查询技巧，这些查询可以在几秒钟内过滤掉数TB的数据。 f4589efe176bbc31a54be86fc9b15532c69fa4a5] Label matchers Label matchers（标签匹配器）是你的第一道防线，是大幅减少你搜索的日志数量（例如，从100TB 到1TB）的最好方法。 基本上，标签应该定义的类型包括，工作负载、集群、命名空间和容器等，这样你就可以在多个不同的维度上对数据进行切分。 否则，你将不得不提取整个索引数据。 但有一个例外。
2.3K40发布于 2021-01-08 - 来自专栏光城(guangcity)
如何定位10TB数据查询错误？
1.首先通过debug包捞出计算后的数据，如果符合预期那么优化前后的数据应该是匹配的，数据规模是10TB，数据行数大约是1.3亿条，抓取多少条能分析出问题是一个比较重要的参数，于是设置了200进行对比 ，其结果如下： 图中左侧为正常数据，右侧为错误数据，可以看到的是丢了中间一部分数据，其余数据完全是对的，从sort算法的优化逻辑上来看，算法的bug率比较低。 所以可以先pass掉优化算法问题，应该是下游数据输入问题？带这这个问题继续深入。 ，这里恰好验证了前面的想法：数据输入侧有问题！ 经过两个关键点的分析，快速改了一版，验证后，数据恢复正常。本次调试在10TB数据规模下才复现的问题着实令人棘手，不过还能怎么办呢？当攒点经验吧。
20310编辑于 2024-01-23 - 来自专栏腾讯安全
产业安全专家谈丨云时代，企业如何防范TB级DDoS攻击？
现在攻击流量TB级时代已经到来了，这给我们防御方带来了很大的困扰。即使是简单粗暴的DDoS攻击也能在短时间内让企业提供的服务瘫痪，甚至可以直接摧毁企业的商业系统，给企业的经济和名誉带来巨大的损失。 还有就是我们会长时间对防御算法和防御策略进行更新迭代，宙斯盾团队中有10多名专家级的技术人员一直在做这方面的研究，包括动态黑客攻击手法的演练、攻击的发展趋势，经过长时间的积累才打造出了比较强大的DDoS 随着腾讯云在海外数据中心的建立，也同步建立了多个云清洗中心，我们可以为出海企业提供DDoS防护。除此之外,腾讯安全在网络层、应用层、主机层以及数据层等方面都拥有成熟的解决方案。 勒索、黑客、数据窃取、企业间的恶意竞争等因素，都可能成为发动DDoS攻击的原因。 情报方面，腾讯安全结合多年与黑灰产对抗经验，可对海量安全数据进行过滤和自动识别，形成威胁情报库。
1.4K40发布于 2020-05-18 - 来自专栏技术实操
如何构建Tb级DDoS攻击防御体系实现业务零中断？
本文系转载，转载链接：如何构建Tb级DDoS攻击防御体系实现业务零中断？ 面对大规模攻击，单点高防IP的防御能力需融合智能流量调度、协议级防护与全栈高可用架构。本文基于NIST网络安全框架与MITRE D3FEND策略，解析构建Tb级防御体系的6大技术模块。 +MACsec链路保护）2.负载均衡策略加权最小连接算法（服务器健康度动态评分）DNS智能解析（TTL动态调整至10-60秒）地理围栏策略（自动屏蔽攻击高发区域）四、全栈高可用架构1.冗余设计标准双活数据中心 （RPO=0，RTO<30秒）三副本数据存储（跨地域AZ分布）无状态服务设计（会话同步延迟<5ms）2.故障自愈机制毫秒级心跳检测（间隔50ms）自动流量切换（故障感知至切换完成<200ms）服务熔断降级 SYN Flood+HTTP Flood）业务延迟波动<5ms全年SLA达99.999%2.游戏行业方案清洗800Gbps Memcached反射攻击玩家掉线率维持0.02%以下防护成本降低40%构建Tb
35210编辑于 2025-09-16 - 来自专栏大数据成神之路
HBase TB级数据规模不停机迁移最佳实践
，可以帮助云上客户实现TB级数据规模不停机迁移 支持场景 HBase大版本升级， 1.x升级2.x 集群配置升级，8核16G升级为16核32G 集群网络环境变更，经典网络迁移到VPC 异地跨机房迁移 ，能够满足支持TB、PB级别的数据迁移 迁移速度可以动态配置 增量数据同步 异步解析源集群HDFS上的WALs并在目标集群进行回放，增量同步不会和源集群HBase进行交互 有完善的错误重试机制，实时监控任务速度和进度 BDS和HBase集群解耦，独立部署，避免对HBase集群CPU、内存等机器资源的占用 全量数据迁移、实时数据同步只访问源集群的HDFS，全程不会和HBase做交互，尽量避免对源集群业务产生的影响 可以动态调整全量数据迁移和实时数据同步的迁移速率 回到HBase数据源页面，添加数据源。 ? ? 步骤2：提交历史任务迁移 增量数据同步通道完成之后，接下来提交全量数据迁移任务，在任务管理里面我们选择HBase历史数据批量迁移，进入历史数据管理页面，点击创建任务，进入全量数据创建页面，选择对应的源集群和目标集群
2.2K60发布于 2019-09-25 - 来自专栏along的开发之旅
TiB、TB的区别
现在标准用法是Tib是二进制， TB是十进制。
7.8K20发布于 2019-08-01 - 来自专栏FreeBuf
黑客组织入侵西部数据，10TB数据遭窃
3月份黑客曾在一次网络攻击中窃取了西部数据的敏感信息。在调查确认了此事后，西部数据已将其商店下线，并向客户发送了数据泄露通知。 上周五下午，该公司通过电子邮件发送了数据泄露通知，称其数据库遭到攻击，存储在内的客户数据被盗。 作为一项安全措施，相关数据库以加密的形式存储了哈希密码（已加盐）和部分信用卡号码。 【西部数据公司的数据泄露通知】 西部数据一方面在继续调查此事件，同时也已将其商店做了下线处理。 西部数据遭遇网络攻击 3月26日，西部数据公司遭遇网络攻击，发现其网络遭到黑客攻击，公司数据被盗，随后发布了数据泄露通知。 据TechCrunch报道，一个“未命名”的黑客组织此前入侵了西部数据公司，并声称窃取了10tb的数据。
41540编辑于 2023-05-12
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号