- 综合排序
- 最热优先
- 最新优先
- 来自专栏推荐系统杂谈
哪来的TB级推荐模型
可以推算1TB左右大小的模型大概有130-250亿项Embedding，而每一项Embedding背后是一个离散特征，换言之TB级模型约等于常说到的百亿特征千亿参数模型。 哪来的百亿特征 推荐场景中最为庞大的特征组就是User和Item的ID，哪怕对于头部业务而言两者加起来无非也就10亿的量级，靠原始数据要凑出百亿特征几乎不可能。 可以用Item的ID和User的性别、年龄进行三联交叉派生，特征空间能达到Item量级的百倍，有亿级Item的场景光这一项就能产出百亿特征。 大维度Embedding vs 海量Embedding 如果没有百亿特征又想要TB级模型，是不是可以发扬“土法大炼钢”精神，把Embedding维度统统提到100以上呢？ 做大模型不是为了验证系统承载能力，而是为了更好记忆业务场景数据。尽管笔者并没有找到大维度Embedding不如海量Embedding的理论依据，不过据观察在当前的条件下细嚼慢咽依然比囫囵吞枣更有效。
92251编辑于 2022-08-08 - 来自专栏推荐系统杂谈
如何上线TB级推荐模型
百亿KV的压力图片 推荐上一篇文章说到所谓TB级模型主要的问题在于百亿离散特征，反映在物理层面就是由百亿KV对构成的Embedding表。 与统一写入KV存储相比，更合理的做法是将这百亿KV对打成若干个数据包来提供服务。 分布式Embedding服务 虽说拥有TB级内存的服务器已经不是什么稀罕物了，但是在云原生时代为一种服务准备专用机器不是什么好主意，一般来说还是考虑分布式服务。 真正的软肋 说到TB级模型上线的困难，一般人很容易想起费内存和访问慢。从前文分析可知，访问其实并没有非常慢。 个人认为TB级模型上线真正的软肋在于更新难，模型更新与业务需求以及基础存储条件密切相关，本文暂不展开讨论，日后有机会再填坑。
50470编辑于 2022-08-08 - 来自专栏肉眼品世界
TB级微服务海量日志监控平台
cnblogs.com/dengbangpang/ p/12961593.html 我们的解决方案 我们的架构 日志可视化 ---- 本文主要介绍怎么使用 ELK Stack 帮助我们打造一个支撑起日产 TB 级的日志监控系统。 在企业级的微服务环境中，跑着成百上千个服务都算是比较小的规模了。在生产环境上，日志扮演着很重要的角色，排查异常需要日志，性能优化需要日志，业务排查需要业务等等。 也很难挖掘业务日志的数据价值。 那么将日志统一输出到一个地方集中管理，然后将日志处理化，把结果输出成运维、研发可用的数据是解决日志管理、协助运维的可行方案，也是企业迫切解决日志的需求。 所以我们采用了过滤、清洗、动态调整日志优先级采集等方案。首先把日志全量采集到 Kafka 集群中，设定一个很短的有效期。 我们目前设置的是一个小时，一个小时的数据量，我们的资源暂时还能接受。
1.8K30发布于 2021-10-27 - 来自专栏铭毅天下
Elasticsearch 8.X 如何生成 TB 级的测试数据 ?
1、实战问题 我只想插入大量的测试数据，不是想测试性能，有没有自动办法生成TB级别的测试数据？ 有工具？还是说有测试数据集之类的东西？ 实战业务场景中在没有大规模数据之前，可能会构造生成一些模拟数据，以实现性能测试等用途。 真实业务场景一般不愁数据的，包含但不限于： 生成数据 业务系统产生数据 互联网、设备等采集生成的数据 其他产生数据的场景..... 回归问题，Elasticsearch 8.X 如何构造呢？ 生成虚假数据的命令行工具。 "hits": [ { "_index": "test_index", "_id": "2ff2971b-bc51-44e6-bbf7-9881050d5b78
1.2K20编辑于 2023-11-06 《深度剖析：Java ZGC 如何重塑 TB 级实时 AI 数据处理格局》
在ZGC横空出世之前，传统垃圾回收器在面对TB级实时AI数据处理时，暴露出诸多难以克服的弊端。实时AI数据处理的一大特点是数据的海量性与持续性，这使得内存中的对象数量与数据规模急剧膨胀。 在实时AI数据处理中，对内存的高效利用和快速回收至关重要，传统垃圾回收器显然难以满足这一需求。ZGC的出现，为TB级实时AI数据处理带来了曙光。 这使得它在处理TB级实时AI数据时，游刃有余，不会因为内存规模的庞大而出现性能瓶颈。无论是大规模的深度学习模型训练，还是海量数据的实时分析，ZGC都能提供稳定而高效的内存管理支持。 在TB级实时AI数据处理中，内存分配与释放的频率极高。ZGC通过优化内存分配算法，能够快速地为新的AI数据对象分配内存，同时及时回收不再使用的内存空间。 在实际应用中，已经有众多企业和项目成功地运用ZGC优化TB级实时AI数据处理。以某知名互联网公司为例，其在开发一款基于AI的实时推荐系统时，面临着海量用户数据的处理和分析任务。
18710编辑于 2025-06-08- 来自专栏对线JAVA面试
用ELK搭建TB级微服务海量日志监控系统
本文主要介绍怎么使用 ELK Stack 帮助我们打造一个支撑起日产 TB 级的日志监控系统。很多细节知识，一篇文章是不够的，本文主要介绍了核心知识点。 在企业级的微服务环境中，跑着成百上千个服务都算是比较小的规模了。在生产环境上，日志扮演着很重要的角色，排查异常需要日志，性能优化需要日志，业务排查需要业务等等。 也很难挖掘业务日志的数据价值。 那么将日志统一输出到一个地方集中管理，然后将日志处理化，把结果输出成运维、研发可用的数据是解决日志管理、协助运维的可行方案，也是企业迫切解决日志的需求。 所以我们采用了过滤、清洗、动态调整日志优先级采集等方案。首先把日志全量采集到 Kafka 集群中，设定一个很短的有效期。 我们目前设置的是一个小时，一个小时的数据量，我们的资源暂时还能接受。 可为 DBA 提供优化数据库的依据，如按查询的 SQL 创建索引。 高峰时段按业务类型的权重指标、日志等级指标、每个服务在一个时段内日志最大限制量指标、时间段指标等动态清洗过滤日志。
70930编辑于 2022-10-27 - 来自专栏Loki
如何用LogQL在几秒内查询TB级的日志
LogQL是Loki特有的语句，在本文中，我们将提供LogQL的快速过滤器查询技巧，这些查询可以在几秒钟内过滤掉数TB的数据。 在Loki中，我们可以使用三种类型的过滤器： ? Label matchers Label matchers（标签匹配器）是你的第一道防线，是大幅减少你搜索的日志数量（例如，从100TB到1TB）的最好方法。 基本上，标签应该定义的类型包括，工作负载、集群、命名空间和容器等，这样你就可以在多个不同的维度上对数据进行切分。 否则，你将不得不提取整个索引数据。 但有一个例外。
1K20发布于 2021-05-13 - 来自专栏全栈程序员必看
100TB大数据存储方案
sort=created 请问，在家里攒一套 100TB-200TB 的存储有什么架构方案可以借鉴的？ 假定你搭个 100个结点的集群，每个结点就是 100TB，然后每个结点以 175MB 的速度写入，大约需要一个星期写满，这还不包括冗余。 目的并不是通用的文件系统，一般作为hadoop ecosystem的存储引擎； 5.moosefs 比较接近GoogleFS的c++实现，通过fuse支持了标准的posix，算是通用的文件系统，可惜社区不是太活跃； 6. 不同于Hadoop和Spark，Storm不进行数据的收集和存储工作，它直接通过网络实时的接受数据并且实时的处理数据，然后直接通过网络实时的传回结果。 Hadoop，Spark和Storm是目前最重要的三大分布式计算系统，Hadoop常用于离线的复杂的大数据处理，Spark常用于离线的快速的大数据处理，而Storm常用于在线的实时的大数据处理。
1.7K20编辑于 2022-11-08 - 来自专栏Java,后端开发,网站开发,数据结构,算法分析.
数据结构-6.优先级队列
文章专栏: Java-数据结构 若有问题 评论区见 欢迎大家点赞 评论 收藏 分享 如果你不知道分享给谁,那就分享给薯条. 1.优先级队列 1.1概念 前面介绍过队列， 队列是一种先进先出 (FIFO ) 的数据结构 ，但有些情况下， 操作的数据可能带有优先级，一般出队 列时，可能需要优先级高的元素先出队列 ，该中场景下，使用队列显然不合适，比如：在手机上玩游戏的时候，如 果有来电，那么系统应该优先处理打进来的电话 在这种情况下， 数据结构应该提供两个最基本的操作，一个是返回最高优先级对象，一个是添加新的对象 。这种数据结构就是优先级队列 (Priority Queue) 。 2. 优先级队列的模拟实现 JDK1.8 中的 PriorityQueue 底层使用了堆这种数据结构 ，而堆实际就是在完全二叉树的基础上进行了一些调整。 PriorityQueue 底层使用了堆数据结构 6.
25400编辑于 2024-11-19 - 来自专栏架构师修炼
6亿数据秒级查询，ClickHouse太快了！
ClickHouse 在数据分析技术领域早已声名远扬，最近由于项目需求使用到了 ClickHouse 做分析数据库，于是用测试环境做了一个单表 6 亿数据量的性能测试。 ? ，先看一下数据量和空间占用情况。 扫描行数：600,040,000，大约 6 亿。 耗时（秒）：1.242。 查询列数：3。 结果行数：56。 在当前软硬件环境下，扫描 6 亿多行数据，常见的分析语句首次运行最慢在 8 秒左右能返回结果。 相同的分析逻辑更换条件再次查询的时候效率有明显的提升，可以缩短到 1 秒左右。 如果只是简单的列查询没有加减乘除、聚合等逻辑，扫描全表 6 亿多行数据首次查询基本可以在 2 秒内执行完成。
3.1K20发布于 2021-04-12 - 来自专栏性能与架构
如何打造一个TB级微服务海量日志监控平台
本文主要介绍怎么使用 ELK Stack 帮助我们打造一个支撑起日产 TB 级的日志监控系统。在企业级的微服务环境中，跑着成百上千个服务都算是比较小的规模了。 也很难挖掘业务日志的数据价值。 那么将日志统一输出到一个地方集中管理，然后将日志处理化，把结果输出成运维、研发可用的数据是解决日志管理、协助运维的可行方案，也是企业迫切解决日志的需求。 所以我们采用了过滤、清洗、动态调整日志优先级采集等方案。首先把日志全量采集到 Kafka 集群中，设定一个很短的有效期。 我们目前设置的是一个小时，一个小时的数据量，我们的资源暂时还能接受。 所以从成本上考虑，我们在 Log Streams 服务引入了过滤器，过滤没有价值的日志数据，从而减少了日志服务使用的资源成本。 技术我们采用 Kafka Streams 作为 ETL 流处理。 可为 DBA 提供优化数据库的依据，如按查询的 SQL 创建索引。 高峰时段按业务类型的权重指标、日志等级指标、每个服务在一个时段内日志最大限制量指标、时间段指标等动态清洗过滤日志。
1.3K20发布于 2021-11-02 - 来自专栏气象学家
ERA5再分析数据、GPM L3降水数据下载(27TB、4TB)
目前，气象学家公众号分发的ERA5数据分为两部分： ERA5常规变量再分析数据，11TB左右 ERA5-land陆面高分辨率再分析数据，16TB左右 另外，GPM L3降水数据半小时/逐日的已上传至百度云盘 ERA5在4月14号发布的官方修正数据后，经过逐一匹对和校验，针对潜在可能存在缺陷的数据还是全部进行了重新下载，气象学家公众号分发的27TB数据中，目前只有再分析数据的常规变量中61个文件可能需要替换( ERA5-Land（~16TB）数据共享出来，在ECMWF的使用条款中合法的复制与分发都是符合规定的，不存在数据使用上的法律纠纷问题。 2.ERA5常规变量属性： 数据大小：11 TB （3块5TB盘拷贝） 数据格式：NetCDF (.nc) 存储方式：不同变量分开存放,每天1个文件(24时次) 时间：1979.1.1-2021.1.31 pageId=82870405#ERA5:datadocumentation-Table7 4.ERA5-LAND变量属性： 数据大小：~16TB （4块5TB盘拷贝） 数据格式：NetCDF (.nc
2.4K60发布于 2021-07-28 - 来自专栏CSDN技术头条
【问底】Yao Yu谈Twitter的百TB级Redis缓存实践
Timeline服务（一个数据中心）Hybrid List使用情况： 分配40TB左右的内存堆栈 3000万QPS（query per second） 超过6000个实例 BTtree（一个数据中心）使用状态 ： 分配65TB的内存堆栈 900万QPS 超过4000个实例 下文将会带你详细的学习BTree和Hybrid。 如果一个数据集的大小大于单Redis实例可以支撑的极限，或者单Redis实例并不能提供足够的吞吐量，key space需要被分割，数据则会横跨一组实例在多个分片上保存，路由器将会为key选择应该保存的数据分片 原文：How Twitter Uses Redis to Scale - 105TB RAM, 39MM QPS,10,000+ Instances （http://highscalability.com /blog/2014/9/8/how-twitter-uses-redis-to-scale-105tb-ram-39mm-qps-10000-ins.html） （编译/童阳 责编/仲浩）
1.2K70发布于 2018-02-08 - 来自专栏祝威廉
Bug剖析篇-Facebook 60TB+级的Apache Spark应用案例
Facebook 60TB+级的Apache Spark应用案例 里大体有两方面的PR，一个是Bug Fix，一个是性能优化。这篇文章会对所有提及的Bug Issue进行一次解释和说明。 前言 Facebook 60TB+级的Apache Spark应用案例,本来上周就准备看的，而且要求自己不能手机看，要在电脑上细细的看。然而终究是各种忙拖到了昨天晚上。 输入流，返回一个迭代器(Iterator) 既然都是读取数据流，如果数据流因为某种异常原因关闭，那必然会抛出错误。 很多情况下，ReduceStage 去读取数据MapStage 的数据会失败，可能的原因比如有节点重启导致MapStage产生的数据有丢失，此外还有GC超时等。 Int的最大值，但是在特定数据分布下且数据集>268.43 million 并则会触发这个Bug。
50440发布于 2018-08-27 - 来自专栏云计算行业
大咖分享预告丨云时代，如何防范TB级DDoS攻击？
直播预告 7月21日（周二）19:30 腾讯云大学将邀请 腾讯安全网络安全负责人 高毅 带来有关DDoS攻击防范的精彩分享 戳“阅读原文”或扫描“海报二维码”即可预约直播哦~👇 腾讯云大学公众号 长按识别二维码关注 “腾讯云大学” 了解更多免费、专业 行业最新技术动态分享 戳“阅读原文”即可预约直播噢！
40120编辑于 2023-05-29 - 来自专栏Loki
如何用LogQL在几秒内快速查询TB级的日志
1610072294;1610079494&q-key-time=1610072294;1610079494&q-header-list=&q-url-param-list=&q-signature=c2183f6b9da6ee929eed9dc690e8676ac13d8a27 LogQL是Loki特有的语句，在本文中，我们将提供LogQL的快速过滤器查询技巧，这些查询可以在几秒钟内过滤掉数TB的数据。 在Loki中，我们可以使用三种类型的过滤器： [yvy3gj6tru.png? 到1TB）的最好方法。 否则，你将不得不提取整个索引数据。 但有一个例外。
2.3K40发布于 2021-01-08 - 来自专栏光城(guangcity)
如何定位10TB数据查询错误？
1.首先通过debug包捞出计算后的数据，如果符合预期那么优化前后的数据应该是匹配的，数据规模是10TB，数据行数大约是1.3亿条，抓取多少条能分析出问题是一个比较重要的参数，于是设置了200进行对比 ，其结果如下： 图中左侧为正常数据，右侧为错误数据，可以看到的是丢了中间一部分数据，其余数据完全是对的，从sort算法的优化逻辑上来看，算法的bug率比较低。 所以可以先pass掉优化算法问题，应该是下游数据输入问题？带这这个问题继续深入。 ，这里恰好验证了前面的想法：数据输入侧有问题！ 经过两个关键点的分析，快速改了一版，验证后，数据恢复正常。本次调试在10TB数据规模下才复现的问题着实令人棘手，不过还能怎么办呢？当攒点经验吧。
20610编辑于 2024-01-23 - 来自专栏腾讯安全
产业安全专家谈丨云时代，企业如何防范TB级DDoS攻击？
现在攻击流量TB级时代已经到来了，这给我们防御方带来了很大的困扰。即使是简单粗暴的DDoS攻击也能在短时间内让企业提供的服务瘫痪，甚至可以直接摧毁企业的商业系统，给企业的经济和名誉带来巨大的损失。 还有就是我们会长时间对防御算法和防御策略进行更新迭代，宙斯盾团队中有10多名专家级的技术人员一直在做这方面的研究，包括动态黑客攻击手法的演练、攻击的发展趋势，经过长时间的积累才打造出了比较强大的DDoS Q6：国内企业在出海过程中主要面临的安全威胁有哪些？腾讯安全能为这些企业提供哪些帮助？ 随着腾讯云在海外数据中心的建立，也同步建立了多个云清洗中心，我们可以为出海企业提供DDoS防护。除此之外,腾讯安全在网络层、应用层、主机层以及数据层等方面都拥有成熟的解决方案。 勒索、黑客、数据窃取、企业间的恶意竞争等因素，都可能成为发动DDoS攻击的原因。
1.4K40发布于 2020-05-18 - 来自专栏技术实操
如何构建Tb级DDoS攻击防御体系实现业务零中断？
本文系转载，转载链接：如何构建Tb级DDoS攻击防御体系实现业务零中断？ 在数字化攻击愈演愈烈的当下，DDoS攻击峰值已突破3.8Tbps（根据Cloudflare 2023年报告），全球超过37%的企业曾遭遇业务中断超过6小时。 面对大规模攻击，单点高防IP的防御能力需融合智能流量调度、协议级防护与全栈高可用架构。本文基于NIST网络安全框架与MITRE D3FEND策略，解析构建Tb级防御体系的6大技术模块。 （RPO=0，RTO<30秒）三副本数据存储（跨地域AZ分布）无状态服务设计（会话同步延迟<5ms）2.故障自愈机制毫秒级心跳检测（间隔50ms）自动流量切换（故障感知至切换完成<200ms）服务熔断降级 SYN Flood+HTTP Flood）业务延迟波动<5ms全年SLA达99.999%2.游戏行业方案清洗800Gbps Memcached反射攻击玩家掉线率维持0.02%以下防护成本降低40%构建Tb
37510编辑于 2025-09-16 - 来自专栏数据猿
佳能10TB用户数据被盗，云照片和视频存储服务被迫中断6天
大数据产业创新服务媒体 ——聚焦数据 · 改变商业 ---- 数据猿报道，在2020年7月30日，佳能提供的免费云端照片和视频存储服务image.canon遭到来自黑客的勒索软件攻击被迫中断服务，直到6 天后的8月4日才恢复，使得高达10GB的用户数据丢失。 Maze也宣称，他们发起了攻击并偷走了包括私有数据库等在内的 10TB 数据，但拒绝进一步披露包括赎金数额、被加密设备数量等细节。
70130发布于 2020-08-10
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号