- 综合排序
- 最热优先
- 最新优先
- 来自专栏推荐系统杂谈
哪来的TB级推荐模型
可以推算1TB左右大小的模型大概有130-250亿项Embedding，而每一项Embedding背后是一个离散特征，换言之TB级模型约等于常说到的百亿特征千亿参数模型。 哪来的百亿特征 推荐场景中最为庞大的特征组就是User和Item的ID，哪怕对于头部业务而言两者加起来无非也就10亿的量级，靠原始数据要凑出百亿特征几乎不可能。 可以用Item的ID和User的性别、年龄进行三联交叉派生，特征空间能达到Item量级的百倍，有亿级Item的场景光这一项就能产出百亿特征。 大维度Embedding vs 海量Embedding 如果没有百亿特征又想要TB级模型，是不是可以发扬“土法大炼钢”精神，把Embedding维度统统提到100以上呢？ 做大模型不是为了验证系统承载能力，而是为了更好记忆业务场景数据。尽管笔者并没有找到大维度Embedding不如海量Embedding的理论依据，不过据观察在当前的条件下细嚼慢咽依然比囫囵吞枣更有效。
92251编辑于 2022-08-08 - 来自专栏推荐系统杂谈
如何上线TB级推荐模型
百亿KV的压力图片 推荐上一篇文章说到所谓TB级模型主要的问题在于百亿离散特征，反映在物理层面就是由百亿KV对构成的Embedding表。 分布式Embedding服务 虽说拥有TB级内存的服务器已经不是什么稀罕物了，但是在云原生时代为一种服务准备专用机器不是什么好主意，一般来说还是考虑分布式服务。 以16维半精度Embedding计算，2万项请求数据回传是0.64MB，一个25G网卡的机器能带4K多QPS。 真正的软肋 说到TB级模型上线的困难，一般人很容易想起费内存和访问慢。从前文分析可知，访问其实并没有非常慢。 个人认为TB级模型上线真正的软肋在于更新难，模型更新与业务需求以及基础存储条件密切相关，本文暂不展开讨论，日后有机会再填坑。
50470编辑于 2022-08-08 - 来自专栏肉眼品世界
TB级微服务海量日志监控平台
cnblogs.com/dengbangpang/ p/12961593.html 我们的解决方案 我们的架构 日志可视化 ---- 本文主要介绍怎么使用 ELK Stack 帮助我们打造一个支撑起日产 TB 级的日志监控系统。 在企业级的微服务环境中，跑着成百上千个服务都算是比较小的规模了。在生产环境上，日志扮演着很重要的角色，排查异常需要日志，性能优化需要日志，业务排查需要业务等等。 也很难挖掘业务日志的数据价值。 那么将日志统一输出到一个地方集中管理，然后将日志处理化，把结果输出成运维、研发可用的数据是解决日志管理、协助运维的可行方案，也是企业迫切解决日志的需求。 所以我们采用了过滤、清洗、动态调整日志优先级采集等方案。首先把日志全量采集到 Kafka 集群中，设定一个很短的有效期。 我们目前设置的是一个小时，一个小时的数据量，我们的资源暂时还能接受。
1.8K30发布于 2021-10-27 - 来自专栏铭毅天下
Elasticsearch 8.X 如何生成 TB 级的测试数据 ?
1、实战问题 我只想插入大量的测试数据，不是想测试性能，有没有自动办法生成TB级别的测试数据？ 有工具？还是说有测试数据集之类的东西？ ——问题来源于 Elasticsearch 中文社区 https://elasticsearch.cn/question/13129 2、问题解析 其实类似的问题之前在社群也经常被问到。 ' # 调用 elasticsearch-faker 命令生成数据 elasticsearch-faker --verify-certs generate --doc-template doc_template.jinja2 https://172.121.10.114:9200 -n 1000 同时，编辑模版文件 doc_template.jinja2。 2.Filter a.ruby 过滤器用于执行 Ruby 代码。 b.代码片段内生成了一个 UUID 作为 regist_id。
1.2K20编辑于 2023-11-06 - 来自专栏生信情报站
Linux 挂载2TB以上硬盘
一、 检测硬盘设备 ls /dev |grep sd 以上代表： sda：第一块硬盘 sda1：sda的第一个分区 sda2：sda的第二个分区 sda3：以此类推 sdb：第二块硬盘 以此类推 二、新硬盘分区 给第二块硬盘（sdb）分区，构建 gpt 分区 命令： parted /dev/sdb mklabel gpt print mkpart primary 0KB 80TB Yes Ignore quit 2. 要挂载的设备或伪文件系统 挂载点 文件系统类型 挂载选项 转储频率 自检次序 /dev/sdb /opt/sdb ext4 auto 0 0 挂载的设备： (1) 设备文件：例如/dev/sda5 (2) sysfs, devtmpfs, configfs 挂载点： 事先存在；建议使用空目录； 进程正在使用中的设备无法被卸载； 挂载选项：defaults 转储频率： 0：不做备份 1：每天转储 2：
4.8K20发布于 2021-01-13 《深度剖析：Java ZGC 如何重塑 TB 级实时 AI 数据处理格局》
在ZGC横空出世之前，传统垃圾回收器在面对TB级实时AI数据处理时，暴露出诸多难以克服的弊端。实时AI数据处理的一大特点是数据的海量性与持续性，这使得内存中的对象数量与数据规模急剧膨胀。 在实时AI数据处理中，对内存的高效利用和快速回收至关重要，传统垃圾回收器显然难以满足这一需求。ZGC的出现，为TB级实时AI数据处理带来了曙光。 这使得它在处理TB级实时AI数据时，游刃有余，不会因为内存规模的庞大而出现性能瓶颈。无论是大规模的深度学习模型训练，还是海量数据的实时分析，ZGC都能提供稳定而高效的内存管理支持。 在TB级实时AI数据处理中，内存分配与释放的频率极高。ZGC通过优化内存分配算法，能够快速地为新的AI数据对象分配内存，同时及时回收不再使用的内存空间。 在实际应用中，已经有众多企业和项目成功地运用ZGC优化TB级实时AI数据处理。以某知名互联网公司为例，其在开发一款基于AI的实时推荐系统时，面临着海量用户数据的处理和分析任务。
18710编辑于 2025-06-08- 来自专栏对线JAVA面试
用ELK搭建TB级微服务海量日志监控系统
本文主要介绍怎么使用 ELK Stack 帮助我们打造一个支撑起日产 TB 级的日志监控系统。很多细节知识，一篇文章是不够的，本文主要介绍了核心知识点。 在企业级的微服务环境中，跑着成百上千个服务都算是比较小的规模了。在生产环境上，日志扮演着很重要的角色，排查异常需要日志，性能优化需要日志，业务排查需要业务等等。 也很难挖掘业务日志的数据价值。 那么将日志统一输出到一个地方集中管理，然后将日志处理化，把结果输出成运维、研发可用的数据是解决日志管理、协助运维的可行方案，也是企业迫切解决日志的需求。 所以我们采用了过滤、清洗、动态调整日志优先级采集等方案。首先把日志全量采集到 Kafka 集群中，设定一个很短的有效期。 我们目前设置的是一个小时，一个小时的数据量，我们的资源暂时还能接受。 可为 DBA 提供优化数据库的依据，如按查询的 SQL 创建索引。 高峰时段按业务类型的权重指标、日志等级指标、每个服务在一个时段内日志最大限制量指标、时间段指标等动态清洗过滤日志。
70930编辑于 2022-10-27 - 来自专栏Loki
如何用LogQL在几秒内查询TB级的日志
LogQL是Loki特有的语句，在本文中，我们将提供LogQL的快速过滤器查询技巧，这些查询可以在几秒钟内过滤掉数TB的数据。 在Loki中，我们可以使用三种类型的过滤器： ? Label matchers Label matchers（标签匹配器）是你的第一道防线，是大幅减少你搜索的日志数量（例如，从100TB到1TB）的最好方法。 基本上，标签应该定义的类型包括，工作负载、集群、命名空间和容器等，这样你就可以在多个不同的维度上对数据进行切分。 否则，你将不得不提取整个索引数据。 但有一个例外。 比如下面这个也一个很好的查询方式 {namespace="prod"} |= "traceID=2e2er8923100" 如果你想让这个traceID的所有日志都符合某个regex，可以在ID过滤器后面加上
1K20发布于 2021-05-13 - 来自专栏全栈程序员必看
100TB大数据存储方案
sort=created 请问，在家里攒一套 100TB-200TB 的存储有什么架构方案可以借鉴的？ 预算10万以内，性价比越高越好 带宽和吞吐量不是很重要，USB 3.0/千兆LAN 单出口都可以接受，软raid硬raid都行 可以是机柜形式，有单间机房 耗电无所谓，噪声小一点 可靠，2-3年内只需要更换坏掉的 假定你搭个 100个结点的集群，每个结点就是 100TB，然后每个结点以 175MB 的速度写入，大约需要一个星期写满，这还不包括冗余。 ceph 2.ceph，支持块ceph RBD，对象ceph RGW，文件cephfs；ceph RBD和ceph RGW比较成熟，在openstack社区比较火，做虚机块存储用的很多，cephfs的前期 不同于Hadoop和Spark，Storm不进行数据的收集和存储工作，它直接通过网络实时的接受数据并且实时的处理数据，然后直接通过网络实时的传回结果。
1.7K20编辑于 2022-11-08 - 来自专栏性能与架构
如何打造一个TB级微服务海量日志监控平台
本文主要介绍怎么使用 ELK Stack 帮助我们打造一个支撑起日产 TB 级的日志监控系统。在企业级的微服务环境中，跑着成百上千个服务都算是比较小的规模了。 也很难挖掘业务日志的数据价值。 那么将日志统一输出到一个地方集中管理，然后将日志处理化，把结果输出成运维、研发可用的数据是解决日志管理、协助运维的可行方案，也是企业迫切解决日志的需求。 所以我们采用了过滤、清洗、动态调整日志优先级采集等方案。首先把日志全量采集到 Kafka 集群中，设定一个很短的有效期。 我们目前设置的是一个小时，一个小时的数据量，我们的资源暂时还能接受。 所以从成本上考虑，我们在 Log Streams 服务引入了过滤器，过滤没有价值的日志数据，从而减少了日志服务使用的资源成本。 技术我们采用 Kafka Streams 作为 ETL 流处理。 可为 DBA 提供优化数据库的依据，如按查询的 SQL 创建索引。 高峰时段按业务类型的权重指标、日志等级指标、每个服务在一个时段内日志最大限制量指标、时间段指标等动态清洗过滤日志。
1.3K20发布于 2021-11-02 - 来自专栏气象学家
ERA5再分析数据、GPM L3降水数据下载(27TB、4TB)
目前，气象学家公众号分发的ERA5数据分为两部分： ERA5常规变量再分析数据，11TB左右 ERA5-land陆面高分辨率再分析数据，16TB左右 另外，GPM L3降水数据半小时/逐日的已上传至百度云盘 ERA5在4月14号发布的官方修正数据后，经过逐一匹对和校验，针对潜在可能存在缺陷的数据还是全部进行了重新下载，气象学家公众号分发的27TB数据中，目前只有再分析数据的常规变量中61个文件可能需要替换( ERA5-Land（~16TB）数据共享出来，在ECMWF的使用条款中合法的复制与分发都是符合规定的，不存在数据使用上的法律纠纷问题。 2.ERA5常规变量属性： 数据大小：11 TB （3块5TB盘拷贝） 数据格式：NetCDF (.nc) 存储方式：不同变量分开存放,每天1个文件(24时次) 时间：1979.1.1-2021.1.31 pageId=82870405#ERA5:datadocumentation-Table7 4.ERA5-LAND变量属性： 数据大小：~16TB （4块5TB盘拷贝） 数据格式：NetCDF (.nc
2.4K60发布于 2021-07-28 - 来自专栏Zchannel
影驰发布旗下最大容量SSD：2TB
现在，主打性价比的将系列又推出旗下影驰最大容量SSD，容量达到2TB的新款铠甲战将。 ? 闪存颗粒搭载东芝的15nm NAND，单颗容量128GB，PCB双面共分布16颗，组成2TB容量。 同时，还有两颗美光的1GB独立缓存，无需划分OP冗余缓存，可提升SSD性能和寿命。 影驰还透露了其部分性能实测数据。 ? ? CrystalDiskMark持续读写速度达到564MB/s，持续写入则达到415MB/s，基本上是SATA SSD的极限了。 ? ? 这款2TB的影驰铠甲战将定于5月份上市，具体价格未公布，相信仍会有很高的性价比。
68940发布于 2018-07-20 - 来自专栏CSDN技术头条
【问底】Yao Yu谈Twitter的百TB级Redis缓存实践
Timeline服务（一个数据中心）Hybrid List使用情况： 分配40TB左右的内存堆栈 3000万QPS（query per second） 超过6000个实例 BTtree（一个数据中心）使用状态 ： 分配65TB的内存堆栈 900万QPS 超过4000个实例 下文将会带你详细的学习BTree和Hybrid。 如果一个数据集的大小大于单Redis实例可以支撑的极限，或者单Redis实例并不能提供足够的吞吐量，key space需要被分割，数据则会横跨一组实例在多个分片上保存，路由器将会为key选择应该保存的数据分片 原文：How Twitter Uses Redis to Scale - 105TB RAM, 39MM QPS,10,000+ Instances （http://highscalability.com /blog/2014/9/8/how-twitter-uses-redis-to-scale-105tb-ram-39mm-qps-10000-ins.html） （编译/童阳 责编/仲浩）
1.2K70发布于 2018-02-08 - 来自专栏祝威廉
Bug剖析篇-Facebook 60TB+级的Apache Spark应用案例
Facebook 60TB+级的Apache Spark应用案例 里大体有两方面的PR，一个是Bug Fix，一个是性能优化。这篇文章会对所有提及的Bug Issue进行一次解释和说明。 前言 Facebook 60TB+级的Apache Spark应用案例,本来上周就准备看的，而且要求自己不能手机看，要在电脑上细细的看。然而终究是各种忙拖到了昨天晚上。 所以我们需要记录这个异常，对于1,2 两个我们只要catch住异常，然后将异常记录下来方便后续重新抛出。 那么什么时候抛出呢？ 迭代器有经典的hasNext/next方法,每次hasNext时，我们都检查下是否有Exception(来自1,2的)，如果有就抛出了。既然已经异常了，我们就应该不需要继续读取这个分区的数据了。 对于1，2两点，原来都是没有的，是这次Facebook团队加上去的。
50440发布于 2018-08-27 - 来自专栏云计算行业
大咖分享预告丨云时代，如何防范TB级DDoS攻击？
直播预告 7月21日（周二）19:30 腾讯云大学将邀请 腾讯安全网络安全负责人 高毅 带来有关DDoS攻击防范的精彩分享 戳“阅读原文”或扫描“海报二维码”即可预约直播哦~👇 腾讯云大学公众号 长按识别二维码关注 “腾讯云大学” 了解更多免费、专业 行业最新技术动态分享 戳“阅读原文”即可预约直播噢！
40120编辑于 2023-05-29 - 来自专栏Loki
如何用LogQL在几秒内快速查询TB级的日志
LogQL是Loki特有的语句，在本文中，我们将提供LogQL的快速过滤器查询技巧，这些查询可以在几秒钟内过滤掉数TB的数据。 到1TB）的最好方法。 基本上，标签应该定义的类型包括，工作负载、集群、命名空间和容器等，这样你就可以在多个不同的维度上对数据进行切分。 否则，你将不得不提取整个索引数据。 但有一个例外。 比如下面这个也一个很好的查询方式 {namespace="prod"} |= "traceID=2e2er8923100" 如果你想让这个traceID的所有日志都符合某个regex，可以在ID过滤器后面加上
2.3K40发布于 2021-01-08 - 来自专栏光城(guangcity)
如何定位10TB数据查询错误？
1.首先通过debug包捞出计算后的数据，如果符合预期那么优化前后的数据应该是匹配的，数据规模是10TB，数据行数大约是1.3亿条，抓取多少条能分析出问题是一个比较重要的参数，于是设置了200进行对比 ，其结果如下： 图中左侧为正常数据，右侧为错误数据，可以看到的是丢了中间一部分数据，其余数据完全是对的，从sort算法的优化逻辑上来看，算法的bug率比较低。 2.继续看第二点集群规模发生了变更，这导致了一个问题，plan发生了变更，由于这个优化功能是有开关的，如果下游的sort也走了这个优化就异常了，果不其然，集群缩容之后，plan下游多了一个sort，这个测试功能被异常进入 ，导致数据异常，这里恰好验证了前面的想法：数据输入侧有问题！ 经过两个关键点的分析，快速改了一版，验证后，数据恢复正常。本次调试在10TB数据规模下才复现的问题着实令人棘手，不过还能怎么办呢？当攒点经验吧。
20610编辑于 2024-01-23 - 来自专栏腾讯安全
产业安全专家谈丨云时代，企业如何防范TB级DDoS攻击？
近日，全球知名技术和市场调研公司Forrester发布了最新的Now Tech: DDoS Mitigation Services, Q2 2020，分析了近一阶段全球的DDoS攻击趋势和防御能力，同时对全球顶级的 现在攻击流量TB级时代已经到来了，这给我们防御方带来了很大的困扰。即使是简单粗暴的DDoS攻击也能在短时间内让企业提供的服务瘫痪，甚至可以直接摧毁企业的商业系统，给企业的经济和名誉带来巨大的损失。 Q2：受DDoS攻击的行业有哪些？都有哪些攻击方法？ 高毅：现在被攻击的行业主要还是以游戏行业为主，此外随着最近几年直播行业的火爆，直播行业面临的攻击也越来越多，包括还有一直比较火热的电商行业。 还有就是我们会长时间对防御算法和防御策略进行更新迭代，宙斯盾团队中有10多名专家级的技术人员一直在做这方面的研究，包括动态黑客攻击手法的演练、攻击的发展趋势，经过长时间的积累才打造出了比较强大的DDoS 随着腾讯云在海外数据中心的建立，也同步建立了多个云清洗中心，我们可以为出海企业提供DDoS防护。除此之外,腾讯安全在网络层、应用层、主机层以及数据层等方面都拥有成熟的解决方案。
1.4K40发布于 2020-05-18 - 来自专栏技术实操
如何构建Tb级DDoS攻击防御体系实现业务零中断？
本文系转载，转载链接：如何构建Tb级DDoS攻击防御体系实现业务零中断？ 面对大规模攻击，单点高防IP的防御能力需融合智能流量调度、协议级防护与全栈高可用架构。本文基于NIST网络安全框架与MITRE D3FEND策略，解析构建Tb级防御体系的6大技术模块。 30秒）三副本数据存储（跨地域AZ分布）无状态服务设计（会话同步延迟<5ms）2.故障自愈机制毫秒级心跳检测（间隔50ms）自动流量切换（故障感知至切换完成<200ms）服务熔断降级（异常实例隔离速率> 10万次/秒）五、攻击可视化与响应1.实时作战地图攻击流量三维热力图（地理/协议/目标三维展示）威胁情报叠加显示（关联暗网数据流）自动化攻击报告生成（符合ISO27001标准）2.智能响应体系规则自动生成 游戏行业方案清洗800Gbps Memcached反射攻击玩家掉线率维持0.02%以下防护成本降低40%构建Tb级DDoS防御体系需突破传统边界防护思维，通过分布式节点网络、AI驱动清洗引擎、全协议栈防护能力的深度整合
37310编辑于 2025-09-16 - 来自专栏大数据成神之路
HBase TB级数据规模不停机迁移最佳实践
，可以帮助云上客户实现TB级数据规模不停机迁移 支持场景 HBase大版本升级， 1.x升级2.x 集群配置升级，8核16G升级为16核32G 集群网络环境变更，经典网络迁移到VPC 异地跨机房迁移 ，能够满足支持TB、PB级别的数据迁移 迁移速度可以动态配置 增量数据同步 异步解析源集群HDFS上的WALs并在目标集群进行回放，增量同步不会和源集群HBase进行交互 有完善的错误重试机制，实时监控任务速度和进度 步骤2：购买BDS集群 详见《BDS服务开通》，开通了BDS之后，需要配置BDS访问的白名单，然后配置页面登陆的账户密码，进行BDS操作页面的登陆。 回到HBase数据源页面，添加数据源。 ? ? 步骤2：提交历史任务迁移 增量数据同步通道完成之后，接下来提交全量数据迁移任务，在任务管理里面我们选择HBase历史数据批量迁移，进入历史数据管理页面，点击创建任务，进入全量数据创建页面，选择对应的源集群和目标集群
2.2K60发布于 2019-09-25
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号