华为EROFS 超级文件系统 华为早些年,发布了华为EROFS超级文件系统,全称为Enhanced Read-Only File System(可扩展的只读文件系统),自EMUI 9开始应用于华为手机上 这个技术也是华为自研鸿蒙系统的核心技术之一,迭代了几个版本后,性能和稳定性更加出众了。 目前国内如荣耀、OPPO等厂商都已经搭载了华为这个技术。
今天我带来的主要内容是自研PCDN系统技术架构与演进。演讲主要从四个方面进行分享。如何提高穿透率和分享率,在海外弱网环境下的实践,另外就是安全体系建设的一些方面。 1. (4)BGTP是我们自研发的基于GOP分片的流媒体传输协议。 3.1 各协议实际流媒体传输测试 我们在方案选择前做了测试。我们把QUIC、SRT、KCP在不丢包的情况下使用恒定码率进行了对比测试。 3.2 BGTP抗抖动 BGTP抗抖动没有特别复杂的技术。我们按照TS流通过封闭式GOP切片,每个GOP切片分组分包编号。 我们提炼了VERIMATRIX的一些机制,做了自己的版权保护体系。我们的版权保护体系有两个重要点,首先是节点认证体系,另外就是节点间传输加密。 4.2 PEER节点接入组网时候如何保证安全性? 自研PCDN技术总结 P2P打洞成功率和组网调度策略决定分享率高低; 海外网络环境极度复杂,弱网是首要解决的难题; 数字版权资源保护是海外推广落地敲门砖; 海外商业环境不同于国内,安全预警和安全防护需要并行
本次我们采访的是客户公司的技术负责人,李老师。一起听他说说在开源项目选型过程中所遇到的挑战以及最终选择ClkLog的原因吧。一、公司情况1. 为什么需要用户行为分析? 李老师:一开始我们其实是打算自研的,计划在开源项目的基础上做二次开发,这样可以更好地控制成本。所以我们的核心需求主要是三点:成本可控支持私有化部署易于灵活扩展2. 为什么最终选择ClkLog? 目前我们已在内部自研了一部分。此外,希望未来可以实现“从某个用户出发,查看其所有行为数据”的能力,这对用户分群和精细化运营非常有帮助。 这次回访的客户,原本计划是通过开源项目自研用户行为分析系统的,但最终在体验了社区版后选择了ClkLog商业版并顺利上线,这对我们来说是一种莫大的认可与鼓励。 我们特别开心看到,ClkLog能真正帮助技术团队提高部署、集成和验证的效率,让大家有更多时间专注于产品优化与业务价值的提升。
它的样子长这样: 这手势,这形状,不禁会让人想起下面这些“名场面”: 这也太像了吧…… 难道联想也在自研芯片?? 联想自研的是芯片吗? 联想发布LA2的时候,对它的介绍也就是短短几分钟的时间。 但了解芯片的朋友都知道,自研一款芯片并不是一件易事。 首先是自研芯技术的本身,难度可以说是堪比航天飞机,毕竟要在指甲盖大小的地方要“塞进”上亿个半导体元件,每个还都纳米级的,这种密集度的研发难度可见一斑。 最后,即便是技术和资金问题都解决了,但面对市场的竞争,是否能够存活又成了一个老大难的问题。 那么联想的LA2会是个PPT吗? 可能还真不是。 那么接下来的一个问题便是: 联想为什么要自研芯? 其实在LA2发布芯片之前的一段时间,联想CEO杨元庆就曾发出过暗示的信号: 不排除自研芯片的可能,也不排除合作的可能。
首先说 今天只能算是预热 氦卡的详细数据在下个月 火山引擎原动力大会会有详细披露 正是在去年的大会上第一代网卡亮相 字节推出800G RoCE网络和自研DPU卡 火山引擎已经公测上线第一代DPU智能网卡 从技术细节上讲 氦卡DPU的架构设计 与之前看过的方案并无二致 欢迎订阅:DPU&智能网卡专题 在这里着重看两点 一是火山引擎的虚拟化全加速 火山引擎自研虚拟交换放弃OVS! 在管理架构上,自研DPU板卡属于火山引擎云计算业务的创新中心,目标是探索未来五年可以做的业务。 据内部人士称,公司层面对自研DPU板块的ROI要求并不像其他项目一样清晰明确,也并不是评估完投入和收益之后再去做,“公司鼓励在创新业务上做积极探索,人力和财务都会有适度投入。 目前团队规模虽然并不算大,但已可以支撑自研DPU板卡的基本要求。”
这里可能解析不了数学公式,我说明下,y=log以1.023293为底(x+301)的对数,再+350的初始值
随着区块链技术的日趋成熟,一个完全自治的区块链生态系统不会仅仅是乌托邦,或将引导社会文明进入一个新阶段。
下面让我们共同回顾本次峰会中由硬件研发专家——孙敏博士呈现的《光模块:从自采到自研》的精彩内容。 光模块及应用 光模块首次站在技术大会的舞台,回顾了光模块产品从商用到自采,再到自研的发展历程。 从定制到自研 随着100G服务器的批量上线,200G网络进入量产应用,自研光模块产品的诞生也契合了整个网络从100G升级迭代到200G。 自研光模块的第一个目标就是要打破这个生态,即我们与芯片厂商直接讨论规格需求和成本(用量)需求,从而去实现真正的端到端的成本的竞争力。 进入自研阶段,我们要考虑的最重要的问题就是方案的设计和选择如何实现最大价值。 如果普通开发模式,为了满足交付,难以继续开发,但在自研模式下,我们就可以结合系统规格持续去推动方案的不断优化,把电芯片做到更加懂光,从而发挥出更大的技术优势。
这早已不是苹果首次在自己的产品中采用自研的芯片。实际上从手机处理器,到电源管理芯片、调制解调器芯片,苹果均有涉及。在芯片自研这条路上,苹果有着非比寻常的执念。 从苹果自研芯片的本意来看,苹果只是迫切希望借此加固自家护城河,同时摆脱来自高通、英特尔的影响,做到独立自主的掌控自己发展节奏的目的。但从苹果的自研历史来看,苹果自研芯片仍是不可逆转的趋势。 那么,苹果为什么还要搞自研芯片,尤其是现在自研基带芯片这种高难度的芯片呢? 其实,一言以蔽之,苹果的芯片供应商不是很给力,而苹果对保持领先有着异乎寻常的执念,这正是其下定决心做自研的关键。 说到底,该处理器使用的技术是基于ARM的架构技术,这种架构与英特尔芯片的底层架构截然不同。这意味着开发人员时间针对新研发组件优化自己的软件。 总之,苹果自研之后,环境适配仍然需要较长的时间,也存在一些不确定因素在里面。 自研之路不会终止 苹果自研芯片困难不少,但可以明确的是,苹果的自研之路不会就此停止。
ELKB(Elasticsearch、Logstash、Kibana、Beat的组合)是一套开源的分布式日志管理方案。凭借其检索性能高效、集群线性扩展、处理方式灵活、配置简单易上手等特点,ELKB在最近几年迅速崛起,成为实时日志处理领域的首要选择。Elasticsearch作为其中重要的一环, 主要提供分布式、可扩展且实时的数据储存分析与搜索功能。随着Elasticsearch的广泛使用,为了做好数据共享、访问隔离,防止用户误操作、数据泄露等,权限控制方面的需求愈来愈多。
SDK 形式,利用 threadlocal 实现 trace。http, grpc, rabbitMQ, springcloud-gateway, 异步线程池这类常见场景。
项目管理系统主要目的最开始是为了解决提高PMO手动出人效的效率,核心是计算产研人员效能。 2、自研项目管理系统,通过同步teambition把数据存储到研项目管理系统,把计算人效逻辑封装到后端服务中。 自研系统好处: 1)、锻炼后端开发技术 2)、PMO、产品、研发共建系统,拉起目标 3)、向上管理工具 自研系统缺点: 1)、产品缺乏架构设计 2)、项目质量一般 3)、服务架构单一 业务架构 如下图是当时 3、内部系统一样做好技术文档沉淀。 4、项目完成后做复盘。 5、测试环境和线上环境隔离。 6、内部系统一样提bug,标明优先级。 落地效果 有几点用: 1、老板的确很喜欢这种系统。 总结 研发效能开发会是未来趋势,大厂都开始自研内部效能系统了并且开始商业化了,为啥大家不计成本开始做研发效能呢,我觉得可能有几点思考: 1、随着自动化测试体系搭建,需要有一套流水线串联自动化测试。
前言 2022年9月2日,第二届SmartNIC & DPU技术创新峰会在北京成功举办。 今年在水杉和银杉已经历长时间上线和运营挑战的背景下,腾讯在第二届峰会上做了《行稳致远:腾讯自研DPU商用情况与技术演进》为主题的分享,以“行稳”和“致远”两个部分,介绍了腾讯自研DPU如何应对上线稳定运营 ,以及腾讯对未来长期演进的技术创新和思考。 目前,腾讯自研DPU已经支撑公有云外部客户,以及微信、QQ、腾讯会议等自研业务上云 。 图2 腾讯自研DPU公有云批量上线 腾讯自研DPU,对自研星星海服务器的多种CPU进行了全量适配。 基于腾讯自研的Smart EP技术,全量适配不同CPU架构服务器的BIOS扫描流程,包括Intel CPX/ICX/SPR, AMD Rome/Milan, Ampere等服务器架构。
很多项目因底层架构不匹配、自研试错成本过高,迟迟无法实现规模化落地。围绕这类实际工程痛点,结合企业级 Java AI 框架 JBoltAI 的设计思路,本文对相关问题与可行解法进行梳理。 自研封装缺乏标准,生产环境稳定性不足企业自主封装大模型调用接口时,通常需要自行实现请求调度、限流熔断、异常重试、日志监控等基础能力。 务实的转型可遵循四条基本原则:不更换现有 Java 技术栈;不对存量系统进行大规模重构;规避底层自研试错,降低实施风险;控制研发周期与总体投入,不超预算。 团队无需从零封装底层组件,可直接使用标准化模块接入大模型服务,减少因自研实现不规范带来的稳定性问题,保障业务连续可用。2. 四、总结Java 技术栈在企业级系统中仍占据核心地位,AI 转型的关键在于找到与现有体系匹配的工程化方案,而非盲目追求新技术替换。
前言 2022年9月2日,第二届SmartNIC & DPU技术创新峰会在北京成功举办。 今年在水杉和银杉已经历长时间上线和运营挑战的背景下,腾讯在第二届峰会上做了《行稳致远:腾讯自研DPU商用情况与技术演进》为主题的分享,以“行稳”和“致远”两个部分,介绍了腾讯自研DPU如何应对上线稳定运营 ,以及腾讯对未来长期演进的技术创新和思考。 目前,腾讯自研DPU已经支撑公有云外部客户,以及微信、QQ、腾讯会议等自研业务上云 。 图2 腾讯自研DPU公有云批量上线 腾讯自研DPU,对自研星星海服务器的多种CPU进行了全量适配。 基于腾讯自研的Smart EP技术,全量适配不同CPU架构服务器的BIOS扫描流程,包括Intel CPX/ICX/SPR, AMD Rome/Milan, Ampere等服务器架构。
9月11日,在2020腾讯全球数字生态大会原生技术专场,腾讯云就集中展示了在新基建和数字化转型领域多年来的自研技术积淀与产品服务,从自研服务器到自研数据中心,再到自研云端软件,揭开了腾讯云技术自研领域的全景图 未来,依托大量的技术积累与海量用户服务经验,腾讯云也将继续加速构建自研技术体系,为各行各业提供更优质的云计算服务。 在原生技术专场上,还有许多源于腾讯自研自用的原生技术,正依托腾讯云,以SaaS的形式为数字化提供助力。 从自研服务器到自研数据中心,再到自研云端软件,腾讯云已经在云计算技术自研领域进行了广泛布局。 腾讯云也正不断整合自身资源与经验,加速构建从基础设施层到应用层的全链路自研技术体系,为新基建做好技术储备。 ?
导语 回顾刚刚过去的2023年,在实时音视频场景,腾讯多媒体实验室与腾讯云实时音视频TRTC团队持续合作,从产品链路、技术底座等角度,针对视频画质、压缩性能进行了进一步深度优化,不断打磨包含自研264实时编码器 ——O264rt在内的各类底层技术。 02.数字背后的优化 30%,这是多媒体实验室自研264实时编码器O264rt在快速档位相比x264的画质提升。 在一对一通话的实际案例中,基于国产arm芯片的服务器接入自研264编码器后,在画质提升的同时,链路CPU占用从 35%,降低到了23%,优化比例超过34%。 作为实时音视频产品的技术底座,深耕方能积淀出核心竞争力,给用户带来更好的价值。 欢迎扫描下方二维码添加音视频小姐姐微信,与腾讯云产研团队直接沟通,了解更多详细信息。
只好另辟蹊径,尝试从整体和发展的角度,和一些“可能存在”的“向左(定制)还是向右(通用)”的权衡,来分析一下AWS为什么过去和现在要做芯片和硬件自研这些事情,以及未来要往何处去。 Xen AWS 2013,通过PCIe SR-IOV技术,正式引入了网络I/O硬件虚拟化。 Xen AWS 2017,通过PCIe SR-IOV技术,正式引入了本地存储I/O硬件虚拟化。 表1 AWS芯片自研综合分析 位置 类型 子类型 代号 分析&推测 服务器侧 CPU CPU Graviton 重要性:★★★★★CPU是数据中心算力的最核心器件,ARM服务器CPU反响不错,AWS应该会持续重金投入 预计未来AWS会自研GPGPU芯片,并加入EC2家族对外提供服务。 类似ZNS技术,AWS通过自研Nitro SSD跟Nitro DPU芯片更好地协同,给客户提供更稳定更安全的存储服务。
随着云技术以及容器技术的崛起,人肉运维的时代结束了 2018年为了解决日常运维中的痛点以及更高效的推进运维工作,我们自研并完善了几个工具系统,这些系统无一例外的帮我们节约了时间,提高了效率,这篇文章将分享介绍一下这些工具系统 这篇文章有详细介绍我们varian的工作过程:探秘varian:优雅的发布部署程序 varian的核心逻辑是把持续集成中的每一个小步骤拆分成独立的类或方法,最终根据项目类型的不同组装不同的类或方法,实现不同类型不同技术栈项目能够共用同一套持续集成程序 是从研发到上线整个过程自动化的一种思想,并不是某个工具或者某几个工具的集合,我一直在想如何才能将devops落到实处,18年基于当前的环境我们开发了以上的各种工具来帮助我们高效的工作,但这些工具系统相对分散,不能形成体系流程
自研网关系统已开源,求star 项目地址: 网关地址:https://gitee.com/starmark947618/starmark-gateway 网关系统,如果没有限流功能,感觉就没有了灵魂