首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏音视频技术

    海外PCDN系统技术架构与演进

    ,保证弱网的用户体验和内容版权的保护中采用的技术,架构演进及实际落地效果展示。 文 / 张道远 整理 / LiveVideoStack 大家好,我是来自深圳市小溪流科技有限公司的系统架构师张道远,主要负责公司PCDN的系统架构设计。 今天我带来的主要内容是PCDN系统技术架构与演进。演讲主要从四个方面进行分享。如何提高穿透率和分享率,在海外弱网环境下的实践,另外就是安全体系建设的一些方面。 1. (4)BGTP是我们研发的基于GOP分片的流媒体传输协议。 3.1 各协议实际流媒体传输测试 我们在方案选择前做了测试。我们把QUIC、SRT、KCP在不丢包的情况下使用恒定码率进行了对比测试。 PCDN技术总结 P2P打洞成功率和组网调度策略决定分享率高低; 海外网络环境极度复杂,弱网是首要解决的难题; 数字版权资源保护是海外推广落地敲门砖; 海外商业环境不同于国内,安全预警和安全防护需要并行

    5.6K41发布于 2020-02-19
  • 来自专栏全栈程序员必看

    dpu芯片_三星放弃架构

    近日,专注于智能计算领域的DPU芯片和解决方案公司中科驭数发布了其下一代DPU芯片计划,将基于的KPU(Kernel Processing Unit)芯片架构,围绕网络协议处理、数据库和大数据处理加速 2019年成功流片业内首颗数据库与时序数据处理融合加速芯片 KPU架构是中科驭数创始团队近十年在体系结构方面研究成果和研发经验的积累。 在KPU架构下,中科驭数研发了国内首款芯片级完善的L2/L3/L4层全网络协议处理核,推出了直接面向OLAP、OLTP及类SQL处理的数据查询处理核,而没有采用原来众核为主的架构。” 据鄢贵海介绍,异构核架构将带来更高效的数据处理效率、获得更直接的使用接口,以及更佳的虚拟化支持。 中科驭数K2芯片架构 以KPU架构为核心,在2019年流片第一颗芯片的基础上,中科驭数宣布了其下一颗DPU芯片研发计划,功能层面包括完善的L2/ L3/L4层的网络协议处理,可处理高达200G网络带宽数据

    47340编辑于 2022-10-04
  • 来自专栏量子位

    联想芯片???

    它的样子长这样: 这手势,这形状,不禁会让人想起下面这些“名场面”: 这也太像了吧…… 难道联想也在芯片?? 联想的是芯片吗? 联想发布LA2的时候,对它的介绍也就是短短几分钟的时间。 更确切的来说,LA2所做的工作是将不同架构的核心做了一个集成。 再深挖其结构,主要包含了RISC-V架构的CPU、GPU、NN神经网络核心、MCU、DSP等。 但了解芯片的朋友都知道,一款芯片并不是一件易事。 首先是芯技术的本身,难度可以说是堪比航天飞机,毕竟要在指甲盖大小的地方要“塞进”上亿个半导体元件,每个还都纳米级的,这种密集度的研发难度可见一斑。 那么接下来的一个问题便是: 联想为什么要芯? 其实在LA2发布芯片之前的一段时间,联想CEO杨元庆就曾发出过暗示的信号: 不排除芯片的可能,也不排除合作的可能。

    54930发布于 2021-11-23
  • 来自专栏腾讯云数据库(TencentDB)

    腾讯云数据库CynosDB存储架构揭秘

    本文作者:许中清,腾讯云数据库CynosDB的分布式存储CynosStore负责人。从事数据库内核开发、数据库产品架构和规划。 CynosDB for PostgreSQL是腾讯云的一款云原生数据库,其主要核心思想来自于亚马逊的云数据库服务Aurora。这种核心思想就是“基于日志的存储”和“存储计算分离”。 同时,CynosDB在架构和工程实现上确实有很多和Aurora不一样的地方。 下图为CynosDB for PostgreSQL的产品架构图,CynosDB是一个基于共享存储、支持一写多读的数据库集群。 从实例将至少需要保留主实例自从上次checkpoint以来所有产生的日志,一旦从实例产生cache miss,只能从存储上读取上次checkpoint的base页,并在此基础上重放日志缓存中上次checkpoint

    14.1K150发布于 2018-12-26
  • 来自专栏猿天地

    喜马拉雅网关架构演进过程

    网关在架构设计时最为关键点,就是网关在接收到请求,调用后端服务时不能阻塞Block,否则网关的吞吐量很难上去,因为最耗时的就是调用后端服务这个远程调用过程,如果这里是阻塞的,那你的Tomcat的工作线程都 架构图如下: ? 基于Netty的优势,我们实现了全异步、无锁、分层的架构。 先看下我们基于Netty做接入端的架构图: ? 总体架构 ? ? 性能优化实践 ?

    71930发布于 2021-03-12
  • 来自专栏腾讯安全应急响应中心

    腾讯HIDS「洋葱」后台上云架构演进实践

    文|Louis、Jaylam 导语 “洋葱”系统是腾讯的主机入侵检测系统(HIDS),能够实时采集服务器上的各种行为并进行实时关联分析和落地存储,承载公司所有的服务器、虚拟机和容器的入侵防护、漏洞检测 洋葱作为公司的老牌安全系统,从2007年开始预,经过几代洋葱人的不断努力,洋葱的功能不断完善、架构几经迭代,满足了公司的服务器安全需求。现在进入云计算时代,洋葱也要跟随业务拥抱云原生和DevOps。 因此,我们这次改造的目标是:通过这次架构升级,提升以上几方面能力。 下面是一个CI流水线的实践样版: [516dfa3dcae99753fd594427e3cb6f89.png] 流水线包括以下几个功能: 代码提交触发 企业微信推送MR,提醒等 单元测试、代码检查 关联智效提升 原有功能从开发完成到发布耗时由原有的2~3天缩短至1小时内。

    2.1K180发布于 2021-06-17
  • 来自专栏CodeGuide | 程序员编码指南

    API 网关 - 媲美美团这套Shepherd网关架构

    并且我们所设计的API网关架构模型也都是类似的! 类似的架构设计,并不会让我多惊讶。因为API网关所实现的目标一致,在同一目标下如果研发思考高度一致,那么就不需要太多技术认知对其。 有了这样一个基础认知以后,我们在来讲解几个重要的核心模块设计和实现,包括;整体架构、注册中心、服务发现、协议转换。 1. 整体架构 这里有2张API网关架构图,一张是美团技术团队的,一张是小傅哥设计的。 1.1 API网关架构图-美团 Shepherd API 网关的数据面也就是 Shepherd 服务端。 注意:美团的这张技术架构图图应该是简化的,整体架构并不会比小傅哥设计的简单。 那么小傅哥再做这套架构和编码时,特别注重整体的架构设计和编码实现。接下来我给大家举例看看这套代码中的代码实现。 1.

    1K30编辑于 2023-06-13
  • 来自专栏架构之家

    喜马拉雅网关架构演进过程

    Copy,预发布,智能化升降级,流量预热等相关功能,下面就我们网关在这些方便的一些实践经验以及发展历程,下面是喜马拉雅网关的演化过程: 第一版 Tomcat nio + AsyncServlet 网关在架构设计时最为关键点 否则网关的吞吐量很难上去,因为最耗时的就是调用后端服务这个远程调用过程,如果这里是阻塞的,Tomcat 的工作线程都 block 主了,在等待后端服务响应的过程中,不能去处理其他的请求,这个地方一定要异步 架构图如下 第二版 Netty + 全异步 基于 Netty 的优势,我们实现了全异步,无锁,分层的架构 先看下我们基于 Netty 做接入端的架构图 接入层 Netty 的 IO 线程,负责 HTTP 协议的编解码工作 (架构之家公众号:itfly8) 经过改造后,我们只取正常大小的部分,同时标记协议解析失败,到业务层后,就可以判断出是那个服务出现这类问题,其他的一些攻击性的请求,比如只发请求头,不发 body 或者发部分这些都需要监控和报警 (架构之家公众号:itfly8) 还有就是如果端上的请求带了 connection:close,那 Tomcat 就不等这个连接重用到 100 次,即一次就关闭,通过在响应头里添加 Connection

    49220编辑于 2022-07-12
  • 来自专栏Java工程师成长之路

    信用分计算(

    这里可能解析不了数学公式,我说明下,y=log以1.023293为底(x+301)的对数,再+350的初始值

    75410发布于 2019-09-10
  • 来自专栏鹅厂网事

    峰会回顾 | 光模块:从采到

    下面让我们共同回顾本次峰会中由硬件研发专家——孙敏博士呈现的《光模块:从采到》的精彩内容。 光模块及应用 光模块首次站在技术大会的舞台,回顾了光模块产品从商用到采,再到的发展历程。 从定制到 随着100G服务器的批量上线,200G网络进入量产应用,光模块产品的诞生也契合了整个网络从100G升级迭代到200G。 光模块的第一个目标就是要打破这个生态,即我们与芯片厂商直接讨论规格需求和成本(用量)需求,从而去实现真正的端到端的成本的竞争力。 进入阶段,我们要考虑的最重要的问题就是方案的设计和选择如何实现最大价值。 光模块模式下,充分利用已经成熟的100G模块的封装平台,同时针对性的做一些升级改造,是满足质量稳定性,开发效率以及低成本等诉求的最好解决方案。

    1.8K40编辑于 2022-01-04
  • 来自专栏刘旷专栏

    苹果芯片:步步惊心

    这早已不是苹果首次在自己的产品中采用的芯片。实际上从手机处理器,到电源管理芯片、调制解调器芯片,苹果均有涉及。在芯片这条路上,苹果有着非比寻常的执念。 从苹果芯片的本意来看,苹果只是迫切希望借此加固自家护城河,同时摆脱来自高通、英特尔的影响,做到独立自主的掌控自己发展节奏的目的。但从苹果的历史来看,苹果芯片仍是不可逆转的趋势。 那么,苹果为什么还要搞芯片,尤其是现在基带芯片这种高难度的芯片呢? 其实,一言以蔽之,苹果的芯片供应商不是很给力,而苹果对保持领先有着异乎寻常的执念,这正是其下定决心做的关键。 说到底,该处理器使用的技术是基于ARM的架构技术,这种架构与英特尔芯片的底层架构截然不同。这意味着开发人员时间针对新研发组件优化自己的软件。 总之,苹果之后,环境适配仍然需要较长的时间,也存在一些不确定因素在里面。 之路不会终止 苹果芯片困难不少,但可以明确的是,苹果的之路不会就此停止。

    59120发布于 2020-06-12
  • 来自专栏腾讯云数据库团队的专栏

    Elasticsearch 权限系统介绍

         ELKB(Elasticsearch、Logstash、Kibana、Beat的组合)是一套开源的分布式日志管理方案。凭借其检索性能高效、集群线性扩展、处理方式灵活、配置简单易上手等特点,ELKB在最近几年迅速崛起,成为实时日志处理领域的首要选择。Elasticsearch作为其中重要的一环, 主要提供分布式、可扩展且实时的数据储存分析与搜索功能。随着Elasticsearch的广泛使用,为了做好数据共享、访问隔离,防止用户误操作、数据泄露等,权限控制方面的需求愈来愈多。

    1.7K21发布于 2018-10-28
  • 来自专栏小工匠聊架构

    Nacos架构与原理 - Distro 协议 (AP分布式协议)

    ---- 背景 Distro 协议是 Nacos 社区的⼀种 AP 分布式协议,是面向临时实例设计的⼀种分布式协议,其保证了在某些 Nacos 节点宕机后,整个临时实例处理系统依旧可以正常工作。

    90550编辑于 2023-07-11
  • 来自专栏机器之心

    高通的架构芯片,正在整合生成式AI世界

    在性能提升的背后,骁龙 8 至尊版从里到外,有了脱胎换骨的改变: 首先是 CPU,它成功地把高通架构的桌面级能力带到了手机上,采用第二代定制高通 Oryon CPU,由两个主频为 4.32 GHz AI 能力方面,在骁龙 8 至尊版上,全新架构的 Hexagon NPU 性能提升 45%,能效提升 45%,这得益于所有加速器内核的吞吐量提升。 在采用 Oryon CPU 的骁龙 8 至尊版发布之后,再加上高通的 Adreno GPU、Spectra ISP 和 Hexagon NPU 等,高通补齐了 SoC 的最后一块拼图,也统一了 PC、手机、汽车三条产品线的芯片架构芯片架构的意义,在于能够根据不同产品线的需求,对 CPU 进行微架构层面的调优和定制。与此同时,高通 AI 软件栈(AI Stack)也在不同产品线的 AI 部署中作用显著。

    50200编辑于 2025-02-14
  • 来自专栏镁客网

    三星放弃CPU架构,转向投入GPU研发项目

    放弃架构的三星将再次投入Arm怀抱。 策划&撰写:韩璐 有消息称,三星将停止CPU核心,完全转向ARM公版架构。 据了解,三星从2016年开始在芯片上使用架构“猫鼬(Mongoose)”,与之一起的还有高通(魔改公版架构)。 对比双方各自采用架构的芯片,性能表现上旗鼓相当,但从2019年开始,三星采用猫鼬架构的Exynos系列芯片渐渐不能与高通、华为海思同级别芯片拉开实质差距。 2016年到现在,三星架构猫鼬已经升级至第五代。就在此前不久,三星带来了自己最新芯片Exynos 990,该芯片架构为2颗M5+2颗A76+4颗A55,没有集成任何基带,可以外挂5G基带使用。 由此来看,虽然三星放弃了CPU架构,但它似乎有意在GPU方面再次发力。

    54720发布于 2019-11-07
  • 来自专栏代码人生

    springcloud trace SDK 方案

    SDK 形式,利用 threadlocal 实现 trace。http, grpc, rabbitMQ, springcloud-gateway, 异步线程池这类常见场景。

    83110编辑于 2021-12-08
  • 来自专栏深度学习与python

    剧透,美团API网关服务Shepherd架构解读 | ArchSummit

    API 网关是随着微服务这个概念一起兴起的一种架构模式。 美团 API 网关服务 Shepherd 在这个背景下应运而生,适应美团业务特点完全,用于替换传统的 Web 层网关应用,业务研发人员通过配置的方式即可对外开放功能和数据。 Shepherd 整体架构解读 这是 Shepherd 的整体架构,左边是请求的发起方,可以是移动应用、Web 应用,合作伙伴或者是内部系统的 HTTP 请求,经过 Nginx 负载均衡系统后,到达 此外,关于 Shepherd API 的扩展能力和易用性,以及如何快速创建 API、如何进行错误排查、Web 服务如何灰度迁移等最佳实践内容,来自美团基础架构部技术专家陈充泽老师,都将在 4 月 25 日上海宝华万豪酒店举办的 ArchSummit 架构师峰会上分享,感兴趣的欢迎关注。  

    1.6K10编辑于 2023-04-01
  • 来自专栏用户4624600的专栏

    项目管理系统之路

    项目管理系统主要目的最开始是为了解决提高PMO手动出人效的效率,核心是计算产人员效能。 2、项目管理系统,通过同步teambition把数据存储到项目管理系统,把计算人效逻辑封装到后端服务中。 系统好处: 1)、锻炼后端开发技术 2)、PMO、产品、研发共建系统,拉起目标 3)、向上管理工具 系统缺点: 1)、产品缺乏架构设计 2)、项目质量一般 3)、服务架构单一 业务架构 如下图是当时 首页图表 需求维度 质量分报告 如下图是,思维导图梳理的产品架构: 开发架构 前端 参考vue admin平台,隐藏不需要代码即可,开箱即用。 应该考虑微服务架构解耦代码问题。 定时任务 1、jenkins jenkins主要做同步数据脚本使用,配置灵活方便。

    1K30编辑于 2022-12-05
  • 来自专栏运维咖啡吧

    我们的那些Devops工具

    随着云技术以及容器技术的崛起,人肉运维的时代结束了 2018年为了解决日常运维中的痛点以及更高效的推进运维工作,我们并完善了几个工具系统,这些系统无一例外的帮我们节约了时间,提高了效率,这篇文章将分享介绍一下这些工具系统

    1K20发布于 2019-03-14
  • 来自专栏软硬件融合

    亚马逊AWS芯片深度分析

    只好另辟蹊径,尝试从整体和发展的角度,和一些“可能存在”的“向左(定制)还是向右(通用)”的权衡,来分析一下AWS为什么过去和现在要做芯片和硬件这些事情,以及未来要往何处去。 从Nitro开始,云计算架构就走上了业务和基础设施在物理上完全隔离的路子。 AWS Bare Metal 2017。 表1 AWS芯片综合分析 位置 类型 子类型 代号 分析&推测 服务器侧 CPU CPU Graviton 重要性:★★★★★CPU是数据中心算力的最核心器件,ARM服务器CPU反响不错,AWS应该会持续重金投入 预计未来AWS会GPGPU芯片,并加入EC2家族对外提供服务。 类似ZNS技术,AWS通过Nitro SSD跟Nitro DPU芯片更好地协同,给客户提供更稳定更安全的存储服务。

    1.3K20编辑于 2022-12-16
领券