首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏深度学习与python

    作业帮服务观测之基础观测能力

    在 2010 年代,云计算引入了发布 - 订阅(pub-sub)、微服务、事件驱动工作流和无服务器模型等模式,现在大多数基于云的分布式系统都是以它们为基础的。 Amazon Bedrock(和许多其他)服务原生支持此功能,而且根据报告,对于大型提示,这减少了高达 85% 的延迟。 然后,你可以通过推理服务器和 LLM 处理这些批次。这种方法可以帮助你增加系统的吞吐量,并确保 GPU 以接近最佳的利用率运行。 虽然你可以在定制系统中实现自定义排队和批处理逻辑,但生产就绪的工具,如 vLLM、NVIDIA Triton 推理服务器 和 AWS Bedrock,为大多数用例提供了强大的、现成的解决方案。 在入口点引入一个轻量级的初始模型,类似于传统微服务中的反向代理或 API 网关。像反向代理一样,这个模型可以帮助实现模型之间的负载均衡,缓存频繁使用的响应,并优雅地处理回退。

    21610编辑于 2025-06-08
  • 来自专栏程序猿的大杂烩

    Service Mesh - Istio服务观测

    洞察你的服务:使用Kiali观测你的微服务应用 微服务架构可视化的重要性: 痛点: 服务间依赖关系错综复杂 问题排查困难,扯皮甩锅时有发生 可视化的优势: 梳理服务的交互关系 了解应用的行为与状态 什么是 Kiali: Kiali属于Istio的集成组件之一,是一个用于Istio的可观测性控制台,具有服务网格配置和验证功能。 它通过监控网络流量来推断服务拓扑和报告错误,帮助你了解服务网格的结构和运行状况。Kiali提供了详细的度量和基本的Grafana集成,可用于高级查询。 官方定义: Istio 的可观察性控制台 通过服务拓扑帮助你理解服务网格的结构 提供网格的健康状态视图 具有服务网格配置功能 名字含义:源自希腊语,意为望远镜 依赖 Istio 作为宿主,为 Istio 开发有较强的绑定关系 Kiali 是 Istio 服务观测的一环 Kiali 的功能: ?

    1.4K20发布于 2020-12-28
  • 来自专栏痴者工良

    Isito 入门(四):微服务观测

    本教程已加入 Istio 系列:https://istio.whuanle.cn 可观测性 Istio 集成了 Jaeger、Zipkin 和 Skywalking 等链路追踪应用,能够有效地捕获服务网格的结构 Kiali 使用这些 Prometheus 数据来生成服务之间的流量、错误率、延迟等指标。 Istio 遥测数据:Istio 服务网格生成的遥测数据包括请求、响应、延迟以及 Envoy 代理的其他性能指标。 Kiali 从这些遥测数据中获取服务拓扑信息,以创建服务之间的依赖关系图。 Kiali 将这两个数据源的信息整合在一起,生成 Graph,它展示了服务网格的拓扑结构、服务之间的流量以及其他性能指标。 这有助于用户更好地理解服务之间的依赖关系,发现潜在的性能问题,并优化服务网格配置。 可能失败的原因 如果你的 Kiali 一直显示 Empty Graph。

    79340编辑于 2023-07-24
  • 来自专栏技术、架构与思维

    .Net微服务实战之可观测

    系列文章 .Net微服务实战之技术选型篇 .Net微服务实战之技术架构分层篇 .Net微服务实战之DevOps篇 .Net微服务实战之负载均衡(上) .Net微服务实战之CI/CD .Net微服务实战之 Kubernetes的搭建与使用 .Net微服务实战之负载均衡(下) .Net微服务实战之必须得面对的分布式问题 前言 很多次去面试,有经验的面试官都会问一个问题,你是怎么去定位日常遇到的问题? 日志、指标、跟踪三者结合起来有一种统称——可观测性 运维是架构的地基,我第一次看到这句是在张辉清写的《小团队构建大网站:中小研发团队架构实践》,说实话,我非常的认同。 可观测性 可观测性的意思是可以由系统的外部输出推断其内部状态的程度,在软件系统中,可观察性是指能够收集有关程序执行、模块内部状态以及组件之间通信的数据。 同时他还支持多种告警接收方式,常见的如邮件、企业信、钉钉等。

    79410发布于 2021-10-09
  • 来自专栏干货满满

    极速体验|使用 Erda 微服务观测接入 Jaeger Trace

    但在要实现微服务系统完整的可观测性,我们发现 Jaeger 本身也具有一定的局限性: 相比其他的可观测性系统,Jaeger 更专注于链路追踪(Tracing),日志和指标功能支持比较有限。 那么这种情况下我们怎么去降低可观测性平台的复杂性?怎么去提供高可用和高性能的后端服务? 最好的方式是寻找一个能够兼容 Jaeger 的后端系统,提供高可靠、高性能的能力。 当 Jaeger 相遇 Erda Erda 作为一款云上应用协同开发平台,提供了 SaaS 化可开箱即用的可观测性云服务,免去了自己运维多个监控、日志系统后端的复杂性,同时也提供了完整的微服务观测能力, 接下来,我们看一下如何使用 Jaeger SDK 把数据接入 Erda 微服务观测平台。 首先,在管理中心创建一个监控项目(监控项目和研发项目的区别是后者除观测能力之外还包含完整的 DevOps 研发功能): 接下来在微服务治理平台中找到创建的监控项目,进入后点击【环境设置】 > 【接入配置页面

    95630编辑于 2022-03-09
  • 来自专栏大数据-BigData

    博增值团队可观测性实践落地与回顾-上篇

    前言 前言、理论,实践请参考 博增值团队可观测性探索与实践-初探 、博增值团队可观测性探索与实践-实践 强烈建议优先阅读。 提前说明一下,本人现在已经从博离职了,这篇文章算是对我过去两年多关于可观测性相关工作的反思与回顾吧。 截止23年3月末,博增值团队从上线一站式可观测平台到现在也运行了差不多两年的时间了。 第三阶段:在了解到OpenTelemetry项目后,团队决定基于OpenTelemetry来提升服务的可观测性。 基于OpenTelemetry提升服务观测性的方案,优缺点如下:优点: 1. 更多实现细节请参考: 博增值团队可观测性探索与实践-初探 、博增值团队可观测性探索与实践-实践 实施过程 实施过程是项目成功的保证之一。

    69810编辑于 2023-04-18
  • 来自专栏云云众生s

    趋势报告:合并可观测性和IT服务管理

    在 IT 领域,可观测性和 IT 服务管理 (ITSM) 历来在孤岛中运行。但随着 IT 环境变得越来越复杂和繁重,IT 团队需要的不只是点解决方案。 因此,可观测性和 ITSM 服务正在向融合靠拢。这种转变将为 IT 运营 (ITOps) 领域带来巨大的好处,使 IT 团队能够达到前所未有的效率和生产力水平。 什么是可观测性? 随着现代 IT 基础设施变得越来越复杂,该行业已投入时间、金钱和精力来改进可观测性工具和服务。 但可观测性的承诺并不是 IT 复杂性的万能药。 在提供有效的服务感知和可用性方面,可观测性只是难题的一部分。 看看这些数字:根据 Enterprise Strategy Group 研究,91% 的组织在部署可观测性解决方案时报告遇到了挑战。 可观测性的目标是提供对 IT 生态系统的可见性和理解。可观测服务和 ITOps 团队需要采取的警报之间经常存在差距。

    18810编辑于 2024-05-16
  • 来自专栏腾讯云中间件的专栏

    基于 SkyWalking 的腾讯云微服务观测最佳实践

    导读:在微服务大行其道的环境下,分布式架构和微服务框架给系统性能分析和问题定位带来了非常大的挑战。如何通过汇聚业务系统各处理环节的实时数据,实现对应用的全链路性能监测成为服务治理的一大难题。 本文主要基于智慧零售腾讯有数产品的业务背景分享基于 SkyWalking 的腾讯云微服务观测实践,希望给有这方面需求的同学一些启发。 skywalking-trace 腾讯微服务观测平台:TSW 确定了组件之后,如何能让开发同学更专注于业务功能开发,而不需要关注 SkyWalking 底层服务的日常运维? Agent性能分析图 总结 应用性能管理只是服务治理中的一部分,本文以腾讯有数业务的后台服务现状为背景,为了解决当前遇到的服务调用监控、服务链路追踪和服务性能诊断的3大问题,先后介绍了开源 SkyWalking 腾讯微服务观测平台产品概述: https://cloud.tencent.com/document/product/1311/50754 3.

    1.9K40发布于 2021-03-29
  • 来自专栏技术杂记

    日志服务器(11

    : 这个过程中要确保 php-mysql 包存在,否则无法与mysql 连接,会出现如下的界面 Tip: 遇到这种情况,先检查一下 php-mysql ,然后重新加载环境变量,重启一下 httpd 服务

    78320发布于 2021-10-20
  • 来自专栏小程序

    11-信小程序授权登录

    信小程序授权登录小程序可以通过信官方提供的登录能力方便地获取信提供的用户身份标识,快速建立小程序内的用户体系。 登录流程:说明:调用 wx.login()获取 临时登录凭证code ,并回传到开发者服务器。 为了应用自身的数据安全,开发者服务 器不应该把会话密钥下发到小程序,也不应该对外提供这个密钥。 详见 用户信息功能页信 Windows 版:支持信 Mac 版:支持相关文档: 小程序登录、UnionID 机制说明、接口调用频率规范功能描述调用接口获取登录凭证(code)。 通过凭证进而换取用户登录态信息,包括用户在当前小程序的唯一标识(openid)、信开放平台账号下的唯一标识(unionid,若当前小程序已绑定到信开放平台账号)及本次登录的会话密钥(session_key

    2K10编辑于 2024-12-26
  • 来自专栏艺述论专栏

    信小程序分享11: label标签

    如果选择性控件不放在label内部,则需要使用for属性,设置为它所服务组件的id: for属性与radio的id属性是同一个值。

    2.4K40编辑于 2022-03-08
  • 企业信接口在可观测性平台中的深度集成实践

    企业信接口在可观测性平台中的深度集成实践随着现代分布式系统复杂度不断提升,可观测性(Observability)已成为保障系统稳定性的核心技术支柱。 本文将深入探讨如何将企业信接口深度融入可观测性技术栈,构建具备主动洞察与协同排障能力的智能运维体系。一、可观测性场景下企业信的定位演进在传统的可观测性实践中,企业信常被简化为“告警通知通道”。 ├──告警收敛与智能路由├──上下文组装服务├──交互式诊断卡片生成└──协同作战室管理三、核心技术实现方案1.基于OpenTelemetry的端到端可观测性集成通过标准化可观测性数据模型,实现与企业信接口的无缝对接 alertService.sendErrorDiagnosticCard(getOnCallEngineer(span.getServiceName()),card);//重置计数器errorCounts.remove(serviceKey);}}}//企业信可观测性告警服务 script_id,arguments,executionResult,user);return{success:true,execution_id:executionResult.id};}}4.可观测性数据的长期存储与分析构建专门的企业信可观测性数据仓库

    10710编辑于 2026-02-07
  • 来自专栏学习猿地

    Web前端学习 第11信开发2 信登录

    信登录可以分为两种情况,一种是网站的扫码登录,另一种是在信浏览器中直接登录,本节我们就讲解如何在自己的网站上接入微信登录功能。 在redirect_url对应的页面渲染之前,我们已经拿到了服务器发来的code参数。 access_token=ACCESS_TOKEN&openid=OPENID 至此,我们的服务器就成功获取到了信用户的信息,然后,如果用户是第一次登陆,可以将用户信息记录在数据库中,如果非第一次登陆 本节我们讲解信内的授权登录,也就是说,如果用户使用的是信浏览器,那么用户不用使用扫码功能,只要点击一个授权登录的按钮,就能实现信登录了,对用户来说操作简单了很多。 四、接口调用实现信登录 在信浏览器内登录与扫码登录的唯一区别就是第一步不同,扫码登录需要用户跳转到一个服务器提供的有二维码的页面以便获取code参数,而信浏览器登录,可以直接让用户访问下面的地址

    1K20发布于 2020-07-09
  • 来自专栏c

    Linux11 服务管理(2)

    服务的运行级别 aHR0cHM6Ly9pbWcyMDIwLmNuYmxvZ3MuY29tL2Jsb2cvNDQyMjAwLzIwMjAwNS80NDIyMDAtMjAyMDA1MjUyMzE5MjM5NTMtOTkwOTU2NDczLnBuZw.png 设置Linux的运行级别 查看当前的运行级别:runlevel 修改运行级别:init 运行级别 例如想要启动 GUI 图形界面,输入 init 5  chkconfig的使用 查看服务 chkconfig 20210730114524.png 关闭network在3运行级别 chkconfig --level 3 network off 开启 chkconfig --level 3 network on 只看单个服务的状态 chkconfig 服务名 --list QQ截图20210730115350.png 提示:设置后需要重启才会生效

    70130发布于 2021-07-30
  • 来自专栏学习猿地

    Web前端学习 第11信开发5 信支付

    一、概述 如果需要实现信支付功能,需要有一个已认证的服务号,并且开通信支付,开通后信会提供一个商户ID。有了这个ID才能成功调用信支付接口。 开通信支付后,需要在信支付后台【产品中心】=>【开发配置】中配置【JSAPI支付授权目录】和【Native支付回调链接】,如下图所示: image.png 信支付可以分为两种情况,信浏览器之外的扫码支付 (需要配置Native支付回调链接,支付完成后,服务器会调用这个链接,并传入参数。) : 10 "paySign": `{{paySign}}` //信签名 11 }, 12 function (res) 三、完成支付 完成支付后,服务器会向notify_url的参数地址发送一个支付结果的消息。网站或公众号程序可以根据返回结果,自行处理支付完成后的业务逻辑。

    1.4K10发布于 2020-07-09
  • 来自专栏滚雪球学SpringBoot

    服务网格环境下实现微服务的可观测性与诊断能力!

    而在这些功能中,可观测性与诊断能力无疑是最为关键的部分。  在本篇文章中,我将深入探讨如何在服务网格环境下,通过使用 Istio 或 Linkerd 等技术来提升微服务架构的可观测性与诊断能力。 通过服务网格,我们可以在不改变微服务本身的代码情况下,获得全面的可观测性和强大的诊断能力。 复杂的故障模拟:可以使用故障注入工具(如 Chaos Monkey 或 Gremlin)来模拟更加复杂的故障场景,测试服务的健壮性。11. 通过本文的分析和示例,相信你已经掌握了如何利用服务网格提升微服务架构的可观测性与诊断能力。 如果你也在面对微服务架构中的可观测性和故障排查问题,服务网格绝对值得你去尝试并深入学习。  愿你在微服务的世界中,能够通过强大的可观测性和诊断能力,为你的应用和用户带来更加稳定、可靠的服务

    55821编辑于 2025-02-21
  • 来自专栏痴者工良

    Istio 入门(三):体验 Istio、微服务部署、可观测

    在本章中,我们将会学习到如何部署一套微服务、如何使用 Istio 暴露服务到集群外,并且如何使用可观测性组件监测流量和系统指标。 书店微服务 本章教程示例使用的是 Istio 官方的一套微服务,这套微服务是一个在线书店,打开页面之后会看到一个分类、书的信息以及书的评论,页面的内容由不同的子服务提供。 书店微服务分为四个单独的微服务,在上图中已经使用红色方框画出来了。这四个微服务分别是: productpage: 汇集所有服务的数据,生成浏览页面。 在这个微服务中,Productpage 服务对外提供 Web 访问页面,而且其它的三个服务只能在集群内部访问。 四个服务分别采用了不同的语言开发,Productpage 聚合其它三个服务的信息生成一个页面。 在微服务设计中,我们不要每个子服务都暴露端口到集群外部,应该通过一些应用集中数据后给外部显示。

    2.5K31编辑于 2023-07-24
  • 来自专栏京东技术

    服务器装上灵魂 |京东“11·11”技术实录

    ”这和我们买来新电脑需要安装操作系统相似,但是不同的是,‘11·11’大促新服务器上架量一次就有数万台,系统部署需要按照各个业务条线的需求进行安装;不同的业务场景,需要匹配的系统是不同的。” 为备战“11·11”,从7月开始,京东IT资源服务部系统支持团队的同事们就开始和京东各业务一线展开沟通。确认他们的需求、系统版本、系统优化配置、BMC配置和软件部署需求等等。 一般情况下,流程要求系统支持部只有在业务部门分配到资源之后才可以开始部署系统,但是在“11·11”工期紧急的背景下,采取这种优化流程的手段是一种“客户为先”的创新,这也是京东IT资源服务部负责人吕科一直在团队中强调并践行的原则之一 在新旧服务器系统部署工程接近尾声时,大部分服务器已经开始运行业务,系统支持的同事7*24小时随时待命,一起见证今年京东11·11全球好物节全民消费狂欢的顶峰时刻。 京东IT资源服务部未来将会更加集中发力,全力支持京东各方业务创造新的历史。 京东技术:11.11基础架构峰会 将在11月25日,国家会议中心举办

    2K80发布于 2018-04-10
  • 来自专栏云云众生s

    LLo11yPop:英伟达和Grafana正在开发用于可观测性的LLM

    译自 LLo11yPop: Nvidia, Grafana Working on LLM for Observability,作者 B Cameron Gain。 另一个项目利用遥测数据为 大型语言模型 和 AI 应用程序创建 可观测性 接口。 — BC Gain (@bcamerongain) 2024 年 10 月 3 日 其中一个更有趣的项目——名为 LLo11yPop——是一个用于可观测性的 LLM。 基于英伟达 NIM(英伟达推理微服务)技术的 NIM 检索代理是英伟达正在构建的系统的构建块。NIM 也可以被描述为为大规模 LLM 部署提供优化的推理微服务。 在使用多 LLM 复合模型的架构设计中,针对 GPU 集群管理的观测代理框架,代理管理观测框架的编排和任务执行。这些由所谓的 OODA 循环进行编排——观察、定向、决策、行动。

    40010编辑于 2024-10-25
  • 来自专栏全栈程序员必看

    信公众平台-服务号开发

    文章目录 背景: 一、信各个平台介绍 二、公众平台介绍 三、开发前准备 四、服务器配置 五、服务器验证 六、消息接收 七、客服消息 八、获取素材 九、相关工具 十、最终效果展示 总结 背景: 近期接到了涉及信开放平台和信公众平台相关的开发需求 ,开发过程中踩了许多坑,把相关问题整理记录下来以便巩固记忆,并把总结的经验分享出来,本篇分享服务号开发,希望可以给大家提供帮助 一、信各个平台介绍 1、信开放平台:面向开发人员,为网站、App提供信第三方登录功能 IP为白名单,白名单以外的ip请求access_token接口会报40164错误,有了 access_token 才能调用信的各种接口 四、服务器配置 开启服务器配置,开启以后服务号的推送信息将会传送到所配置的服务器中 ,服务器将发送GET请求到填写的服务器地址URL上,GET请求携带参数如下表所示: 参数 描述 signature 信加密签名,signature结合了开发者填写的token参数和请求中的 服务器在五秒内收不到响应会断掉连接,并且重新发起请求,总共重试三次。假如服务器无法保证在五秒内处理并回复,可以直接回复空串,服务器不会对此作任何处理,并且不会发起重试。

    10.7K30编辑于 2022-07-28
领券