- 综合排序
- 最热优先
- 最新优先
- 来自专栏k8s技术圈
使用 vmagent 代替 Prometheus 采集监控指标
--- apiVersion: rbac.authorization.k8s.io/v1 kind: ClusterRole metadata: name: vmagent rules: - /v1 kind: ClusterRoleBinding metadata: name: vmagent roleRef: apiGroup: rbac.authorization.k8s.io 实例会分别采集部分指标，我们可以通过查看日志来进行验证： ☸ ➜ kubectl logs -f vmagent-0 -n kube-vm # ...... -/reload 发送一个 http 请求 刷新后就可以开始采集上面的指标了，同样我们也可以通过 http://vmselect/select/0/vmui/ 来访问 vmui，比如现在我们来查询 pod = +inf vmagent 作为采集指标重要的一环，当然对它的监控也不可少。
4.8K40编辑于 2022-05-22 - 来自专栏运维开发故事
what is vmagent
背景 在之前的文章中，讲解了如何在k8s上安装vm；但采集指标的组件使用的是opentelemetry，那么vm是否有自己的组件去采集指标呢？ 直接在k8s上部署vmagent 安装 1、创建namespace和rbac(vmagent需要访问k8s API) # 创建namespace kubectl create ns monitoring-system : rbac.authorization.k8s.io/v1 kind: ClusterRole metadata: name: vmagent rules: - apiGroups: ["", /v1 kind: ClusterRoleBinding metadata: name: vmagent roleRef: apiGroup: rbac.authorization.k8s.io 配置刷新说明 配置刷新有两种方式，如下： 发送SUGHUP信号给vmagent进程 向http://vmagent:8429/-/reload发送一个http请求 vmagent监控 vmagent作为采集指标重要的一环
1.6K10编辑于 2022-02-09 云服务器指标采集
一：整体架构说明备注： ● 选择Node_exporter作为指标采集器，因其成熟社区以及腾讯云云监控默认指标维度、粒度都不够； ● 选择Vmagent抓取Node_exporter指标，主要是其高性能 这里使用了Prometheus 服务发现机制中的通过文件发现新的目标，其支持丰富的动态机制，比如DNS、K8s、consul等等，参考：https://docs.victoriametrics.com =50MB -remoteWrite.url=https://ap-shanghai.cls.tencentyun.com/prometheus/3fc8ead6-be54-41eb-bc60-df5146439678 （比如TCP stat），调整其采集指标需谨慎评估。 vmagent自身监控 ● 采集自身指标备注：vmagent自身也暴漏了自身的metrics，本文采用最简方式，自己采集自己，只需要在config配置加上其自身监控job即可，如：[root@VM-120
1.5K41编辑于 2024-06-25- 来自专栏k8s技术圈
使用 Victoria Metrics Operator 管理 VM 集群
6m31s vmstorage-vmcluster-demo ClusterIP None <none> 8482/TCP,8400/TCP,8401/TCP 8m18s /name=vmagent NAME READY STATUS RESTARTS AGE vmagent-vmagent-demo from [::1]:8429 -> 8429 我们可以在浏览器中访问 http://127.0.0.1:8429/targets 来检查 vmagent 采集的集群指标： vmagent 会通过 会采集 VM 集群相关组件的指标，包括 vmagent 本身的，所以我们可以正常看到 VM 集群的 Dashboard，但是没有采集其他的指标，比如 node-exporter，我们可以在 Grafana dashboard： 这个时候我们可以通过 VMNodeScrape 这个 CRD 对象来进行定义，VMNodeScrape 对象可以用来自动发现 Kubernetes 节点，创建如下所示的资源对象来采集
2.8K40编辑于 2022-05-22 - 来自专栏crossoverJie
老炮新作，大一统的监控探针采集器 cprobe 开源了
：对于非边车模式的 Exporter，即一个 Exporter 对应多个采集目标的，通常很难做到不同的采集目标不同的配置，期望能有一种配置文件切分 INCLUDE 机制，不同的采集目标采用不同的配置 缺乏监控目标服务发现 以我当前的认知，监控数据的采集大抵需要三个角色，一个是部署在所有的目标机器上的，比如使用 categraf，中心端需要两个采集器，一个用于采集 Prometheus 协议的端点数据，可以使用 vmagent 当然，vmagent 和 cprobe 都是探针角色，理论上可以合二为一，未来也会考虑让 cprobe 支持采集 Prometheus 协议的端点数据，这样就可以把 vmagent 去掉了，不过 vmagent Beyla 好工具：ClickVisual + ClickHouse 构建日志平台 鄙人专栏：运维监控系统实战笔记，体系化学习监控知识 往期推荐 技术阅读周刊第第8️⃣期 五分钟 k8s 实战-滚动更新与优雅停机 升级到 Pulsar3.0 后深入了解 JWT 鉴权 五分钟k8s实战-Istio 网关
72510编辑于 2023-12-13 - 来自专栏geekfly
Java数据采集-8.模拟登录
= null) { result = EntityUtils.toString(entity, "utf-8"); } }catch =geekfly; Domain=.csdn.net; Path=/;AU=2DB; Domain=.csdn.net; Path=/;UD=%E5%94%AF%E6%9C%89%E5%89%B2%E8% 88%8D%EF%BC%8C%E6%89%8D%E8%83%BD%E4%B8%93%E6%B3%A8%E3%80%82%E5%94%AF%E6%9C%89%E6%94%BE%E5%BC%83%EF%BC %8C%E6%89%8D%E8%83%BD%E8%BF%BD%E6%B1%82%E3%80%82; Domain=.csdn.net; Path=/;UN=TMaskBoy; Domain=.csdn.net /;BT=1508058570894; Domain=.csdn.net; Expires=Mon, 15-Oct-2018 09:09:30 GMT; Path=/;access-token=65d8afcc-f6ee
87720编辑于 2022-05-06 - 来自专栏我的小碗汤
Prometheus 文档缺失的一章 - 程序的 Metrics 优化
所以这篇博客就尝试介绍一下 metrics 采集量计算的逻辑和优化的方法。 跑起来之后发现性能也很差，原来的一个 vmagent[8] 可以抓取的 targets，用上 m3db 之后连 1/6 都处理不了。这文档也没有让人想要贡献的欲望，索性作罢。 支持让 vmagent （VictoriaMetrics 系统中负责采集 metrics 的组件）在采集 metrics 的时候进行聚合。我们在一些场景下用了这个功能，资源使用很少，效果不错。 他们提的另一个方案是部署多个 vmagent，每一个都跑一个 stream aggregation：vmagent1 -> vmagent2 -> … -> vmagentN。 在配置的时候，要给每一个 vmagent 的 stream aggregation 规则都加上一个 vmagent 编号的 label，否则的话，多个 vmagent 可能得到完全相同的 metrics
50510编辑于 2023-12-24 - 来自专栏运维开发故事
老炮新作，大一统的监控探针采集器 cprobe 开源了
：对于非边车模式的 Exporter，即一个 Exporter 对应多个采集目标的，通常很难做到不同的采集目标不同的配置，期望能有一种配置文件切分 INCLUDE 机制，不同的采集目标采用不同的配置 缺乏监控目标服务发现 ，把这些问题都解决掉，采用插件机制，All-in-One 采集所有监控目标，不同的插件体验一致，那该多好啊！ 以我当前的认知，监控数据的采集大抵需要三个角色，一个是部署在所有的目标机器上的，比如使用 categraf，中心端需要两个采集器，一个用于采集 Prometheus 协议的端点数据，可以使用 vmagent 当然，vmagent 和 cprobe 都是探针角色，理论上可以合二为一，未来也会考虑让 cprobe 支持采集 Prometheus 协议的端点数据，这样就可以把 vmagent 去掉了，不过 vmagent 这几个插件在整合的过程中，也做了一些改动，主要改动如下： 统一日志库，统一日志格式，统一日志级别控制 统一配置文件管理，支持配置文件切分 支持不同的采集目标不同的配置 支持采集目标的服务发现，目前主要是
55910编辑于 2023-12-13 - 来自专栏Kubernetes 与 Devops 干货分享
VictoriaMetrics原理及实践
单节点版：直接运行一个二进制文件，既可以运行，官方建议采集数据点(data points)低于100w/s，推荐VM单节点版，简单好维护，但不支持告警。 单节点版直接运行一个二进制文件既，官方建议采集数据点(data points)低于 100w/s，推荐 VM 单节点版，简单好维护，但不支持告警。集群版支持数据水平拆分。 集群方案把功能拆分为 vmstorage、 vminsert、vmselect 组件，如果要替换 Prometheus，还需要使用 vmagent、vmalert。 vmagent 的主要目的是用来收集指标数据然后存储到 VM 以及 Prometheus 兼容的存储系统中(支持 remote_write 协议即可)。 同时支持最大磁盘占用 相比 prometheus 使用较少的内存、cpu、磁盘 io 以及网络带宽 VictoriaMetrics 单节点版 下面模拟1个node-exporter，被Prometheus采集数据
5.2K20编辑于 2022-10-31 - 来自专栏devops_k8s
k8s 日志采集最佳实践
K8s 一般推荐使用大规格节点，每个节点可以运行 10-100+ 的容器，如何在资源消耗尽可能低的情况下采集 100+ 的容器？ 在 K8s 中，应用都以 yaml 的方式部署，而日志采集还是以手工的配置文件形式为主，如何能够让日志采集以 K8s 的方式进行部署? 5 采集方式: 主动 or 被动 日志的采集方式分为被动采集和主动推送两种，在 K8s 中，被动采集一般分为 Sidecar 和 DaemonSet 两种方式，主动推送有 DockerEngine 7 日志采集方案 image.png 早在 Kubernetes 出现之前，我们就开始为容器环境开发日志采集方案，随着 K8s 的逐渐稳定，我们开始将很多业务迁移到 K8s 平台上，因此也基于之前的基础专门开发了一套 K8s 上的日志采集方案。
3K40发布于 2021-11-09 - 来自专栏CNCF
Prometheus一致性计划：远程写遵从性测试结果
两天后，我们又有了两个更新：添加了可观察性流水线工具 Vector[7]，以及现有系统的新版本[8]。 (0.01s) --- FAIL: TestRemoteWrite/vmagent/Invalid (20.66s) --- FAIL: TestRemoteWrite/vmagent : TestRemoteWrite/vmagent/JobLabel (20.66s) --- PASS: TestRemoteWrite/vmagent/NameLabel (20.66s) configuration/#remote_write [4] 规范: https://docs.google.com/document/d/1LPhVRSFkGNSuU1fBd81ulhsCPR4hkSZyyBj1SZ8fWOM edit#slide=id.gd1789c7f7c_0_0 [7] 可观察性流水线工具 Vector: https://github.com/prometheus/compliance/pull/24 [8]
63710发布于 2021-05-27 - 来自专栏科控自动化
地热数据采集项目8 部署Docker和Fuxa
Docker 的安装 Ubuntu 可以在线安装 docker，也可以通过以下网址 https://download.docker.com/linux/ubuntu/dists/bionic/pool/stable/armhf/ 下载所需版本自 行安装。 这里以在线安装为例，使用以下命令在线安装 docker apt-get install docker.io Fuxa部署 docker run -d -p 1881:1881 -v fuxa_appdata:/usr/src/app/FUXA/serv
2K20编辑于 2022-12-01 - 来自专栏腾讯云容器运维
如何通过TMP监控TKE独立集群的etcd
通过secret挂载etcd证书因为etcd这里都是有证书鉴权的 ，这里通过serviceMonitor采集etcd监控需要配置证书才行，serviceMonitor是可以直接读取后端prometheus 容器的证书配置的，tmp这里是vmagent，那么这里有什么办法将证书挂载到vmagent容器。 : prom-86rajg7v labels: k8s-app: etcd-k8sspec: jobLabel: k8s-app endpoints: - port: port interval 但是这里遇到一个问题，就是当我创建完ServiceMonitor后，tmp控制台的采集配置显示target都是空的，这是什么原因呢？ 图片tmp关机tke集群会默认创建一个prometheuses对象，这里会定义采集那些ServiceMonitor，这里看下集群的prometheuses配置，是不是有特殊的配置。
90530编辑于 2023-06-13 - 来自专栏Qt项目实战
Qt编写控件属性设计器8-网络采集
一、前言 上一篇文章已经打通了数据源之一的串口采集，这次要说的是网络采集，网络通信目前用的最多的是三种，TCP/UDP/HTTP，其中tcp通信又包括了客户端服务端两种，tcp通信才用了多次握手机制不丢包 打通了串口采集、网络采集、数据库采集三种方式设置数据。 代码极其精简，注释非常详细，可以作为组态的雏形，自行拓展更多的功能。 纯Qt编写，支持任意Qt版本+任意编译器+任意系统。 this); connect(tcpServer, SIGNAL(newConnection()), this, SLOT(newConnection())); //开启定时器读取数据库采集数据 tcpClient->readAll(); if (data.length() <= 0) { return; } //默认取第一个字节解析,可以自行更改 quint8 tcpSocket->readAll(); if (data.length() <= 0) { return; } //默认取第一个字节解析,可以自行更改 quint8
1K00发布于 2019-09-14 - 来自专栏AIoT技术交流、分享
LabVIEW控制Arduino实现模拟数据采集（基础篇—8）
目录 1、实验目的 2、硬件连接 3、程序设计 4、实验演示 1、实验目的 利用LIAT中的模拟采样函数库，通过Arduino Uno控制板上的模拟输入端口采集模拟信号，并上传至LabVIEW界面上显示波形 ，实现一个数据采集的功能。 LabVIEW程序首先通过设置的串口号与Arduino Uno控制板建立连接，然后等待事件结构，若采集键被按下，则点亮“采集中"LED灯，再调用模拟采样函数库中的GetFinite Analog Sample 函数节点以设置好的采集端口、采样速率和采样点数来实现有限采样并送入波形显示控件，完成之后熄灭"采集中”LED灯，采样点数通过采样速率和采样时间计算得到;若清除键被按下，则清除波形显示。 项目资源下载请参见：LabVIEW控制Arduino实现模拟数据采集-单片机文档类资源-CSDN下载
1.4K20编辑于 2022-05-25 - 来自专栏云原生实验室
使用 VictoriaMetrics 监控 K8s 集群
: StatefulSet metadata: name: vmagent-k8s namespace: vm labels: app: vmagent-k8s spec: serviceName : "vmagent-k8s" replicas: 1 selector: matchLabels: app: vmagent-k8s template: metadata : labels: app: vmagent-k8s spec: serviceAccountName: vmagent-k8s containers : - name: vmagent-k8s image: victoriametrics/vmagent:v1.59.0 env: - name kind: ClusterRole name: vmagent-k8s subjects: - kind: ServiceAccount name: vmagent-k8s namespace
3.7K40发布于 2021-06-09 - 来自专栏瓜农老梁
k8s01# K8s日志采集与服务质量QoS
主要内容有： 日志采集三种方式 日志采集方式权衡 Pod服务质量QoS 一、日志采集三种方式 K8s日志采集方式主要有原生方式、DaemonSet采集方式、Sidecar采集方式。 DaemonSet采集方式，在k8s的node节点上运行日志代理，由日志代理将日志采集到后端服务。 SideCar采集方式，在一个POD中运行一个单独的日志采集代理容器，用于采集容器的日志。 如果想SideCar采集模式业务无感，可以使用OpenKruise提供的SidecarSet管理sidecar容器。 SidecarSet负责注入和升级k8s集群的sideCar容器，对业务无感。 小结：在日志采集代理能力能满足需求的情况下，DaemonSet模式在运维复杂性、资源节省、升级方面更好的选择。 三、Pod服务质量QoS K8s使用服务质量QoS来决定Pod的调度和驱逐策略。 K8s资源回收驱逐策略，当Node上的内存或者CPU耗尽时，为了保护Node会驱逐POD，优先级低的POD会优先被驱逐。
73020编辑于 2022-12-03 - 来自专栏我的小碗汤
fluent-bit debug调试，采集k8s podIP
有时候调试fluent-bit的配置，达到想要的输出效果，并不是件简单的事情，以下通过debug镜像调试fluent-bit采集kubernetes Pod的IP。 FLB_HAVE_PROXY_GO FLB_HAVE_JEMALLOC JEMALLOC_MANGLE FLB_HAVE_LIBBACKTRACE FLB_HAVE_REGEX FLB_HAVE_UTF8_ ENCODER FLB_HAVE_LUAJIT FLB_HAVE_C_TLS FLB_HAVE_ACCEPT4 FLB_HAVE_INOTIFY 简单配置文件 以下用一个简单的配置文件采集calico-node k8s日志格式。 podIPs 结合kubesphere Filter CR，配置采集podIPs，并去掉其他不相关的annotations。
2.2K30发布于 2021-11-02 - 来自专栏k8s技术圈
Prometheus 长期远程存储方案 VictoriaMetrics 入门实践
单节点版直接运行一个二进制文件既，官方建议采集数据点(data points)低于 100w/s，推荐 VM 单节点版，简单好维护，但不支持告警。集群版支持数据水平拆分。 vmstorage：数据存储以及查询结果返回，默认端口为 8482 vminsert：数据录入，可实现类似分片、副本功能，默认端口 8480 vmselect：数据查询，汇总和数据去重，默认端口 8481 vmagent vmagent 的主要目的是用来收集指标数据然后存储到 VM 以及 Prometheus 兼容的存储系统中（支持 remote_write 协议即可）。 单节点 这里我们采集 node-exporter 为例进行说明，首先使用 Prometheus 采集数据，然后将 Prometheus 数据远程写入 VM 远程存储，由于 VM 提供了 vmagent 这样我们就使用 VM 替换掉了 Prometheus，我们也可以这 Grafana 的 Explore 页面去探索采集到的指标。
9.8K51编辑于 2022-05-22 B站监控2.0架构落地实践
采集器采集器Collector 是基于vmagent封装了一层。 主要有两个功能，一个是定时上报心跳给Contractor, 二是拿到相关采集配置，call reload api，触发vmagent开始采集。 vmagent 自身会有随机(采集间隔时间)平滑load机制。比如我们采集间隔配置了30s,当vmagent拿到配置时，一个target最慢要30s才会有指标数据。 | 4 byte job id | 4 byte instance id | 8 byte metricidTSID 与 MetricId 都是一簇 ts 的唯一键，区别在与 MetricId 只是 8byte 架构如下：比较idc采集方案，云上监控有以下几点不同：Contractor支持从公网pull本zone所需的采集配置。为什么使用Prometheus而不是vmagent采集？
63220编辑于 2024-12-26
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号