- 综合排序
- 最热优先
- 最新优先
- 来自专栏k8s技术圈
使用 vmagent 代替 Prometheus 采集监控指标
实例会分别采集部分指标，我们可以通过查看日志来进行验证： ☸ ➜ kubectl logs -f vmagent-0 -n kube-vm # ...... ☸ ➜ kubectl apply -f vmagent-config2.yaml 配置刷新有两种方式： 发送 SUGHUP 信号给 vmagent 进程 向 http://vmagent:8429/ -/reload 发送一个 http 请求 刷新后就可以开始采集上面的指标了，同样我们也可以通过 http://vmselect/select/0/vmui/ 来访问 vmui，比如现在我们来查询 pod = +inf vmagent 作为采集指标重要的一环，当然对它的监控也不可少。 vmagent 通过 http://vmagent:8429/metrics 暴露了很多指标，如 vmagent_remotewrite_conns 远程存储连接，vm_allowed_memory_bytes
4.8K40编辑于 2022-05-22 - 来自专栏运维开发故事
what is vmagent
背景 在之前的文章中，讲解了如何在k8s上安装vm；但采集指标的组件使用的是opentelemetry，那么vm是否有自己的组件去采集指标呢？ -55bbbd9f6d-497m5 2/2 Running 4 2d17h # 从命令结果来看，该pod有两个容器,而我们定义vmagent的yaml文件时，看起来只设置了一个 -55bbbd9f6d-497m5 2/2 Running 4 50s # 通过vmagent api查看一下targets [root@kube-control-1 opt]# curl http://10.233.108.50:8429/targets job="cadvisor"(4/4up) state=up, endpoint=https://node1 配置刷新说明 配置刷新有两种方式，如下： 发送SUGHUP信号给vmagent进程 向http://vmagent:8429/-/reload发送一个http请求 vmagent监控 vmagent作为采集指标重要的一环
1.6K10编辑于 2022-02-09 云服务器指标采集
一：整体架构说明备注： ● 选择Node_exporter作为指标采集器，因其成熟社区以及腾讯云云监控默认指标维度、粒度都不够； ● 选择Vmagent抓取Node_exporter指标，主要是其高性能 quantile="0.25"} 0go_gc_duration_seconds{quantile="0.5"} 0go_gc_duration_seconds{quantile="0.75"} 0 4. （比如TCP stat），调整其采集指标需谨慎评估。 4. vmagent自身监控 ● 采集自身指标备注：vmagent自身也暴漏了自身的metrics，本文采用最简方式，自己采集自己，只需要在config配置加上其自身监控job即可，如：[root@VM-120
1.5K41编辑于 2024-06-25- 来自专栏k8s技术圈
使用 Victoria Metrics Operator 管理 VM 集群
vmstorage-vmcluster-demo-1 1/1 Running 0 4m54s ☸ ➜ kubectl get svc -6dcc7f9dfd-hxsff 2/2 Running 0 4m24s 可以看到 vmagent 有两个容器，一个是 vmagent 应用容器，另外一个是用于挂载 from [::1]:8429 -> 8429 我们可以在浏览器中访问 http://127.0.0.1:8429/targets 来检查 vmagent 采集的集群指标： vmagent 会通过 会采集 VM 集群相关组件的指标，包括 vmagent 本身的，所以我们可以正常看到 VM 集群的 Dashboard，但是没有采集其他的指标，比如 node-exporter，我们可以在 Grafana dashboard： 这个时候我们可以通过 VMNodeScrape 这个 CRD 对象来进行定义，VMNodeScrape 对象可以用来自动发现 Kubernetes 节点，创建如下所示的资源对象来采集
2.8K40编辑于 2022-05-22 - 来自专栏Kubernetes 与 Devops 干货分享
VictoriaMetrics原理及实践
Grafana兼容：VM可替换Grafana的Prometheus数据源（经测试，线上数据源直接替换后100%兼容） 低内存：更低的内存占用，官方对比Prometheus，可以释放7倍左右内存空间（线上对比大概4倍 ） 高压缩比：提供存储数据高压缩，官方说可以比Prometheus减少7倍的存储空间（线上对比大概是4~5倍） 高性能：查询性能比Prometheus更快 支持水平扩容&HA：基于VM集群版实现 支持多租户 单节点版：直接运行一个二进制文件，既可以运行，官方建议采集数据点(data points)低于100w/s，推荐VM单节点版，简单好维护，但不支持告警。 单节点版直接运行一个二进制文件既，官方建议采集数据点(data points)低于 100w/s，推荐 VM 单节点版，简单好维护，但不支持告警。集群版支持数据水平拆分。 同时支持最大磁盘占用 相比 prometheus 使用较少的内存、cpu、磁盘 io 以及网络带宽 VictoriaMetrics 单节点版 下面模拟1个node-exporter，被Prometheus采集数据
5.2K20编辑于 2022-10-31 - 来自专栏运维开发故事
老炮新作，大一统的监控探针采集器 cprobe 开源了
：对于非边车模式的 Exporter，即一个 Exporter 对应多个采集目标的，通常很难做到不同的采集目标不同的配置，期望能有一种配置文件切分 INCLUDE 机制，不同的采集目标采用不同的配置 缺乏监控目标服务发现 ，把这些问题都解决掉，采用插件机制，All-in-One 采集所有监控目标，不同的插件体验一致，那该多好啊！ 以我当前的认知，监控数据的采集大抵需要三个角色，一个是部署在所有的目标机器上的，比如使用 categraf，中心端需要两个采集器，一个用于采集 Prometheus 协议的端点数据，可以使用 vmagent 当然，vmagent 和 cprobe 都是探针角色，理论上可以合二为一，未来也会考虑让 cprobe 支持采集 Prometheus 协议的端点数据，这样就可以把 vmagent 去掉了，不过 vmagent 这几个插件在整合的过程中，也做了一些改动，主要改动如下： 统一日志库，统一日志格式，统一日志级别控制 统一配置文件管理，支持配置文件切分 支持不同的采集目标不同的配置 支持采集目标的服务发现，目前主要是
55910编辑于 2023-12-13 - 来自专栏我的小碗汤
Prometheus 文档缺失的一章 - 程序的 Metrics 优化
所以这篇博客就尝试介绍一下 metrics 采集量计算的逻辑和优化的方法。 example.com", path="/foo"} 30 代码中(SDK, 比如 golang SDK[3])一个 metric 实例 可能产生多于一条 metrics，比如 Histogram[4] 支持让 vmagent （VictoriaMetrics 系统中负责采集 metrics 的组件）在采集 metrics 的时候进行聚合。我们在一些场景下用了这个功能，资源使用很少，效果不错。 他们提的另一个方案是部署多个 vmagent，每一个都跑一个 stream aggregation：vmagent1 -> vmagent2 -> … -> vmagentN。 在配置的时候，要给每一个 vmagent 的 stream aggregation 规则都加上一个 vmagent 编号的 label，否则的话，多个 vmagent 可能得到完全相同的 metrics
50510编辑于 2023-12-24 - 来自专栏crossoverJie
老炮新作，大一统的监控探针采集器 cprobe 开源了
：对于非边车模式的 Exporter，即一个 Exporter 对应多个采集目标的，通常很难做到不同的采集目标不同的配置，期望能有一种配置文件切分 INCLUDE 机制，不同的采集目标采用不同的配置 缺乏监控目标服务发现 ，把这些问题都解决掉，采用插件机制，All-in-One 采集所有监控目标，不同的插件体验一致，那该多好啊！ 以我当前的认知，监控数据的采集大抵需要三个角色，一个是部署在所有的目标机器上的，比如使用 categraf，中心端需要两个采集器，一个用于采集 Prometheus 协议的端点数据，可以使用 vmagent 当然，vmagent 和 cprobe 都是探针角色，理论上可以合二为一，未来也会考虑让 cprobe 支持采集 Prometheus 协议的端点数据，这样就可以把 vmagent 去掉了，不过 vmagent 这几个插件在整合的过程中，也做了一些改动，主要改动如下： 统一日志库，统一日志格式，统一日志级别控制 统一配置文件管理，支持配置文件切分 支持不同的采集目标不同的配置 支持采集目标的服务发现，目前主要是
72510编辑于 2023-12-13 - 来自专栏CNCF
Prometheus一致性计划：远程写遵从性测试结果
为了在正式运行测试之前让每个人对生态系统的现况有一个概述，我们想展示一下我们的测试套件的最新成员：Prometheus Remote Write[3]遵从性测试套件根据我们的规范[4]测试远程写协议的发送方部分 (0.01s) --- FAIL: TestRemoteWrite/vmagent/Invalid (20.66s) --- FAIL: TestRemoteWrite/vmagent : TestRemoteWrite/vmagent/JobLabel (20.66s) --- PASS: TestRemoteWrite/vmagent/NameLabel (20.66s) Remote Write: https://prometheus.io/docs/prometheus/latest/configuration/configuration/#remote_write [4] 规范: https://docs.google.com/document/d/1LPhVRSFkGNSuU1fBd81ulhsCPR4hkSZyyBj1SZ8fWOM [5] PromCon: https
63710发布于 2021-05-27 - 来自专栏物联网智慧生活
5G4G数据采集遥测终端机
计讯物联5G/4G数据采集遥测终端机，丰富行业接口可对接视频监控、流量计水位计各种传感器、水电表压力计等仪表、以及plc等工业设备，完成数据存储、监测因子采集上传、管理中心远程实时在线监测、设备远程控制 图片1.png 5G/4G数据采集遥测终端机功能 数据定时采集、存储、主动上报。 预警加报。 多通讯方式，支持2.5G/3G/4G/GPRS/NB-IoT传输功能。 设备电压监测、工况监测。 支持图像抓拍、视频数据采集上报，支持数据字符与视频叠加功能。 支持多中心通信，可同时与多个后台服务器进行通信。 断电、断网续传和数据自动补发功能，保证数据完整性。 5G/4G数据采集遥测终端机应用场景 一、智慧水务水利：水质、水位、水雨情、水库大坝、中小河流、城市内涝、山洪灾害等监测项目。 四、智慧城市：交通、安防、环卫等数据采集监测项目。
69220发布于 2021-08-13 - 来自专栏AIoT技术交流、分享
LabVIEW控制Arduino采集电位器电压（基础篇—4）
目录 1、实验目的 2、实验环境 3、程序设计 4、实验演示 1、实验目的 利用LIAT函数库中模拟IO的功能，通过Arduino Uno控制板上模拟输入端口实现对电压的测量，并显示在LabVIEW前面板上 4、实验演示 通过公排线将AO端依次接至Arduino Uno控制板上的3.3V和5V，测量结果分别为3.31V和5.01V。 项目资源下载请参见：LabVIEW控制Arduino采集电位器电压-嵌入式文档类资源-CSDN下载
93830编辑于 2022-05-23 - 来自专栏PLC无线
符合Modbus协议的4-20mA信号采集方案
本方案是昆仑通态触摸屏与4台DTD433FC模拟量信号无线485传输模块进行无线 Modbus 通信的实现方法。 本方案中昆仑通态触摸屏作为主站显示各从站的模拟量信号，传感器、DCS、PLC、智能仪表等4个设备作为Modbus从站输出模拟量信号。 测试参数 通讯协议：Modbus RTU协议 主从关系：1主4从 主站通讯接口：Rs485接口（两线制） 从站通讯接口：模拟量4-20mA信号输入（AI） 供电：9-24VDC 传输距离：100米，500 的B端口相连接 第二步：给无线通讯终端接入天线 第三步：全部接线结束后，分别给触摸屏与无线通讯终端供电 四、实现触摸屏与模拟量的无线Modbus通讯 给DTD433FC接入模拟量信号发生器，触发一个4- 从机（从站）可以采集开关量、模拟量信号，型号为DTD433H、DTD433F。一台主机可与256个从机配套使用。所有从机的地址都是唯一的，不会存在从机间互相干扰的情况。
1.7K41发布于 2020-07-20 B站监控2.0架构落地实践
采集器采集器Collector 是基于vmagent封装了一层。 主要有两个功能，一个是定时上报心跳给Contractor, 二是拿到相关采集配置，call reload api，触发vmagent开始采集。 当我们灰度了一些量后，发现vmagent占用的内存较高，通过heap pprof发现, 在每次pull 抓取上报的指标消耗内存较多，后面开启流式采集 promscrape.streamParse=true vmagent 自身会有随机(采集间隔时间)平滑load机制。比如我们采集间隔配置了30s,当vmagent拿到配置时，一个target最慢要30s才会有指标数据。 架构如下：比较idc采集方案，云上监控有以下几点不同：Contractor支持从公网pull本zone所需的采集配置。为什么使用Prometheus而不是vmagent采集？
63220编辑于 2024-12-26- 来自专栏腾讯云容器运维
如何通过TMP监控TKE独立集群的etcd
通过secret挂载etcd证书因为etcd这里都是有证书鉴权的 ，这里通过serviceMonitor采集etcd监控需要配置证书才行，serviceMonitor是可以直接读取后端prometheus 容器的证书配置的，tmp这里是vmagent，那么这里有什么办法将证书挂载到vmagent容器。 但是这里遇到一个问题，就是当我创建完ServiceMonitor后，tmp控制台的采集配置显示target都是空的，这是什么原因呢？ 图片tmp关机tke集群会默认创建一个prometheuses对象，这里会定义采集那些ServiceMonitor，这里看下集群的prometheuses配置，是不是有特殊的配置。 /article/old/22616484. grafana配置etcd的dashboard独立集群的etcd监控数据已经采集到tmp了，下面就是需要在grafana配置dashboard，这里有2种方案
90530编辑于 2023-06-13 - 来自专栏geekfly
Java数据采集-4.分析常见的翻页（加载数据）方式
共两页，列表页地址为：http://blog.csdn.net/TMaskBoy/article/list/2
74720编辑于 2022-04-24 - 来自专栏k8s技术圈
Prometheus 长期远程存储方案 VictoriaMetrics 入门实践
单节点版直接运行一个二进制文件既，官方建议采集数据点(data points)低于 100w/s，推荐 VM 单节点版，简单好维护，但不支持告警。集群版支持数据水平拆分。 vmagent 的主要目的是用来收集指标数据然后存储到 VM 以及 Prometheus 兼容的存储系统中（支持 remote_write 协议即可）。 单节点 这里我们采集 node-exporter 为例进行说明，首先使用 Prometheus 采集数据，然后将 Prometheus 数据远程写入 VM 远程存储，由于 VM 提供了 vmagent 部署完成后可以通过 http://<node-ip>:31890 访问 Prometheus，正常可以看到采集的 3 个 node 节点的指标任务。 这样我们就使用 VM 替换掉了 Prometheus，我们也可以这 Grafana 的 Explore 页面去探索采集到的指标。
9.8K51编辑于 2022-05-22 - 来自专栏云原生实验室
使用 VictoriaMetrics 监控 K8s 集群
镜像无法拉取的情况，可以修改 statefulset.yaml 使用 bitnami/kube-state-metrics:2.0.0 部署 node_exporter node-exporter 用于采集服务器层面的运行指标 让 vmagent 自动添加 targets。 : labels: app: vmagent-k8s spec: serviceAccountName: vmagent-k8s containers : - name: vmagent-k8s image: victoriametrics/vmagent:v1.59.0 env: - name selector: app: prometheus-alert-center 部署 Alertmanager 和 Karma 警报一直是整个监控系统中的重要组成部分，Prometheus 监控系统中，采集与警报是分离的
3.7K40发布于 2021-06-09 - 来自专栏msray
全网搜索引擎采集（msray）|URL采集|关键词采集|域名采集
搜索引擎全网采集Msray-plus，是企业级综合性爬虫/采集软件。支持亿级数据存储、导入、重复判断等。无需使用复杂的命令，提供本地WEB管理后台对软件进行相关操作，功能强大且简单易上手! 同时支持存储域名、根网址、网址(url)、IP、IP所属国家、标题、描述、访问状态等多种数据，主要运用于全网域名/网址/采集、行业市场研究分析、指定类型网站采集与分析、网络推广分析以及为各种大数据分析等提供数据支撑 ----1:采集注意事项1：搜索引擎是根据关键词采集的，采集之前要准备好关键词（关键词可以为txt文档，一行一个）---- 2：配置流程1：上传关键词文件2：选择适合自己需求的过滤规则（可保持默认）3： 选择需要使用到的搜索引擎4：过滤方案的使用，可以保持默认，也可以自定义过滤规则，可根据域名，ip地址，国家信息进行过滤图片图片----3：对采集的数据进行 导出和数据分析软件可进行全网公开数据挖掘，大规模采集互联网公开数据 ，精准挖取采集内容。
2.3K20编辑于 2022-10-17 - 来自专栏msray
全网URL采集工具，支持关键词采集，域名采集，联系人采集
**今天介绍的这款全网URL采集工具可以运用于全网域名/网址/IP信息检索、指定关键词批量数据采集、SEO、网络推广分析、内容源收集，以及为各种大数据分析等提供数据支撑。 访问状态等..进行自定义过滤图片3: 灵活的推送方案软件不仅支持将结果保存在本地，而且还支持远程的数据推送，可以和自己内部的业务系统相结合，便于数据的再次利用分析，核心功能1： 关键词采集根据提供的关键词采集全网的数据 ，重复判断：可以选择根据域名或者网址进行重复判断，采集字段包括域名，网址，IP地址，IP所属国家，标题，描述，访问状态等。 图片2： URL采集根据提供的URL数据批量采集全网被收录的数据，重复判断：可以选择根据域名或者网址进行重复判断，支持线程数自定义，可根据自己机器配置调整最优采集字段包括域名，网址，IP地址，IP **创建爬虫任务**图片图片3： 联系任务可根据提供的域名地址采集被收录的联系方式等信息包含手机。
3.5K11编辑于 2022-10-17 - 来自专栏沈唁志
在ThinkPHP5框架中使用QueryList4做采集
有人会使用 Python 去做爬虫，而这个 QueryList 可以让 PHP 做采集更容易。 QueryList 的几个特点： 拥有与 jQuery 完全相同的 CSS3 DOM 选择器 拥有与 jQuery 完全相同的 DOM 操作 API 拥有通用的列表采集方案 拥有强大的 HTTP 请求套件 PHP7 以下环境无法安装和使用 QueryList4！ ThinkPHP5 代码根目录执行 Composer 命令安装 QueryList，使用 Composer 安装时强制指定版本号 composer require jaeger/querylist:4. 原创文章采用CC BY-NC-SA 4.0协议进行许可，转载请注明：转载自：在ThinkPHP5框架中使用QueryList4做采集
1.5K30发布于 2018-05-24
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号